1.dubbo服务管理工具dubbo-admin环境搭建
2.apache atlas独立部署（hadoop、源译hive、码编kafka、源译hbase、码编solr、源译zookeeper）
3.Atlas系列-编译部署-Atlas2.1.0独立部署
4.mycat 高可用
5.大数据ClickHouse（二）：多种安装方式
6.ubuntu编译nodejs所需的码编节点精灵辅助源码软件并安装

dubbo服务管理工具dubbo-admin环境搭建

       <dubbo-admin作为dubbo服务的可视化管理工具，它允许我们配置路由、源译均衡和权重等服务参数。码编在使用它之前，源译确保你具备了JDK8和Zookeeper环境。码编前端开发需要node和npm，源译后端则需要maven和springroot运行环境。码编

       首先，源译你可以直接下载预编译的码编dubbo-admin-0.6.0.jar，其中包含了必要的源译配置文件application.properties。在下载的压缩文件中找到这个文件，修改其中的服务中心信息，例如Zookeeper的地址。链接：pan.baidu.com/s/Dp_...，提取码：3np5。

       如果你希望从源代码自建，首先从Apache GitHub仓库获取dubbo-admin源代码：pm源并重新安装。对于启动时的InetSocketAddress错误，可能需要降级到Java 8版本来解决。

apache atlas独立部署（hadoop、hive、网页源码采集器kafka、hbase、solr、zookeeper）

       在CentOS 7虚拟机（IP: ...）上部署Apache Atlas，独立运行时需要以下步骤：

       Apache Atlas 独立部署（集成Hadoop、Hive、Kafka、HBase、Solr、Zookeeper）

       **前提环境**：Java 1.8、Hadoop-2.7.4、JDBC驱动、Zookeeper（用于Atlas的HBase和Solr）

       一、Hadoop 安装

       设置主机名为 master

       关闭防火墙

       设置免密码登录

       解压Hadoop-2.7.4

       安装JDK

       查看Hadoop版本

       配置Hadoop环境

       格式化HDFS（确保路径存在）

       设置环境变量

       生成SSH密钥并配置免密码登录

       启动Hadoop服务

       访问Hadoop集群

       二、Hive 安装

       解压Hive

       配置环境变量

       验证Hive版本

       复制MySQL驱动至hive/lib

       创建MySQL数据库并执行命令

       执行Hive命令

       检查已创建的数据库

       三、Kafka 伪分布式安装

       安装并启动Kafka

       测试Kafka（使用kafka-console-producer.sh与kafka-console-consumer.sh）

       配置多个Kafka server属性文件

       四、HBase 安装与配置

       解压HBase

       配置环境变量

       修改配置文件

       启动HBase

       访问HBase界面

       解决配置问题（如JDK版本兼容、ZooKeeper集成）

       五、Solr 集群安装

       解压Solr

       启动并测试Solr

       配置ZooKeeper与SOLR_PORT

       创建Solr collection

       六、Apache Atlas 独立部署

       编译Apache Atlas源码，选择独立部署版本

       不使用内置的HBase和Solr

       编译完成后，使用集成的Solr到Apache Atlas

       修改配置文件以指向正确的存储位置

       七、Apache Atlas 独立部署问题解决

       确保HBase配置文件位置正确

       解决启动时的JanusGraph和HBase异常

       确保Solr集群配置正确

       部署完成后，Apache Atlas将独立运行，与Hadoop、醉八仙源码Hive、Kafka、HBase、Solr和Zookeeper集成，提供数据湖和元数据管理功能。

Atlas系列-编译部署-Atlas2.1.0独立部署

       本文将为您详细介绍如何独立部署 Atlas 2.1.0 版本，依赖组件包括 solr、hbase、zookeeper、hive、hadoop、kafka。我们将采用 Docker 容器与 Linux 环境进行部署。如果您在 Atlas 的编译部署过程中遇到问题，本指南将提供解决方案。

       部署流程如下：

       部署环境

       1. Linux 环境：若无 Linux 环境，可通过 Docker 构建。如已安装 Linux，推荐使用 CentOS 镜像，本文作者最初在 Windows 环境下进行部署，并制作了一个 CentOS 镜像。构建步骤如下：

       1. 拉取镜像

       2. 运行容器

       2. Zookeeper 环境搭建：使用 Docker 方式搭建 Zookeeper，配置步骤包括：

       1. 拉取 Docker 镜像

       2. 运行容器

       3. Hadoop 环境搭建：同样采用 Docker 方式搭建 Hadoop，步骤如下：

       1. 拉取镜像

       2. 建立 Hadoop 用的内部网络

       3. 创建并启动 Master 容器，映射端口，java 怎么看源码如 端口用于 Hiveserver2，以便后续客户端通过 beeline 连接 Hive

       4. 创建 Slave 容器

       5. 修改 hosts 文件，将 Master 和 Slave 的 IP 地址映射到容器内部

       6. 启动 Hadoop，格式化 HDFS，并启动全部服务

       7. 访问 Web 查看服务状态，如 hdfs: localhost: 和 yarn: localhost:

       4. 部署 Hive：由于 Hive 镜像与 Hadoop 镜像整合，使用已启动的 Hadoop 镜像进行部署：

       1. 进入 Master 容器

       2. 修改配置文件，添加相关环境变量

       3. 执行源命令生效

       4. 完成数据库配置，确保与 Hive 配置文件中的分隔符一致，并关闭 SSL 验证

       5. 上传 MySQL 驱动到 Hive 的 lib 目录，调整 jar 包配置，确保 slf4j 和 guava 包版本一致

       6. 初始化元数据库，完成 Hive 的安装与启动

       7. 修改 Hadoop 权限配置

       8. 启动 Hiveserver2

       9. Hbase 搭建：由于使用 Docker 遇到问题，改为在容器外搭建 Hbase 环境。步骤包括：

       1. 拉取容器

       2. 创建并运行容器

       3. 进入容器

       4. 修改 Hbase 配置

       5. 启动 Hbase

       6. 访问 Web 界面地址 localhost:

       . Solr 搭建：使用 Docker 方式搭建 Solr，步骤如下：

       1. 拉取镜像

       2. 运行容器

       3. 创建 collection

       4. 访问 Web 界面地址 localhost:

       . Atlas 独立部署：Atlas 2.1.0 版本独立部署依赖外部组件，不同于集成部署。步骤包括：

       1. 从 Apache Atlas 下载源码，如 apache-atlas-2.1.0-server.tar.gz

       2. 使用 Docker 镜像环境进行编译，选择之前构建的基础环境

       3. 将源码复制到容器内

       4. 修改 pom.xml 文件以适应环境依赖

       5. 执行编译命令

       6. 解压 /distro/target/apache-atlas-2.1.0-bin.tar.gz 文件

       7. 进入 bin 目录，启动应用

       至此，Atlas 2.1.0 版本独立部署完成，可访问 localhost: 查看部署结果。

mycat 高可用

       mycat 高可用

       mycat 可通过 zookeeper 集群进行配置文件管理。

       1.1 搭建 zookeeper 集群

       此处不做 zookeeper集群搭建讲解

       1.2 配置mycat支持zookeeper

       修改 mycat conf 目录下myid.properties

       loadZk=true # zk集群地址，大漠测试工具源码多个用","隔开 zkURL=..3.:,..3.:,..3.: # zk集群内Mycat集群ID clusterId=mycat-cluster-1 # Mycat集群内本实例ID，禁止重复 myid=mycat_fz_ # Mycat集群内节点个数 clusterSize=3 #集群内所有节点的 id clusterNodes=mycat_fz_,mycat_fz_,mycat_fz_ #server booster ; booster install on db same server,will reset all minCon to 1 type=server boosterDataHosts=dataHost1

       1.3 自定义配置

       将需要修改的配置文件替换到 conf 目录中的 zkconf 目录下,只需要在一台机器修改即可,需要注意 conf目录中的 server.xml 中用户名和密码与 zkconf 中的不一致

       1.4 上传配置

       执行修改了配置文件的 mycat 下的bin 目录下的initzkdata.sh,上传配置文件,(在修改了配置文件的机器上执行)

       ./initzkdata.sh

       1.5 启动所有 mycat

       启动后发现其他 mycat conf 下的配置文件已经自动变化为修改的内容,是zookeeper 中下载的

       2. 使用的是 lvs+keepalived 的方式

       此处使用的是 lvs+keepalived 的方式实现mycat高可用负载均衡集群

       2.1 配置环境

       角色 主机IP 主机名 操作系统版本 软件版本

       VIP ..3.

       LVS-DR-Master ..3. keepalived CentOS6.9 Keepalived v1.2.，LVS 1.2.1

       LVS-DR-Backup ..3. keepalived CentOS6.9 Keepalived v1.2.，LVS 1.2.1

       mycat-Realserver ..3. mycat CentOS6.9 mycat v1.6.5

       mycat-Realserver ..3. mycat CentOS6.9 mycat v1.6.5

       mycat-Realserver ..3. mycat CentOS6.9 mycat v1.6.5

       2.2 安装keepalived和ipvsadm

       注意：ipvsadm并不是lvs，它只是lvs的配置工具。在 CentOS1.1 的内核版本中是默认支持的。因此，这里不需要重新安装。使用 yum 的安装方式，分别在 keepalived 和 keepalived 两台主机上安装 keepalived 和 ipvsadm。除了这种简易方式外，也可直接编译官方的源码包。安装步骤可参考文档。

       2.3 配置Keepalived

       2.3.1 master

       vi /etc/keepalived/keepalived.conf

       配置详细内容如下，注意优先级、状态、接口、虚拟IP地址、负载调度算法、服务器节点配置、检查间隔、会话保持时间、协议类型等参数设置。

       2.3.2 backup

       备份机配置与主机一致，除了优先级和状态修改外。

       在配置文件中，特别需要注意的是interface的修改，根据实际情况进行相应的修改。

       2.4 安装配置 mycat

       安装mycat请参考相关文档。

       2.4.1 绑定虚拟 vip

       在mycat服务器上为lo:0绑定VIP地址、抑制ARP广播。

       执行脚本./realserver.sh start在mycat和mycat、mycat三台主机上。

       2.4.2 查看

       运行 ifconfig 查看结果。

       2.5 启动 keeplive

       分别在keepalived和keepalived上启动Keepalived服务。

       2.5.1 查看

       通过ipvsadm -L 查看映射。

       2.5.2 测试

       通过一台装有 mysql的机器连接虚拟 ip 发现可以登录数据库。

       2.5.3 查看转发

       再次在 keepalived 的机器执行ipvsadm -L,发现被转到上面一次。

       2.5.4 负载均衡方式

       与配置相关，多次都指向一个机器，因为我们在 keepalived 的配置文件中persistence_timeout属性指定为，则代表秒内同一个机器来的请求会被 hash 一致性分配。如果想实现严格意义上面的轮询，修改为0即可。

大数据ClickHouse（二）：多种安装方式

       Clickhouse提供了多种安装方式，包括rpm安装、tgz安装包安装、docker镜像安装、源码编译安装等。本文将主要介绍基于rpm安装包安装Clickhouse的方法。

       在安装前，需要确保服务器支持SSE4.2指令集，可以通过命令查询Linux系统是否支持此指令集。若不支持，则需通过源码编译特定版本进行安装。

       一、安装包下载

       点击ClickHouse rpm安装包查询地址，在Linux系统中使用wget命令下载对应的ClickHouse版本。选择一台服务器创建/software目录并进入此目录。执行命令下载ClickHouse所需rpm安装包，需要下载以下四个rpm安装包。

       二、单节点安装

       选择一台服务器，直接将下载好的ClickHouse安装包安装即可。安装顺序为：点击安装包进行安装，然后按照依赖关系安装各个rpm包。

       启动与停止服务

       启动clickhouse-server服务，使用命令行客户端连接服务。关闭ClickHouse服务。

       三、分布式安装

       Clickhouse支持分布式搭建。首先，在三台服务器上分别安装Clickhouse所需的安装包。接着搭建zookeeper集群并启动，配置外网访问。在每台节点的/etc/clickhouse-server/config.xml文件中配置集群名称、分片与副本等信息。配置完成后，在每台节点上启动Clickhouse服务。

       四、rpm其他方式安装

       除了下载rpm包进行安装，还可以配置Clickhouse的yum源，使用yum命令直接进行安装。首先添加Clickhouse的官方yum源，然后通过yum命令安装Clickhouse server和client。

       在CentOS 7中，使用配置yum源方式安装Clickhouse后，启动时使用命令：systemctl start clickhouse-server。

ubuntu编译nodejs所需的软件并安装

       在准备开始新项目时，我反思并决定重新审视我的技术栈。公司主要使用Java，我的技术堆栈则包括Spring Boot、Zookeeper、JRedis、Dubbo和Druid。Maven依赖的数量令人咋舌，多达个以上，占据超过4GB的存储空间。而我更偏好的是Node.js + IBM Loopback架构，我曾在此基础上开发过两个微信服务器。因此，我决定花些时间进行对比和压力测试。

       我选择了安装Ubuntu . Server版操作系统，而非桌面版，来编译Node.js LTS版。Ubuntu Server是一个非常纯净的版本，因此需要自行安装必要的软件。具体步骤包括安装GCC（C编译器）、G++（C++编译器）、Make和Python 2.7。随后，下载Node.js LTS版本的源码并解压，执行配置和编译过程。最后，使用sudo make install将编译后的文件安装到系统目录。

       成功编译后，Node.js和npm已可用。接着，我安装了loopback CLI和pm2进程管理器，并编写了一个测试程序进行验证。至此，一个基础的Node.js环境搭建完成。接下来，我将部署Java环境、MySQL、Redis等，并使用Nginx进行反向代理和动态均衡。

       当前阶段的目标是完成环境搭建，下周一将开始Java环境和相关组件的部署，并使用Nginx进行配置。一旦环境就绪，将进行一系列测试，包括Python + Flask/Django（虽然对Django不太熟悉，但仅作为初步测试）。在选择操作系统时，Ubuntu成为首选，因为它在gcc/g++的最新版本上提供了更好的支持，相较于公司现有的CentOS 6.8版本。

       总的来说，我非常享受Node.js带来的高效开发体验。这次部署虽然基于技术选择和个人偏好，但更多的是为了探索和比较不同技术栈的优势。后续的结果和详细测试结果将另作分享。