小米开源数据库中间件Gaea实战

       本文基于dbaplus社群第期线上分享整理。

       Gaea，作为一款MySQL数据库中间件，兼容MyCAT核心特性，提供读写分离、spring请求接入源码分库分表等功能。选择使用Go语言实现，考虑到Go语言在编写网络应用方面的易用性、可靠性，以及公司内部以Go语言生态为主的技术体系。

       Gaea实现MySQL协议，将自己伪装成一个MySQL服务器，应用程序通过MySQL客户端访问Gaea，向Gaea发起SQL请求，Gaea将请求转发至后端MySQL执行，再将响应结果返回给客户端。中间件有助于集中管理用户和数据库配置信息，减轻DBA的运维负担。

       Gaea抽象出namespace、user、slice等概念，其中namespace对应业务，是资源划分的基本单位；user等同于MySQL用户，通过username和password连接至Gaea；slice对应MySQL实例资源，包含主库与从库，实现读写分离；namespace中可包含多个slice，通过制定路由规则实现分库分表。

       Gaea配置信息管理由Proxy、CC（中控服务）与Web（管理控制台）三部分组成。Proxy负责MySQL流量接入，CC通过管理接口与Proxy交互进行配置管理和下发。宠物连农场源码Web提供可视化管理界面，用于DBA管理配置信息和开发工程师查看。配置数据存储在etcd中，Gaea CC与Proxy通过etcd进行交互。

       Gaea主要功能包括快速使用、连接安装与配置、启动Proxy、发送请求、查看监控等。使用简单，源码编译需go 1.，使用go module管理依赖。启动Proxy需配置文件，包括监听端口、日志路径等。发送请求时，使用用户名和密码连接Gaea，执行SQL操作。Gaea提供监控指标，包括SQL请求指标与机器层面指标，方便问题排查与监控。

       Gaea整体架构包含协议解析、会话管理、SQL解析、路由调度与SQL执行等模块。支持MySQL文本协议与二进制prepare协议，SQL执行使用TiDB解析器，配置热加载实现在线修改配置，无需重启。

       性能测试显示，在点查询场景下，开彩网源码彩票接口Gaea Proxy性能比MyCAT高约%左右。Gaea项目已开源，地址为github.com/XiaoMi/Gaea，欢迎试用、贡献代码与提供反馈。

云HIS医院管理系统源码，SaaS模式+Java云HIS系统融合B/S版开箱即用

       云HIS医院管理系统源码，SaaS模式+Java云HIS系统融合B/S版开箱即用

       一、云HIS系统简介

       基于SaaS服务的Java版云HIS系统，适用于公立二甲医院，历经三年持续优化，系统稳定、功能全面，界面布局合理、操作简便。采用云端服务形式，用户通过浏览器即可访问，无需关注系统部署、维护、升级等问题。系统采用模板化、配置化、智能化、扩展化设计，覆盖基层医疗机构主要工作流程，与监管系统对接有序，满足未来扩展需求，是基层医院所需的健康云产品。支持病患预约挂号、问诊、电子病历、app资源库源码开药发药、会员管理、统计查询、医生工作站、护士工作站等常规功能，并能与公卫、PACS、HIS等外部系统融合，实现多层机构间的融合管理。

       二、云HIS总体框架

       技术选型包括前后端分离模式，前端选用原生HTML、JS、CSS、Jquery、BootStrap、layui等技术，后端采用SpringBoot框架、Mybatis-Plus、WebSocket、Stomp、Vintage-Engine、Thymeleaf等技术，数据库使用MySQL。系统架构采用Angular+Nginx+ Java+Spring，SpringBoot+ MySQL + MyCat。

       三、云HIS系统亮点

       1. 融合B/S版电子病历系统，支持四级电子病历，拥有自主知识产权。

       2. 全系统云部署，鸿图登录器源码一套系统支持多家医院共用。

       3. 适用于二级医院、基层医疗机构，可作为区域HIS使用，扩展后可用于医联体/医共体。

       4. 提供独立SaaS模式运维管理系统，支持远程运维，运维功能丰富、便捷。

       5. 前后端分离架构，前端用Angular、JavaScript开发，后端使用Java。

       6. 遵循服务化、模块化原则开发，具有强大扩展性，二次开发简便快捷。

       7. 提供全面开发文档和产品文档，助力快速熟悉源码，售后服务完善。

       四、云HIS系统功能模块

       包含系统管理、电子病历、门诊管理、门诊医生工作站、住院管理、住院医生管理、护士工作站、药房管理、药库管理、统计分析、财务管理、病案管理、就诊卡管理、项目收费查询、病历质控、医保结算接口等功能。

       云HIS分为综合管理和业务系统两大模块，综合管理系统面向运营商、开发商和监管机构，提供运营管理、运维管理和综合监管服务；业务系统面向基层医院，支撑医院各类业务运转。

       常规模版包括门诊管理、住院管理、药房管理、药库管理、院长查询、电子处方、物资管理、媒体管理等，为医院管理提供有力支持。HIS系统以财务信息、病人信息和物资信息为主线，通过收集、存储、传递、统计、分析、查询、报表输出和信息共享，为医院领导及各部门管理人员提供全面、准确的数据服务。

mycat 高可用

       mycat 高可用

       mycat 可通过 zookeeper 集群进行配置文件管理。

       1.1 搭建 zookeeper 集群

       此处不做 zookeeper集群搭建讲解

       1.2 配置mycat支持zookeeper

       修改 mycat conf 目录下myid.properties

       loadZk=true # zk集群地址，多个用","隔开 zkURL=..3.:,..3.:,..3.: # zk集群内Mycat集群ID clusterId=mycat-cluster-1 # Mycat集群内本实例ID，禁止重复 myid=mycat_fz_ # Mycat集群内节点个数 clusterSize=3 #集群内所有节点的 id clusterNodes=mycat_fz_,mycat_fz_,mycat_fz_ #server booster ; booster install on db same server,will reset all minCon to 1 type=server boosterDataHosts=dataHost1

       1.3 自定义配置

       将需要修改的配置文件替换到 conf 目录中的 zkconf 目录下,只需要在一台机器修改即可,需要注意 conf目录中的 server.xml 中用户名和密码与 zkconf 中的不一致

       1.4 上传配置

       执行修改了配置文件的 mycat 下的bin 目录下的initzkdata.sh,上传配置文件,(在修改了配置文件的机器上执行)

       ./initzkdata.sh

       1.5 启动所有 mycat

       启动后发现其他 mycat conf 下的配置文件已经自动变化为修改的内容,是zookeeper 中下载的

       2. 使用的是 lvs+keepalived 的方式

       此处使用的是 lvs+keepalived 的方式实现mycat高可用负载均衡集群

       2.1 配置环境

       角色 主机IP 主机名 操作系统版本 软件版本

       VIP ..3.

       LVS-DR-Master ..3. keepalived CentOS6.9 Keepalived v1.2.，LVS 1.2.1

       LVS-DR-Backup ..3. keepalived CentOS6.9 Keepalived v1.2.，LVS 1.2.1

       mycat-Realserver ..3. mycat CentOS6.9 mycat v1.6.5

       mycat-Realserver ..3. mycat CentOS6.9 mycat v1.6.5

       mycat-Realserver ..3. mycat CentOS6.9 mycat v1.6.5

       2.2 安装keepalived和ipvsadm

       注意：ipvsadm并不是lvs，它只是lvs的配置工具。在 CentOS1.1 的内核版本中是默认支持的。因此，这里不需要重新安装。使用 yum 的安装方式，分别在 keepalived 和 keepalived 两台主机上安装 keepalived 和 ipvsadm。除了这种简易方式外，也可直接编译官方的源码包。安装步骤可参考文档。

       2.3 配置Keepalived

       2.3.1 master

       vi /etc/keepalived/keepalived.conf

       配置详细内容如下，注意优先级、状态、接口、虚拟IP地址、负载调度算法、服务器节点配置、检查间隔、会话保持时间、协议类型等参数设置。

       2.3.2 backup

       备份机配置与主机一致，除了优先级和状态修改外。

       在配置文件中，特别需要注意的是interface的修改，根据实际情况进行相应的修改。

       2.4 安装配置 mycat

       安装mycat请参考相关文档。

       2.4.1 绑定虚拟 vip

       在mycat服务器上为lo:0绑定VIP地址、抑制ARP广播。

       执行脚本./realserver.sh start在mycat和mycat、mycat三台主机上。

       2.4.2 查看

       运行 ifconfig 查看结果。

       2.5 启动 keeplive

       分别在keepalived和keepalived上启动Keepalived服务。

       2.5.1 查看

       通过ipvsadm -L 查看映射。

       2.5.2 测试

       通过一台装有 mysql的机器连接虚拟 ip 发现可以登录数据库。

       2.5.3 查看转发

       再次在 keepalived 的机器执行ipvsadm -L,发现被转到上面一次。

       2.5.4 负载均衡方式

       与配置相关，多次都指向一个机器，因为我们在 keepalived 的配置文件中persistence_timeout属性指定为，则代表秒内同一个机器来的请求会被 hash 一致性分配。如果想实现严格意义上面的轮询，修改为0即可。

SQL抽象语法树及改写场景应用

       我们日常编写SQL语句，提交后获取结果集。例如，"select * from t_user where user_id > ;"，目标是从t_user表中筛选出user_id大于的所有记录。这条SQL经历了什么才能生成结果集呢？

       不同数据库如MySQL、Oracle、TiDB、CK，乃至大数据计算引擎Hive、HBase、Spark，通过SQL引擎实现接受SQL并返回结果的功能。SQL引擎的核心执行逻辑大致为：词法分析、语法分析、查询优化、生成逻辑计划、物理计划，最后执行。

       词法分析和语法分析引出了抽象语法树（AST）的概念。AST是对源代码语法结构的抽象表示，以树状形式展现，每个节点代表源码中的一种结构。SQL提交给SQL引擎后，首先经过词法分析，然后利用语法解析器生成AST。

       以"select username,ismale from userInfo where age> and level>5 and 1=1"为例，抽象语法树简单理解为逻辑执行计划，经过查询优化器优化，得到逻辑计划树，实现谓词下推、剪枝等操作。逻辑计划进一步转换为物理计划，如数据扫描、聚合，最后执行。

       ANTLR4工具广泛应用于解析SQL，通过构建G4文件描述语法，实现SQL拆解、封装和内容提取。在Java中，利用ANTLR4解析SQL，获取AST并提取表名。AST解析过程复杂，但通过简单字符串解析理解ANTLR4逻辑，有助于深入理解SQL解析。

       在工业应用中，利用ANTLR4生成并解析AST，虽然提供了基础解析能力，但更深入处理通常需要进一步自定义操作。在Java生态中，Apache Sharding Sphere、Mycat等流行SQL解析工具实现了这一需求。

       获取AST后，可以实现SQL的改写。改写SQL通常涉及添加占位符、正则匹配关键字，这些方法存在局限性和安全风险。基于AST的改写更安全，通过遍历树结构，调整目标节点，实现语法符合的改写。

       利用Druid的SQL解析模块，通过SQLUtils类实现SQL改写，包括新增改写和查询改写。改写过程涉及识别SQL语法结构，如join、sub-query等。

       在数据库数据隔离上，实现动态SQL改写，开发人员无需感知，通过在数据表上增加字段和环境标识，CRUD SQL自动增加标识字段（如flag='预发'、flag='生产'），操作数据仅限于当前应用环境。

Mycat和MySQL的区别

       Mycat和MySQL的区别：

       å¯ä»¥æŠŠä¸Šå±‚看作是对下层的抽象，例如操作系统是对各类计算机硬件的抽象。那么我们什么时候需要抽象？假如只有一种硬件的时候，我们需要开发一个操作系统吗？

       å†æ¯”如一个项目只需要一个人完成的时候不需要leader，但是当需要几十人完成时，就应该有一个管理者，发挥沟通协调等作用，而这个管理者对于他的上层来说就是对项目组的抽象。

       åŒæ ·çš„，当我们的应用只需要一台数据库服务器的时候我们并不需要Mycat，而如果你需要分库甚至分表，这时候应用要面对很多个数据库的时候，这个时候就需要对数据库层做一个抽象，来管理这些数据库，而最上面的应用只需要面对一个数据库层的抽象或者说数据库中间件就好了，这就是Mycat的核心作用。

       æ‰€ä»¥å¯ä»¥è¿™æ ·ç†è§£ï¼šæ•°æ®åº“是对底层存储文件的抽象，而Mycat是对数据库的抽象。