1.资深用户强烈推荐最优秀的告告“中文”开源时序BI平台Grafana
2.Prometheus普罗米修斯+Grafana部署企业级监控之 规则(rule)配置及报警 (三)
3.图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(下)
4.在家庭私有云上实现 K8S 部署 prometheus 和 grafana 并打通钉钉告警
5.基于Prometheus + Grafana搭建IT监控报警最佳实践(2)
6.关于grafana监控告警的技术探索

资深用户强烈推荐最优秀的“中文”开源时序BI平台Grafana

       资深用户倾情推荐：Grafana——中文版开源时序BI平台的佼佼者

       作为Grafana的长期用户，从早期的警源4.x到如今的9.3版本，Grafana的原理成长轨迹清晰可见。尤其是告告在年月日发布的9.3版本中，我们迎来了期待已久的警源中文包，使得Grafana更加亲民。原理源码加密运行尽管界面汉化尚未完善，告告但瑕不掩瑜，警源Grafana的原理优秀特性依旧令人瞩目。

       Grafana的告告核心在于其时序BI功能，起源于商业智能领域，警源尤其在IT运维领域大放异彩。原理其dashboard设计灵活，告告每个panel可独立配置，警源展示趋势图和阈值预警，原理能轻松处理大规模数据，如一年的数据加载不在话下。

       Grafana的强大还体现在其丰富的可视化插件库，超过种插件涵盖了趋势图、柱状图等多样化图表类型，为数据可视化提供了广阔天地。数据源插件更是覆盖了众多主流数据库，几乎能满足各种数据需求。

       此外，Grafana的告警功能强大，源自Prometheus的整合使其在告警管理上表现出色。其强大的机器学习模块，虽然目前预测算法还需改进，但已经展示了在时序分析领域的深度挖掘。

       对于资深用户而言，Grafana的隐秘功能也是亮点，如支持异常监测和预测，以及Annotations和Stateline等特性，使其在时序BI领域独树一帜。清华的IoTDB等项目都选择集成Grafana，足以证明其在业界的地位。

       总结来说，如果你在寻找一个功能强大、适应性强的时序BI平台，Grafana绝对值得尝试，尤其是中文版的发布，使得它更加易于中国用户使用。现在就是网页源码拷贝加入Grafana大家庭的好时机，不要错过这个机遇哦。

Prometheus普罗米修斯+Grafana部署企业级监控之 规则(rule)配置及报警 (三)

       前面已经完成了prometheus、node_exporter、alertmanager和grafana的部署，并且对PromQL进行了介绍，并对metrics进行了查询演示。

       本文将配置各项规则，以实现记录和告警功能。

       prometheus的规则分为记录规则和告警规则，rule_files主要用于配置rules文件，支持多个文件和文件目录。

       1.1 当前配置：1.2 记录规则配置：

       记录规则可以预先计算常用或计算量大的表达式，并将结果保存为一组新的时间序列。这样，查询预先计算的结果通常比每次需要原始表达式都要快得多，这对于仪表板非常有用，因为仪表板每次刷新时都需要重复查询相同的表达式。

       记录和告警规则存在于规则组中。组中的规则以规则的时间间隔顺序运行。记录和告警规则的名称必须是有效的度量标准名称。

       注意：冒号是为用户定义的记录规则保留的，不应该被exporter使用。

       1.3 告警规则配置：

       告警规则可以基于PromQL表达式定义告警条件，并将有关激发告警的通知发送到外部服务。只要告警表达式在给定的时间点产生一个或多个向量元素，告警就被视为对这些元素的标签集有效。

       告警规则在Prometheus中的配置方式与记录规则相同。

       1.4 将规则文件加入配置：

       访问prometheus页面，选择Status → Rules，可以看到上面配置的规则已经生效，状态是OK，说明规则正常。

       二、告警测试

       规则配置完成之后，可以进行告警测试，进而修改规则，最终达到想要的监控告警效果。

       2.1 邮件告警配置：

       2.1.1 测试节点down：

       这里选择grafana节点.0.0.，关闭其上的node_exporter，模拟宕机。

       访问prometheus页面，选择Status → Targets，运行c源码访问alertmanager页面，查看当前存在的告警，等待5分钟，查看邮件，重启node_exporter，模拟机器重启，访问prometheus页面，选择Status → Targets，收到恢复邮件，可以看到，整个邮件告警正常，测试节点down完成。

       2.2 配置钉钉告警：

       仅仅是邮件告警还不够，重要信息应由钉钉告警。

       2.2.1 安装prometheus-webhook-dingtalk插件并设置配置文件：

       config.yml

       ding.tmpl

       编辑systemd文件管理prometheus-webhook-dingtalk

       浏览器访问hostip:/ui 看到如下截图则配置成功

       2.2.2 修改alertmanager配置文件：

       alertmanager.yml

       收到恢复警告，因为前面配置文件里设置了send_resolved: true，如果设置false则不会收到警告

       至此，钉钉告警配置完毕

       2.3 配置企业微信告警：

       修改alertmanager.yml文件，配置报警信息，alertmanager.yml内容如下：

       wechat.tmpl

图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(下)

       在本文中，我们将继续探讨如何在GreatSQL 8.0.-环境中利用Grafana和AlertManager构建性能监控系统，特别是在上篇指南的基础上，深入讲解Grafana的邮件告警和钉钉告警功能的配置。

       Grafana的邮件告警配置

       首先，启用QQ邮箱的SMTP服务，生成授权码并修改Grafana的邮箱设置，确保邮件服务能正常工作。登录Grafana后，创建邮件告警规则，比如监测mysql_up值，当值低于1时发送邮件通知。在设置中，可以自定义名称、表达式和通知选项，如延迟时间、邮件地址等。

        添加告警规则

       创建规则时，选择合适的警报名称，设置表达式，如mysql_up <= 0。

       配置触发条件，选择last()，翻滩源码表示检测最新数据，如果该值小于1，则触发告警。

       测试告警，通过模拟GreatSQL宕机，确认邮件是否正常发送。

       Grafana的钉钉告警

       虽然之前文章已提及使用AlertManager的钉钉告警，这里我们介绍如何在Grafana直接配置。首先，需创建钉钉企业应用机器人，并将其Webhook添加到Grafana的联络点。

        AlertManager的邮件告警

       AlertManager的邮件告警配置涉及alertmanager.yml文件，其中包含全局配置、分发策略和接收者信息。设置完成后，模拟GreatSQL异常，验证邮件告警功能。

       邮件模板可以自定义，通过新建email.tmpl文件进行美化，确保信息清晰易读。

       总结与GreatSQL

       GreatSQL作为一款开源数据库，适用于金融级应用，提供高性能和高可靠性。通过本文，您已经掌握了如何在该环境中搭建全面的性能监控系统，包括Grafana的告警通知功能。现在就动手实践，提升数据库监控效率吧！

       更多详情可在GreatSQL社区获取，包括交流群组和资源链接。

在家庭私有云上实现 K8S 部署 prometheus 和 grafana 并打通钉钉告警

       在家庭私有云上，通过Kubernetes (K8s) 部署Prometheus和Grafana，并实现与钉钉告警的集成，是一个实用且必要的步骤。Prometheus作为监控系统，旨在收集并分析应用程序性能数据，适用于各种环境，包括单集群或跨集群。它提供了一个直观的方式来监控和管理设备运行，尤其对资源老旧的家庭私有云来说，监控至关重要。

       首先，交友支付源码确保K8s环境中存在命名空间，然后在master节点上创建包含NFS映射的yaml文件，如prometheus.deploy.yaml和grafana-deployment.yaml，以便数据持久化。通过kubectl命令部署Prometheus和Grafana，成功后，可以通过指定的端口访问它们的界面。

       安装完成后，导入Grafana的K8s监控模板，或直接下载官方模板导入，以监控K8s的运行状态。接下来，通过yaml文件dingtalk.yaml，将告警连接到钉钉，配置多个告警通道以满足个人需求。

       最后，执行alertmanager.yaml的部署，确保alertmanager安装成功。通过故意触发告警，验证钉钉告警功能是否正常工作。完整的部署过程依赖于上述yaml文件的编写和执行。

       以下是这些文件的列表，它们共同构建了家庭私有云上K8s环境下的Prometheus、Grafana和告警集成：

       1. prometheus.configmap.yaml

       2. prometheus_rule.yaml

       3. prometheus-rbac.yaml

       4. prometheus.deploy.yaml

       5. kube-state-metrics-deploy.yaml

       6. prometheus-node-exporter.yaml

       7. grafana-svc.yaml

       8. grafana-deployment.yaml

       9. alertmanager_configmap.yaml

       . alertmanager.yaml

       . dingtalk.yaml

       通过这些步骤，家庭私有云上的设备监控与告警管理得到了全面的提升。

基于Prometheus + Grafana搭建IT监控报警最佳实践(2)

       见字如面，大家好，我是小斐。延续前文，本文将深入探讨Prometheus和Grafana的监控体系。

       首先，我们需要打开Prometheus和Grafana进行操作，访问地址分别为：...:/ 和 ...:/。

       以node_exporter数据采集器为例，先确保其已安装于需要监控的主机。若要获取...主机的状态数据，需在该主机安装node_exporter采集器。

       在prometheus.yml中添加需要抓取的目标源信息，具体操作为：在scrape_configs下添加job_name，指定静态目标，添加...:目标。

       配置文件配置完成后，由于是静态的，需要重新加载配置文件，重启Prometheus以生效。

       在targets中查看是否已抓取到目标，根据上图可见，...的主机节点数据已抓取到。在Prometheus中验证数据正确性，点击http://...:/metrics 可查看抓取的所有数据。

       查看数据信息，输入node_memory_MemTotal_bytes查询该主机内存数据是否正确，可以看到G总内存，与我本机内存相符，说明数据正确。

       至此，我们可以确定数据抓取是成功的。

       数据生成大屏数据UI，展示放在Grafana中，打开Grafana：http://...:/，点击数据源：关联Prometheus数据源。

       输入Prometheus的地址：http://...:，下载Grafana的面板，json模版可在Grafana官网模版库中找到。在此，我选择了一个模版，具体链接为：Linux主机详情 | Grafana Labs。

       添加模版：点击import，导入下载下来的json文件。

       或者根据ID来加载。如果对面板数据和展示的风格不适用，可单独编辑变量和数据查询语句，关于Grafana的变量和数据查询语句后续单独开篇说明，在此只采用通用的模版展示数据。

       关于SNMP数据采集，我们可以通过SNMP协议来监控交换机、路由器等网络硬件设备。在一台Linux主机上，我们可以使用snmpwalk命令来访问设备通过SNMP协议暴露的数据。

       简单查看后，我们需要长期监控，这个时候就要借助SNMP Exporter这个工具了。SNMP Exporter是Prometheus开源的一个支持SNMP协议的采集器。

       下载docker image使用如下命令，使用中请切换对应的版本。如果使用二进制文件部署，下载地址如下。

       对于SNMP Exporter的使用来说，配置文件比较重要，配置文件中根据硬件的MIB文件生成了OID的映射关系。以Cisco交换机为例，在官方GitHub上下载最新的snmp.yml文件。

       关于采集的监控项是在walk字段下，如果要新增监控项，写在walk项下。我新增了交换机的CPU和内存信息。

       在Linux系统中使用Docker来运行SNMP Exporter可以使用如下脚本。

       在Linux系统部署二进制文件，使用系统的Systemd来控制服务启停，系统服务文件可以这么写。该脚本源自官方提供的脚本，相比于官方脚本增加了SNMP Exporter运行端口的指定。

       运行好以后，我们可以访问http://localhost:来查看启动的SNMP Exporter，页面上会显示Target、Module、Submit、Config这几个选项和按钮。

       在Target中填写交换机的地址，Module里选择对应的模块，然后点击Submit，这样可以查到对应的监控指标，来验证采集是否成功。

       target可以填写需要采集的交换机IP，模块就是snmp.yml文件中命名的模块。

       点击Config会显示当前snmp.yml的配置内容。

       如果上面验证没有问题，那么我们就可以配置Prometheus进行采集了。

       配置好Prometheus以后启动Prometheus服务，就可以查到Cisco交换机的监控信息了。

       接下来就Prometheus配置告警规则，Grafana进行画图了。这些操作和其他组件并无区别，就不再赘述。

       关于手动生成snmp.yml配置文件，当官方配置里没有支持某些设备时，我们需要通过MIB文件来自己生成配置文件。

       以华为交换机为例，在单独的CentOS7.9的一台虚拟机中部署snmp_exporter，在这里我以源码编译部署。

       在此我贴出generator.yml文件的模版：模块中，if_mib是指思科模块提供公共模块，HZHUAWEI是我自定义的模块名，根据walk下的OID和变量下的mib库文件路径生成snmp.yml配置文件，然后根据snmp.yml配置文件采集交换机信息。

       generator.yml文件格式说明：参考官网。

       这次我贴一份比较完整的snmpv3版本的模版：参考网络上，后续我内部的完整模版贴出来，形成最佳实践。

       主要的消耗时间就是想清楚需要采集的交换机监控指标信息，并到官网找到OID，贴到generator.yml文件中，最后执行./generator generate命令遍历OID形成snmp.yml配置文件，启动snmp_exporter时指定新形成的snmp.yml文件路径。

       启动后在浏览器中，打开http://...5:/。

       在此需要说明下，交换机需要开启snmp使能。如内部交换机比较多，可采用python或者ansible批量部署snmp使能，python这块可学习下@弈心 @朱嘉盛老哥的教程，上手快并通俗易懂，ansible后续我会单独出一套针对华为设备的教程，可关注下。

       一般情况下，交换机都是有多台，甚至几百上千台，在如此多的设备需要监控采集数据，需要指定不同模块和不同配置文件进行加载采集的，下面简单介绍下多机器部署采集。

       编辑prometheus.yml文件，snmp_device.yml的内容参照如下格式即可。我在下面的示例中添加了architecture与model等变量，这些变量Prometheus获取目标信息时，会作为目标的标签与目标绑定。

       重启服务器或重加载配置文件即可，后续贴出我的实际配置文件。

       此篇到此结束，下篇重点说明配置文件细节和我目前实践的配置文件讲解。

关于grafana监控告警的技术探索

       在深入探索grafana监控告警技术之前，让我们先了解一下grafana与prometheus是什么。

       对于运行中的复杂系统，出现问题时很难立即定位原因。因此，通过在关键点部署监控，利用获取的数据指导问题排查变得尤为重要。类比于汽车中的仪表盘，grafana为系统监控提供了可视化的界面，而prometheus则充当了时序数据库的角色，存储系统的监控数据。

       实际操作中，使用grafana建立告警规则的过程如下：

       第一步：选择监控数据源（prometheus）、监控时间范围（前分钟至当前时间）、并使用prometheus查询语言进行数据查询。

       第二步：设置报警条件，例如取最后的数据点、设置阈值（如小于0.6）等。

       第三步：设定告警评估时间与间隔时间，例如告警间隔设置最低为秒，评估时间可设置为0秒至任意时间。

       通过测试不同监控规则，发现监控状态变化基本同步。但随着监控数量增加，报警反应时间会出现延时。对比grafana与prometheus，发现prometheus的报警反应时间更符合设定时间。

       grafana在压力测试方面存在局限，大量监控会导致服务器CPU负载过高。同时，告警通知方式存在延迟，即使设置短时间间隔，邮件发送时间仍然与设定时间有所差异。

Grafana部署与Zabbix集成，搭建开源IT监控平台

       部署一套开源的IT监控系统，实现监控、可视化、告警功能，利用Grafana与Zabbix的集成，满足日常网络、运维、IT支持的需求。Zabbix负责数据收集与告警配置，Grafana则提供美观的图形展示。首先，安装Zabbix，参考之前的文章进行部署。接着，利用纯净Centos8操作系统，安装Grafana版本为.2.1，可通过yum或下载rpm包实现。Grafana默认使用sqlite数据库，并配置端口以访问网页服务。考虑稳定性，本文建议将sqlite数据库转换为mysql数据库，并将Grafana数据库与Zabbix数据库整合，简化维护。完成数据库设置后，使用Grafana前端进行基本配置，包括语言、仪表板创建等。为了实现Zabbix数据的集成，需要安装相应的插件，支持从Zabbix读取监控指标。在Grafana中添加仪表板，选择数据源为Zabbix，并通过创建多个可视化面板监控主机的内存、CPU、网络流量等指标。若遇到端口限制，可使用nginx代理Grafana服务，实现端口访问。至此，Grafana与Zabbix的集成监控平台搭建完成，提供高效、直观的数据可视化与告警功能，满足日常运维需求。