皮皮网

1.consulmanager部署和使用
2.Opentelemetry和Prometheus的告警告remote-write-receiver的实验
3.如何在prometheus产生告警时自动执行某个脚本文件
4.MySQL数据库的警告问题，怎么解决
5.基于Prometheus + Grafana搭建IT监控报警最佳实践(2)
6.2020-08-25

consulmanager部署和使用

       书接上回 渐行渐远：prometheus的源码安装以及监控指标的配置

       这次主要介绍如何使用consulmanager 去监控各个监控项

       一 consulmanager安装

       github.com/starsliao/Te... #consulmanager项目地址

       consulmanager 是一个开源的项目，现在已经更名为tensuns，模板有兴趣的告警告可以自行研究

       要想安装consulmanager，必须先安装下面三个 docker ，源码docker-compase，模板多城市源码 consul

       1.1 安装consul

       1.1.1 安装consul-基于centos7

       1.1.2 生成uuid

       1.1.3 配置文件设置

       1.1.4 启动consul

       访问方式 ip:

       1.2 安装docker和docker-compase

       1.2.1 安装docker

       1.2.2 安装docker-compase

       二 安装 ConsulManager

       2.1 下载源码

       下载地址 github.com/starsliao/Co...

       目录结构如下：

       2.2 docker-compose.yml 内容

       2.3 启动并访问

       三 配置consulmanager

       3.1 云主机管理

       3.1.1 同步云主机

       云主机管理就是告警告可以自动同步云服务器到consulmanager这个上面

       前提是需要你在云账号里面创建access key 和secret key,这个账号还需要有访问主机的权限

       新增云资源

       创建完成之后，你可以手动同步，源码也可以自动同步，模板然后去云主机列表查看，告警告是源码否同步过来了

       3.1.2 批量云主机监控

       前提是每天主机需要安装好node-exporter

       选定好指定的组，选择好系统，模板点击生成配置，告警告然后把这个配置，源码粘贴到prometheus的模板配置文件中

       进行重启prometheus

       然后进去到prometheus-target里进行查看

       当然如果你的node-exporter的端口不是,怎么办，打开cousul的openwrt 源码分析web页面，可以自定义设置

       3.1.3 导入对应的模版

       导入ID：

       详细URL： grafana.com/grafana/das...

       3.1.4 设置告警规则

       3.2 blackbox站点监控设置

       3.2.1. 配置Blackbox_Exporter

       在Web页面点击

       Blackbox 站点监控/Blackbox 配置，点击

       复制配置，如下所示：

       复制配置到 blackbox.yml，清空已有的配置，把复制的内容粘贴进去，重启blackbox_exporter

       3.2.2 配置Prometheus

       在Web页面点击 Blackbox 站点监控/Prometheus 配置，点击复制配置。编辑Prometheus的

       prometheus.yml，把复制的内容追加到最后，reload或重启Prometheus

       3.2.3. 配置Prometheus告警规则

       在Web页面点击

       Blackbox 站点监控/告警规则，点击复制配置。

       编辑Prometheus的配置文件，添加 rules.yml，然后把复制的内容粘贴到rules.yml里面，reload或重启Prometheus。hotspot源码下载

       然后去prometheus查看告警规则是否生成

       3.2.4. 查看Prometheus

       在Prometheus的Web页面中，点击Status-Targets，能看到新增的Job即表示数据同步到Prometheus。

       3.2.5 新增tcp或者/grafana/das...

       最终在grafana访问的效果如下：

       四 总结

       到这里基本的监控项和报警规则都已经设定好了，接下来会介绍告警的方式和具体实现

Opentelemetry和Prometheus的remote-write-receiver的实验

       实验目标：探索并实践Opentelemetry和Prometheus的集成，利用Prometheus的远程写功能与Opentelemetry的collector相结合，实现指标的主动推送，并通过Prometheus进行可视化管理。

       实验环境：需要准备一个运行的Prometheus实例，以及一个Opentelemetry的collector。具体配置和部署步骤需参照实验环境部分。

       实验过程：首先，配置Prometheus以抓取本地指标，通过修改Prometheus配置文件并启动windows_exporter实现本地指标的生成与输出。接着，app听书源码配置和启动Opentelemetry的collector，确保其支持与Prometheus的远程写功能。在这一阶段，需要根据源代码（例如：wuqingtao/opentelemetry_demo/otel-collector-config.yaml）进行相应的调整。最后，通过执行指标生成命令（源代码来自：wuqingtao/opentelemetry_demo/app），确保指标能够被正确生成并主动推送至Prometheus。

       可视化面板：在Prometheus中设置抓取目标，通常为运行的Prometheus实例。配置完成后，访问Prometheus控制面板，通过采集器面板查看并管理指标。同时，利用Prometheus的可视化功能，对主动写入的backbone源码分析指标进行分析与监控。

       实验结果：借助Prometheus的远程写功能和Opentelemetry的collector，实现了指标的主动推送至Prometheus。这一集成使得实时监控和分析数据成为可能，进一步强化了监控系统的能力，提升了数据处理效率。

如何在prometheus产生告警时自动执行某个脚本文件

       在使用prometheus进行监控时，为了在产生告警时实现自动化操作，如执行特定脚本文件，可以结合webhook功能实现这一需求。webhook提供了一种将告警事件转换为可执行操作的机制，本文将详细介绍如何配置webhook，以及如何通过执行脚本文件自动处理告警信息。

       在prometheus和alertmanager的体系中，告警机制主要通过规则配置文件（rule.yaml）来定义告警条件。当监控到指标值异常时，alertmanager将向指定的webhook发送告警信息。通过配置webhook，我们可以在接收到告警信息的同时，触发自定义脚本执行，实现更精细化的告警处理。

       为了搭建webhook服务，可以访问其官方GitHub仓库（github.com/adnanh/webhook）获取相关文档。对于Ubuntu系列的环境，可以通过apt命令轻松安装webhook服务；其他操作系统环境下，需要通过编译源码的方式安装webhook，并确保服务在端口监听。

       搭建webhook服务后，通过编辑配置文件，配置webhook的访问路径和相关参数。在配置完成后，重启服务以确保配置生效。通过访问mand first，那么就需要设置为 true。着重说明一下，如果开启了 tls，提示报错 starttls failed: x: certificate signed by unknown authority，需要在 email_configs 下配置 insecure_skip_verify: true 来跳过 tls 验证。

       templates： 告警模板目录，可以不编写模板，有默认模板

            Subject: '{ { template "email.default.subject" . }}'

            html: '{ { template "email.default.html" . }}'

       route：报警的分发设置

            group_by：分组

            group_wait: 分组等待时间

            group_interval: 5m 每组时间间隔

            repeat_interval: m 重复间隔

            receiver: 接收方式，请注意！这里的名字要对应下面receivers中的任何一个名字，不然会报错，这里其实就是选择方式，有邮箱，企业微信，wehook，victorops等等

       receivers：接受方式汇总，即告警方式汇总

        例子：

        receivers:

        - name:'default-receiver' 

        email_configs:

        - to:'whiiip@.com'    

          html: '{ { template "alert.html" . }}'    

          headers: { Subject: "[WARN] 报警邮件test"}

       inhibit_rules:   æŠ‘制规则

        当存在与另一组匹配的警报（源）时，抑制规则将禁用与一组匹配的警报（目标）。

        包括源匹配和目标匹配

        alertmanager官方是这样说的

        Inhibition

        Inhibition is a concept of suppressing notifications for certain alerts if certain other alerts are already firing.

        Example:  An alert is firing that informs that an entire cluster is not reachable. Alertmanager can be configured to mute all other alerts concerning this cluster if that particular alert is firing. This prevents notifications for hundreds or thousands of firing alerts that are unrelated to the actual issue.

        Inhibitions are configured through the Alertmanager's configuration file.

        当存在与另一组匹配器匹配的警报（源）时，禁止规则会使与一组匹配器匹配的警报（目标）静音。目标警报和源警报的equal列表中的标签名称都必须具有相同的标签值。

        在语义上，缺少标签和带有空值的标签是同一件事。因此，如果equal源警报和目标警报都缺少列出的所有标签名称，则将应用禁止规则。

        为了防止警报禁止自身，与规则的目标和源端 都 匹配的警报不能被警报（包括其本身）为真来禁止。但是，我们建议选择目标匹配器和源匹配器，以使警报永远不会同时匹配双方。这很容易进行推理，并且不会触发此特殊情况。

        接着是规则rules

       ä¸è§£é‡Šäº†ï¼Œè‡ªå·±ç ”究官方文档

       alertmanager的非容器安装方式是

         wget /prometheus/alertmanager/releases/download/v0..0/alertmanager-0..0.linux-amd.tar.gz

        tar xf alertmanager-0..0.linux-amd.tar.gz

       mv alertmanager-0..0.linux-amd /usr/local/alertmanager

       vim /usr/lib/systemd/system/alertmanager.service

       [Unit]

       Description=alertmanager

        Documentation=/prometheus/alertmanager

        After=network.target

        [Service]

        Type=simple

        User=root

        ExecStart=/usr/local/alertmanager/alertmanager --config.file=/usr/local/alertmanager/alertmanager.yml

        Restart=on-failure

        [Install]

        WantedBy=multi-user.target

        Alertmanager 安装目录下默认有 alertmanager.yml 配置文件，可以创建新的配置文件，在启动时指定即可。

        其余方式和上面一样

        接着是Prometheus，我之前的博客里有写了容器安装和非容器安装的方法，自己去翻阅

        然后是在prometheus.yml里修改相关配置

        首先去掉alertmanager的注释，改成IP加你设置的端口号，默认是

       æŽ¥ç€åœ¨rule_files: 下面写下规则文件的绝对路径，可以是具体文件名，也可以是*，也可以分几级文件，*默认是全部匹配

       æŽ¥ç€æ˜¯è¢«ç›‘控项的设置，这里设置完成可以在Prometheus网页里的targets里看得到

        请注意，这里设置的参数名字要和rule规则中设置的参数名字一模一样，否则你的prometheus服务会无法启动，然后报错

        如果不在特定的job下设置scrape_interval（优先级高于全局）,则默认采用gobal下的scrape_interval

       æœ€åŽæ¨¡æ‹ŸèŠ‚点掉线，手动关闭node-exporter或者Cadvisor

        docker stop node-exporter 或者容器ID

        docker stop cadvisor æˆ–者容器ID

        或者把up{ { job='prometheus'}} == 1 设置成1，反向设置，不用关掉服务，就可以看看告警成不成功

       è¯´æ˜Žä¸€ä¸‹ Prometheus Alert 告警状态有三种状态：Inactive、Pending、Firing。

        Inactive：非活动状态，表示正在监控，但是还未有任何警报触发。

        Pending：表示这个警报必须被触发。由于警报可以被分组、压抑/抑制或静默/静音，所以等待验证，一旦所有的验证都通过，则将转到 Firing 状态。

        Firing：将警报发送到 AlertManager，它将按照配置将警报的发送给所有接收者。一旦警报解除，则将状态转到 Inactive，如此循环。

       æ²¡æœ‰é…ç½®å‘Šè­¦æ¨¡æ¿æ—¶çš„默认告警格式是这样的

       èŠ‚点恢复后邮件告知是这样的

       å†™äº†æ¨¡æ¿åŽæ˜¯è¿™æ ·çš„

       è¿˜è¦é‡æ–°æ˜ å°„模板文件夹路径到alertmanager容器里的相对路径，然后重启alertmanager，当然，如果目录下没有模板文件，则不显示

       å‘Šè­¦æ¨¡æ¿

       åœ¨alertmanager.yml中修改相关设置

        重启alertmanager

        docker restart alertmanager

        最终效果不是很好

小公司也可以0成本构建统一的告警管理体系

       小公司如何0成本构建统一的告警管理体系？

       在探讨这一问题时，我们首先回顾了某国企互联网公司在监控告警体系上的建设实践。然而，使用Prometheus与AlertManager虽能方便监控相关组件，但仅能借助Dingtalk进行消息报警，无法实现短信、电话等告警升级功能。

       由此，小公司构建统一告警管理体系的关键在于解决这一痛点。解决方案是通过二次开发DingTalk告警组件，集成钉钉、短信、电话，并开放统一的API。这使得告警信息能够直接调用，增强告警系统的灵活性。

       接下来，我们详细探讨了使用Go语言编写的Prometheus-webhook-dingtalk组件。此组件能够对接Alertmanager，将告警信息发送至钉钉群，但缺乏短信、电话功能。因此，我们通过修改源代码，新增了短信、电话接口，并在web/dingtalk目录下创建了sms.go、call.go文件。在sms.go中调用短信接口时，需要添加自己的短信appKey、appSecret、templateID。同时，对call.go中的代码进行调整，替换阿里云的ALIBABA_CLOUD_ACCESS_KEY_ID、ACCESS_KEY_SECRET。

       通过执行go run cmd/prometheus-webhook-dingtalk/main.go命令，我们成功启动了新增的短信、电话webhook，实现与Alertmanager的对接。为了进一步统一管理，我们还在sms.go中添加了smsap，以便更方便地调用短信功能。同样，call.go也进行了相应的优化，确保电话功能的调用更加流畅。

       总结而言，小公司通过二次开发现有告警组件，集成多种告警方式，实现了0成本构建统一的告警管理体系。这一策略不仅提高了告警系统的全面性，还增强了其响应速度和处理效率，为企业的日常运营提供了坚实的技术保障。