PROMETHEUS监控实战

本书讨论如何用Prometheus实现以度量为中心的监控。教你如何使用Prometheus来监控主机、应用程序和服务。我们将介绍安装、基本监控、服务发现、警报、日志监控、扩展和可视化。了解如何在以度量为中心的世界中进行监控，包括构建动态阈值、基本异常检测和监控聚合和联合。将了解如何应用现代模式，如谷歌的四个黄金信号、使用方法和红色方法。我们讨论了对Kubernetes、Docker容器、数据库的监控，并研究了插装应用程序和集成日志记录。关注于监控高度动态、短暂的环境和微服务等新体系结构的特殊挑战。关注云中的监控，包括服务发现和云平台的监控。

译者序前  言章  监控简介11.1  什么是监控11.1.1  技术作为客户21.1.2  业务作为客户21.2  监控基础知识21.2.1  事后监控21.2.2  机械式监控31.2.3  不够准确的监控41.2.4  静态监控51.2.5  不频繁的监控51.2.6  缺少自动化或自服务61.2.7  监控模式总结61.3  监控机制71.3.1  探针和内省71.3.2  拉取和推送71.3.3  监控数据的类型81.4  指标81.4.1  什么是指标91.4.2  指标类型101.4.3  指标摘要121.4.4  指标聚合121.5  监控方法论201.5.1  USE方法201.5.2  Google的四个黄金指标211.6  警报和通知221.7  可视化231.8  另一本关于监控的书241.9  本书内容241.10  小结25第2章  Prometheus简介262.1  Prometheus起源262.2  Prometheus架构272.2.1  指标收集282.2.2  服务发现292.2.3  聚合和警报292.2.4  查询数据292.2.5  自治302.2.6  冗余和高可用性302.2.7  可视化312.3  Prometheus数据模型312.3.1  指标名称312.3.2  标签322.3.3  采样数据322.3.4  符号表示322.3.5  保留时间332.4  安全模型332.5  Prometheus生态系统342.6  参考链接342.7  小结34第3章  安装和启动Prometheus353.1  安装Prometheus353.1.1  在Linux上安装Prometheus363.1.2  在Windows上安装Prometheus373.1.3  在Windows上安装Prometheus的其他方式383.1.4  在Mac OS X上安装Prometheus383.1.5  通过监控套件安装Prometheus383.1.6  通过配置管理工具安装Prometheus393.1.7  通过Kubernetes安装Prometheus393.2  配置Prometheus393.2.1  global403.2.2  alerting413.2.3  rule_files423.2.4  scrape_configs423.3  启动Prometheus433.4  个指标443.5  表达式浏览器453.6  聚合时间序列483.7  容量规划513.7.1  内存513.7.2  磁盘513.8  小结52第4章  监控主机和容器534.1  监控节点544.1.1  安装Node Exporter544.1.2  配置Node Exporter554.1.3  配置textfile收集器564.1.4  启用systemd收集器574.1.5  运行Node Exporter574.1.6  抓取Node Exporter584.1.7  过滤收集器584.2  监控Docker容器594.2.1  运行cAdvisor604.2.2  抓取cAdvisor614.3  抓取的生命周期624.4  标签644.4.1  标签分类644.4.2  重新标记654.5  Node Exporter和cAdvisor指标694.5.1  USE方法694.5.2  服务状态774.5.3  可用性和up指标784.5.4  metadata指标794.6  查询持久性814.6.1  记录规则824.6.2  配置记录规则824.6.3  添加记录规则834.7  可视化864.7.1  安装Grafana864.7.2  启动和配置Grafana884.7.3  配置Grafana Web界面894.7.4  个仪表板914.8  小结92第5章  服务发现935.1  静态配置的局限性935.2  基于文件的服务发现945.3  基于API的服务发现985.4  基于DNS的服务发现1025.5  小结104第6章  警报管理1056.1  警报1056.2  Alertmanager如何工作1076.3  安装Alertmanager1086.3.1  在Linux上安装Alertmanager1086.3.2  在Windows上安装Alertmanager1096.3.3  通过监控套件安装Alertmanager1106.3.4  通过配置管理工具安装Alertmanager1106.4  配置Alertmanager1116.5  运行Alertmanager1136.6  为Prometheus配置Alertmanager1146.6.1  Alertmanager服务发现1146.6.2  监控Alertmanager1156.7  添加警报规则1156.7.1  添加条警报规则1166.7.2  警报触发1186.7.3  Alertmanager的警报1186.7.4  添加新警报和模板1206.8  路由1236.9  接收器和通知模板1266.10  silence和维护1286.10.1  通过Alertmanager控制silence1286.10.2  通过amtool控制silence1306.11  小结132第7章  可靠性和可扩展性1337.1  可靠性和容错性1337.1.1  重复的Prometheus服务器1347.1.2  设置Alertmanager集群1357.1.3  为Prometheus配置Alertmanager集群1367.2  可扩展性1387.2.1  功能扩展1387.2.2  水平分片1397.3  远程存储1447.4  第三方工具1447.5  小结144第8章  监控应用程序1458.1  应用程序监控入门1458.1.1  从哪里开始1468.1.2  监控分类1468.2  指标1468.2.1  应用程序指标1478.2.2  业务指标1478.2.3  放置指标1478.2.4  实用程序模式1478.2.5  外部模式1488.2.6  监控应用程序示例1498.3  小结155第9章  日志监控1569.1  日志处理1569.2  mtail简介1579.2.1  安装mtail1579.2.2  使用mtail1589.2.3  运行mtail1599.3  处理Web服务器访问日志1619.4  解析Rails日志到直方图1639.5  部署mtail1659.6  抓取mtail端点1659.7  小结1660章  探针监控16710.1  探针架构16710.2  Blackbox exporter16810.3  安装exporter16810.3.1  在Linux上安装exporter16910.3.2  在Windows上安装exporter17010.3.3  通过配置管理工具安装exporter17010.4  配置exporter17110.4

本书面向的读者本书是一本基于Prometheus的监控指南。大多数示例都基于Ubuntu Linux，所以读者最好具备基本的UNIX/Linux技能，并熟悉命令行、文件编辑、软件安装、服务管理和基础网络知识。Prometheus正在迅速发展，这意味着你需要注意本书中提及和使用的工具版本。本书旨在支持Prometheus 2.3.2或更高版本，内容可能不适用于早期版本。致谢感谢露丝·布朗（Ruth Brown）帮助本书变得有趣，让我可以坚持写到深夜。感谢西德·奥兰多（Sid Orlando）让本书的措辞变得更加得体。感谢布莱恩·布雷泽（Bryan Brazil）出色的Prometheus博客，他同时也在做Prometheus的相关培训。感谢戴维·卡尔森（David Karlsen）的技术评审工作。技术评审人员感谢那些帮助本书变得更加准确和有价值的技术评审！杰米·威尔金森（Jamie Wilkinson）是Google存储基础设施团队的SRE（网站可靠性工程师）。他拥有计算机科学学士学位，有充足的计算理论知识，于1999年开始从事Linux系统管理工作。他为Google SRE手册贡献了关于监控的章节。杰米与他的家人住在澳大利亚的悉尼。保罗·吉尔（Paul Gier）作为一个在专有软件流行时期成长的“好奇宝宝”，对缺乏资金和许可证感到沮丧。在了解了一个名为Linux的新操作系统后，保罗开始沉迷于提供自由软件的想法—这一想法最终使他成了Red Hat的首席软件工程师，在那里他做了10多年自由软件的开发工作。保罗对基于容器的新基础设施及其带来的所有解决方案和问题非常着迷。他和他的妻子、三个孩子，以及两只狗和一只淘气的猫住在得克萨斯州的奥斯汀。编辑希德·奥兰多（Sid Orlando）是一位编辑和作家，还做着其他一些有趣的事情。她目前正在制作Stripe的软件工程技术杂志《Increment》，吸引了一大批粉丝，并且她在自己纽约的公寓里养了大量的植物。作者詹姆斯·特恩布尔（James Turnbull）是一位作家和工程师。他最近出版的书包括《The Packer Book》《The Terraform Book》和《The Art of Monitoring》，以及关于开源容器虚拟化技术的《The Docker Book》，还有关于开源日志工具的《The Logstash Book》。詹姆斯还撰写了两本关于Puppet的书：《Pro Puppet》和《Pulling Strings with Puppet》。同时他还是另外三本书的作者：《Pro Linux System Administration》《Pro Nagios 2.0》和《Hardening Linux》。他目前是Empatico公司的首席技术官，并且曾担任过Kickstarter公司的首席技术官、Docker公司服务和支持副总裁、Venmo公司工程副总裁以及Puppet公司技术运营副总裁。他喜欢品尝美食、喝酒、读书、摄影和养猫。代码约定这是一个内联代码语句。一个代码块如下所示：代码清单1  示例代码较长的代码会被换行。如果你在代码块中看到...，则表示为简洁起见，输出被缩减了。代码和示例本书中包含的代码和示例可从GitHub上获得：https://github.com/turnbullpress/prometheusbook-code。勘误请发送电子邮件至james+errata@lovedthanlost.net。声明本书仅供学习使用。作者未将其作为法律、会计或其他专业服务建议提供。尽管在编写本书时已尽优选努力，但作者不做任何形式的陈述或保证，并且不对内容的准确性或完整性承担任何责任，并特别声明对用于特定目的的适销性或适用性不做任何默认保证。对于因本书所含信息或程序直接或间接造成（或声称是由此造成）的任何损失，或偶然或间接损失，作者不对任何个人或实体承担任何责任或义务。每家公司情况都不同，此处包含的建议和策略可能不适合你的情况。在开始任何基础设施项目之前，你应该寻求专业人士的服务。