构建可靠的机器学习系统

无论你是小型初创公司还是跨国公司的一员，这本实用的书向数据科学家、软件和网站可靠性工程师、产品经理和企业主展示了如何在你的组织中可靠、有效且负责地运行并建立 ML。你将深入了解从如何在生产环境中监控模型到如何在产品组织中运行一个好的模型开发团队的所有事情。

本书融合作者构建、运维和扩展大型机器学习系统的经验，通过丰富的示例，详细讲解如何运行高效、可靠的机器学习系统。本书首先概述机器学习相关概念和数据管理原则，涵盖数据管理、机器学习模型、评估质量、特征、公平性、隐私等主题；然后介绍机器学习模型及其生命周期；最后讲述如何将机器学习引入组织，以及引入后组织会发生什么等复杂问题。

目录<br />序1<br />前言5<br />第1章 引言15<br />1.1 机器学习的生命周期15<br />1.1.1 数据收集与分析16<br />1.1.2 机器学习训练管道17<br />1.1.3 构建与验证应用程序19<br />1.1.4 质量和性能评估19<br />1.1.5 定义与度量服务等级目标20<br />1.1.6 发布21<br />1.1.7 监控和反馈循环23<br />1.2 循环中的教训25<br />第2章 数据管理原则26<br />2.1 数据即责任27<br />2.2 机器学习管道的数据敏感性31<br />2.3 数据的阶段32<br />2.3.1 创建33<br />2.3.2 提取35<br />2.3.3 处理36<br />2.3.4 存储39<br />2.3.5 管理40<br />2.3.6 分析与可视化41<br />2.4 数据可靠性41<br />2.4.1 持久性42<br />2.4.2 一致性42<br />2.4.3 版本控制44<br />2.4.4 性能44<br />2.4.5 可用性44<br />2.5 数据完整性44<br />2.5.1 安全性45<br />2.5.2 隐私45<br />2.5.3 政策与合规47<br />2.6 总结48<br />第3章 模型的基本介绍50<br />3.1 什么是模型50<br />3.2 基本的模型创建工作流51<br />3.3 模型架构、模型定义与训练过的模型53<br />3.4 漏洞在哪里54<br />3.4.1 训练数据54<br />3.4.2 标签56<br />3.4.3 训练方法57<br />3.5 基础设施及管道60<br />3.5.1 平台60<br />3.5.2 特征生成60<br />3.5.3 升级和修复61<br />3.6 对任何模型提出的一系列实用问题62<br />3.7 一个机器学习系统示例63<br />3.7.1 纱线产品点击预测模型64<br />3.7.2 特征64<br />3.7.3 特征标签65<br />3.7.4 模型更新66<br />3.7.5 模型服务66<br />3.7.6 常见故障67<br />3.8 总结68<br />第4章 特征与训练数据69<br />4.1 特征69<br />4.1.1 特征选择和工程71<br />4.1.2 特征的生命周期72<br />4.1.3 特征系统74<br />4.2 标签78<br />4.3 人工生成的标签79<br />4.3.1 标注劳动力80<br />4.3.2 衡量人工标注质量80<br />4.3.3 标注平台81<br />4.3.4 主动学习和AI辅助标注81<br />4.3.5 文档和标注员培训82<br />4.4 元数据82<br />4.4.1 元数据系统概述82<br />4.4.2 数据集元数据83<br />4.4.3 特征元数据84<br />4.4.4 标签元数据85<br />4.4.5 管道元数据85<br />4.5 数据隐私和公平性86<br />4.5.1 隐私86<br />4.5.2 公平性87<br />4.6 总结87<br />第5章 评估模型的有效性和质量88<br />5.1 评估模型的有效性88<br />5.2 评估模型质量91<br />5.2.1 离线评估91<br />5.2.2 评估分布92<br />5.2.3 一些有用的指标95<br />5.3 实施验证和评估101<br />5.4 总结101<br />第6章 机器学习系统中的公平性、隐私和道德103<br />6.1 公平性104<br />6.1.1 公平性的定义107<br />6.1.2 达到公平111<br />6.1.3 公平是一个过程而不是终点113<br />6.1.4 简短的法律说明114<br />6.2 隐私114<br />6.2.1 保护隐私的方法116<br />6.2.2 简短的法律说明118<br />6.3 负责任的AI119<br />6.3.1 模型解释119<br />6.3.2 有效性121<br />6.3.3 社会和文化适当性123<br />6.4 机器学习管道中负责任的AI123<br />6.4.1 用例头脑风暴123<br />6.4.2 数据收集和清洗124<br />6.4.3 模型创建和训练124<br />6.4.4 模型验证和质量评估124<br />6.4.5 模型部署125<br />6.4.6 市场产品125<br />6.5 总结125<br />第7章 训练系统127<br />7.1 需求128<br />7.2 基本训练系统的实施129<br />7.2.1 特征130<br />7.2.2 特征存储131<br />7.2.3 模型管理系统131<br />7.2.4 编排132<br />7.2.5 质量评估133<br />7.2.6 监控133<br />7.3 一般可靠性原则134<br />7.3.1 大多数失败不会是机器学习失败134<br />7.3.2 模型将被重新训练134<br />7.3.3 模型将同时有多个版本135<br />7.3.4 好的模型会变坏135<br />7.3.5 数据将不可用136<br />7.3.6 模型应该是可改进的137<br />7.3.7 特征会添加和更改137<br />7.3.8 模型可能训练得过快138<br />7.3.9 资源利用很重要139<br />7.3.10 利用率!=效率140<br />7.3.11 中断包括恢复时间142<br />7.4 常见的训练可靠性问题142<br />7.4.1 数据敏感性142<br />7.4.2 YarnIt的数据问题示例142<br />7.4.3 可重现性143<br />7.4.4 YarnIt的可重现性问题示例144<br />7.4.5 计算资源量146<br />7.4.6 YarnIt的资源量问题示例146<br />7.5 结构可靠性147<br />7.5.1 组织挑战147<br />7.5.2 道德和公平性考虑148<br />7.6 总结148<br />第8章 服务149<br />8.1 模型服务的关键问题150<br />8.1.1 我们模型的负载是什么150<br />8.1.2 我们模型的预测延迟需求是多少150<br />8.1.3 模型在哪里运行151<br />8.1.4 我们的模型需要怎样的硬件153<br />8.1.5 服务模型要如何存储、加载、版本控制和更新154<br />8.1.6 用于服务的特征管道是什么样子的154<br />8.2 模型服务架构155<br />8.2.1 离线服务（批量推理）155<br />8.2.2 在线服务（在线推理）158<br />8.2.3 模型即服务160<br />8.2.4 边缘服务162<br />8.2.5 选择架构164<br />8.3 模型API设计165<br />8.4 服务于准确性还是弹性166<br />8.5 扩展167<br />8.5.1 弹性伸缩168<br />8.5.2 缓存168<br />8.6 灾难恢复168<br />8.7 道德和公平性考虑169<br />8.8 总结170<br />第9章 模型的监控和可观测性171<br />9.1 什么是生产环境监控以及为什么要这么做171<br />9.1.1 它是什么样的172<br />9.1.2 机器学习为监控带来的问题173<br />9.1.3 为何在生产中需要持续的机器学习可观测性174<br />9.2 机器学习生产监控中的问题175<br />9.2.1 开发的难点与服务的难点175<br />9.2.2 需要在观念上有所转变177<br />9.3 机器学习模型监控的最佳实践177<br />9.3.1 通用的预服务模型建议178<br />9.3.2 训练与重新训练179<br />9.3.3 模型验证（试运行前）182<br />9.3.4 服务185<br />9.3.5 其他需要考虑的事情193<br />9.3.6 监控策略的高层级建议198<br />9.4 总结200<br />第10章 持续机器学习201<br />10.1 剖析持续机器学习系统202<br />10.1.1 训练样本202<br />10.1.2 训练标签202<br />10.1.3 过滤掉坏数据203<br />10.1.4 特征存储和数据管理203<br />10.1.5模型更新204<br />10.1.6将更新后的模型推送到服务中204<br />10.2 对持续机器学习系统的观察205<br />10.2.1 外部世界的事件可能影响我们的系统205<br />10.2.2 模型可以影响其自身的训练数据207<br />10.2.3时间效应会出现在多种时间维度上208<br />10.2.4 应急响应必须实时进行209<br />10.2.5 新发布需要分阶段的提升和稳定的基线213<br />10.2.6 模型必须被管理，而不是交付即完成215<br />10.3 持续性组织216<br />10.4 重新思考非持续机器学习系统218<br />10.5总结218<br />第11章 事故响应220<br />11.1 事故管理基础221<br />11.1.1 事故的生命周期221<br />11.1.2 事故响应角色222<br />11.2 剖析以机器学习为中心的故障224<br />11.3术语提醒：模型224<br />11.4 故事时间225<br />11.4.1 故事1：搜索但没有找到225<br />11.4.2 故事2：突然间无用的伙伴229<br />11.4.3 故事3：推荐你寻找新的供应商235<br />11.5 机器学习事故管理原则242<br />11.5.1 指导原则243<br />11.5.2模型开发人员或数据科学家244<br />11.5.3 软件工程师245<br />11.5.4 机器学习站点可靠性工程师或机器学习生产工程师246<br />11.5.5 产品经理或业务负责人249<br />11.6 特殊话题250<br />11.6.1 生产工程师以及机器学习工程与建模250<br />11.6.2 符合道德的待命工程师宣言251<br />11.7 总结253<br />第12章 产品和机器学习如何交互255<br />12.1 不同类型的产品255<br />12.2 敏捷机器学习256<br />12.3 机器学习产品开发阶段256<br />12.3.1 发现和定义256<br />12.3.2 业务目标设定258<br />12.3.3 MVP构建和验证260<br />12.3.4 模型和产品开发261<br />12.3.5 部署261<br />12.3.6 支持和维护262<br />12.4 构建还是购买262<br />12.4.1 模型263<br />12.4.2 数据处理基础设施264<br />12.4.3 端到端平台264<br />12.4.4 用以做出决策的评分方法265<br />12.4.5 做出决策266<br />12.5 由机器学习提供支持的样例YarnIt商店功能266<br />12.5.1 按总销售额展示受欢迎的纱线266<br />12.5.2 基于浏览历史的推荐267<br />12.5.3 交叉销售和向上销售267<br />12.5.4 基于内容的过滤267<br />12.5.5 协同过滤267<br />12.6 总结269<br />第13章 将机器学习集成到你的组织中270<br />13.1 本章假设271<br />13.1.1 基于领导者的视角271<br />13.1.2 细节很重要271<br />13.1.3 机器学习需要了解业务271<br />13.1.4 你做出的最重要的假设273<br />13.1.5 机器学习的价值273<br />13.2 重大组织风险274<br />13.2.1 机器学习不是魔法274<br />13.2.2 思维模型惯性275<br />13.2.3 在不同文化中正确表述风险275<br />13.2.4 孤立的团队并不能解决所有问题276<br />13.3 实施模型276<br />13.3.1 记住目标277<br />13.3.2 绿地还是棕地277<br />13.3.3 机器学习的角色和职责278<br />13.3.4 如何雇用机器学习人员279<br />13.4 组织设计和激励279<br />13.4.1 战略280<br />13.4.2 结构281<br />13.4.3 流程282<br />13.4.4 奖励282<br />13.4.5 人员283<br />13.4.6 关于排序的说明283<br />13.5 总结284<br />第14章 实用的机器学习组织实施示例285<br />14.1 场景1：一个新的集中式机器学习团队285<br />14.1.1 背景和组织描述285<br />14.1.2 流程286<br />14.1.3 奖励287<br />14.1.4 人员287<br />14.1.5 默认实施288<br />14.2 场景2：分散式机器学习基础设施和专业知识289<br />14.2.1 背景和组织描述289<br />14.2.2 流程289<br />14.2.3 奖励290<br />14.2.4 人员290<br />14.2.5 默认实施291<br />14.3 场景3：混合使用集中式基础设施/分散式建模291<br />14.3.1 背景和组织描述292<br />14.3.2 流程292<br />14.3.3 奖励292<br />14.3.4 人员293<br />14.3.5 默认实施293<br />14.4 总结293<br />第15章 案例研究：实践中的MLOps296<br />15.1 在机器学习管道中适应隐私和数据保留政策296<br />15.1.1 背景296<br />15.1.2问题和解决方案297<br />15.1.3 要点299<br />15.2 影响流量的持续机器学习模型299<br />15.2.1 背景299<br />15.2.2 问题和解决方案300<br />15.2.3 要点301<br />15.3 钢材检测301<br />15.3.1 背景301<br />15.3.2 问题和解决方案302<br />15.3.3 要点305<br />15.4 NLP MLOps：性能分析和分阶段负载测试305<br />15.4.1 背景305<br />15.4.2 问题和解决方案306<br />15.4.3 要点309<br />15.5 广告点击预测：数据库与现实309<br />15.5.1 背景309<br />15.5.2 问题和解决方案310<br />15.5.3 要点311<br />15.6 在机器学习工作流中测试和测量依赖关系311<br />15.6.1 背景311<br />15.6.2 问题和解决方案312<br />15.6.3 要点315<br />