百页大模型原理

【权威作者阵容，行业大牛作序】本书由加拿大知名 AI 专家安德烈?布可夫撰写，word2vec、FastText 核心发明者 Tomá? Mikolov 亲自作序推荐，内容专业度经过行业权威认证，参考价值突出。
【内容凝练易懂，降低入门门槛】百页篇幅摒弃冗余信息，将复杂大模型技术化繁为简，从基础概念到核心原理循序渐进展开讲解，无需啃厚重技术专著，零基础也能轻松搭建大模型知识体系。
【理论实操结合，可落地性强】每个知识点采用 “原理讲解 + 可运行代码” 形式呈现，配套完整 PyTorch 代码示例，从数据处理到模型调试步骤清晰，读者边学边练就能快速掌握大模型实现方法。
【知识体系科学，兼顾基础与前沿】内容覆盖统计语言模型、循环神经网络、Transformer 架构等核心内容，还延伸讲解混合专家模型、模型压缩等前沿技术，帮读者搭建完整的大模型知识框架。
【配套资源丰富，学习体验升级】随书附赠配套代码文件、全书思维导图，还可领取异步社区 7 天 VIP 会员，丰富配套资源助力读者高效完成大模型学习进阶。

大模型经历了从统计语言模型到基于神经网络的语言模型，再到Transformer架构的演进过程，如今已在各领域广泛应用且备受关注。本书围绕大模型展开，共分为6章。首先介绍机器学习基础，包括人工智能、模型、神经网络等概念；接着阐述语言建模基础，涵盖统计语言模型及其评估技术；随后聚焦循环神经网络，讲解其实现与训练过程；继而深入解析Transformer架构，涉及自注意力机制等关键组件；然后探讨与大模型相关的议题，如微调预训练模型、减少幻觉现象等；最后总结全书并延伸介绍混合专家模型、模型压缩等前沿拓展内容。全书语言精练，配有实操代码示例。
本书适合软件开发者、数据科学家、机器学习工程师，以及对大模型感兴趣、具备一定编程经验（最好熟悉Python语言）和大学数学基础，希望理解大模型的数学基础、探究其运作原理、自行实现核心组件或学习高效运用大模型的方法的读者阅读。

作者：安德烈·布可夫（Andriy Burkov）机器学习和自然语言处理领域公认专家，拥有人工智能博士学位，是一名十分活跃的技术分享者，影响了全球数百万机器学习从业者和研究人员。

译者：彭文华，国家工业信息安全发展研究中心高级工程师，北京航空航天大学硕士。深耕数据治理及人工智能领域 20 余年，在相关领域有着深厚的研究积淀与丰富的实践经验。近 5 年参与多项国标、团标编制，发表论文 5 篇，获得 3 项数据及 AI 相关专利，出版独著、译著及参编著作共 9 部。
于冰冰，毕业于布鲁塞尔自由大学，获欧洲一体化与发展专业硕士学位。先后任职惠普、IBM 等科技公司，2012 年转入金融及教育领域，2017 年起专注于数据管理，历任CISO、DPO、DSO、Senior Manager DG，精通信息安全、数据治理与隐私保护。

第 1章　机器学习基础　1
1.1　人工智能和机器学习　1
1.2　模型　6
1.3　机器学习4步流程　14
1.4　向量　15
1.5　神经网络　19
1.6　矩阵　25
1.7　梯度下降　28
1.8　自动微分　34
第 2章　语言建模基础　39
2.1　词袋模型　39
2.2　词嵌入　52
2.3　字节对编码　59
2.4　语言模型　66
2.5　统计语言模型　68
2.6　评估大模型　75
第3章　循环神经网络　90
3.1　Elman循环神经网络　90
3.2　小批量梯度下降　92
3.3　实现循环神经网络　94
3.4　基于循环神经网络的语言模型　97
3.5　嵌入层　98
3.6　训练循环神经网络语言模型　100
3.7　数据集和数据加载器　104
3.8　训练数据和损失计算　106
第4章　Transformer架构　111
4.1　解码器块　112
4.2　自注意力机制　114
4.3　位置多层感知机　119
4.4　旋转位置编码　119
4.5　多头注意力机制　126
4.6　残差连接　128
4.7　均方根归一化　132
4.8　键值缓存　133
4.9　用Python实现Transformer　135
第5章　大模型　143
5.1　为什么规模越大越好　143
5.2　有监督微调　150
5.3　微调预训练模型　152
5.4　从大模型中采样　168
5.5　低秩适应法　173
5.6　大模型分类器　178
5.7　提示词工程　179
5.8　幻觉　186
5.9　大模型、版权与伦理　189
第6章　拓展阅读　194
6.1　混合专家模型　194
6.2　模型合并　195
6.3　模型压缩　195
6.4　偏好对齐　196
6.5　高级推理　196
6.6　大模型安全　197
6.7　视觉大模型　197
6.8　防止过拟合　198
6.9　结束语　199
6.10　笔者的其他著作　199