大规模语言模型 从理论到实践 第2版

本书围绕大语言模型构建的四个阶段：预训练、指令微调、奖励建模和强化学习，详述各阶段所使用的算法、数据、难点及实践经验。在此基础上，进一步探讨了增强大语言模型能力、提升效率及如何将大语言模型落地应用的实践经验，涵盖多模态、智能体等热门方向，全面展现了大语言模型研究的最新进展。本书适合对深入研究大语言模型内在机制和实现方法感兴趣的读者阅读，也可作为高年级本科生和研究生自然语言处理课程中相关部分的补充教材。

张奇，复旦大学计算科学技术学院教授、博士生导师。主要研究方向是自然语言处理和信息检索，聚焦自然语言表示、信息抽取、鲁棒性和解释性分析等任务。兼任中国中文信息学会理事、中国中文信息学会信息检索专委会常务委员、中国人工智能青年工作委员会常务委员、SIGIR Beijing Chapter组织委员会委员等。多次担任ACL、EMNLP、COLING、全国信息检索大会等重要国际、国内会议的程序委员会主席、领域主席、讲习班主席等。近年来，承担了国家重点研发计划课题、国家自然科学基金、上海市科委等多个项目，在国际重要学术刊物和会议上发表论文150余篇，获得美国授权专利4项，作为第二译者翻译专著《现代信息检索》。获得WSDM 2014最佳论文提名奖、COLING 2018 领域主席推荐奖、NLPCC 2019杰出论文奖、COLING 2022杰出论文奖。获得上海市“晨光计划”人才计划、复旦大学“卓越2025”人才培育计划等支持，获得钱伟长中文信息处理科学技术一等奖、汉王青年创新一等奖、上海市科技进步二等奖、教育部科技进步二等奖、ACM 上海新星提名奖、IBM Faculty Award等奖项。桂韬，复旦大学自然语言处理实验室副研究员、硕士生导师。研究领域为预训练模型、信息抽取和鲁棒模型。在高水平国际学术期刊和会议上发表论文40余篇，主持国家自然科学基金、计算机学会、人工智能学会的多个基金项目。获钱伟长中文信息处理科学技术奖一等奖（2/5）、中国中文信息学会优秀博士论文奖、COLING 2018 最佳论文提名奖、NLPCC 2019 杰出论文奖，入选第七届“中国科协青年人才托举工程”、上海市启明星计划。黄萱菁，复旦大学计算机学院教授、博士生导师。主要从事人工智能、自然语言处理和信息检索研究。兼任中国中文信息学会理事，中国计算机学会自然语言处理专委会副主任，中国人工智能学会女科技工作者委员会副主任，计算语言学学会亚太分会副主席，亚太信息检索学会指导委员会委员。近年来，承担了国家重点研发计划课题、国家自然科学基金等多个项目，在国际重要学术刊物和会议上发表论文150余篇。获钱伟长中文信息处理科学技术奖、上海市育才奖、人工智能全球女性学者、福布斯中国科技女性等多项荣誉。
原著者简介

第1章 绪论1

1.1 大语言模型的基本概念1

1.2 大语言模型的发展历程4

1.3 大语言模型的构建流程8

1.4 本书的内容安排10

第2章 大语言模型基础13

2.1 Transformer结构13

2.1.1 嵌入表示层14

2.1.2 注意力层15

2.1.3 前馈层18

2.1.4 残差连接与层归一化19

2.1.5 编码器和解码器结构20

2.2 生成式预训练语言模型GPT 25

2.2.1 自监督预训练25

2.2.2 有监督下游任务微调26

2.2.3 预训练语言模型实践27

2.3 大语言模型的结构32

2.3.1 LLaMA的模型结构33

2.3.2 注意力机制优化39

……