CCF 2024中国计算机科学技术发展报告 大模型篇

适读人群 ：计算技术及相关领域从业者
◆中国计算机学会文集
◆记录和见证中国大模型领域的发展
◆展现中国大模型技术及相关领域的研究进展
◆完整地认知新时期面临的挑战和机遇

本书充分体现了对大模型技术发展中的新问题、前沿技术、交叉融合的思考，主要内容包括：大语言模型理论的研究进展与趋势、领域大模型的研究进展与趋势、大模型下的软件工程研究进展与趋势、数据准备与语言模型交叉技术的研究进展及发展趋势、大模型基础软件的研究进展与趋势、大模型时代智能音频信号处理的研究进展与趋势、大语言模型价值对齐的研究进展与趋势，以及基于大模型的智能体的理论、关键技术与展望。内容具有权威性、全面性和前沿性。
本书主要供中国计算机学会会员了解2024年计算机大模型技术发展的最新动态，也非常适合计算机学者和从业者阅读与收藏。

前言<br />大语言模型理论的研究进展与趋势CCF人工智能与模式识别专业委员会<br />1大语言模型理论概述：统计学习视角2<br />1.1大语言模型的理论框架2<br />1.2大语言模型的表达能力4<br />1.3大语言模型的泛化分析4<br />1.4大语言模型的优化算法6<br />2大语言模型的构建原则：理论指导实践8<br />2.1预训练理论及其启发8<br />2.2有监督微调理论及其启发10<br />2.3提示工程理论及其启发13<br />3大语言模型的涌现能力：数学机理分析14<br />3.1扩展法则机理分析15<br />3.2情境学习能力机理分析17<br />3.3思维链能力机理分析19<br />4结论20<br />参考文献20<br />作者简介26<br />领域大模型的研究进展与趋势CCF人工智能与模式识别专业委员会<br />1引言28<br />2领域大模型的构建流程29<br />2.1大模型评测29<br />2.2数据准备与设计33<br />2.3持续性知识注入38<br />2.4提示工程42<br />3领域大模型驱动的应用框架47<br />3.1工作流47<br />3.2大模型智能体48<br />4国内外领域大模型的典型实例54<br />4.1医疗领域55<br />4.2金融领域55<br />4.3法律领域56<br />4.4科研领域56<br />4.5商用领域56<br />5总结与展望57<br />参考文献57<br />作者简介66<br />大模型下的软件工程研究进展与趋势CCF软件工程专业委员会<br />1引言70<br />2软件工程领域大模型71<br />2.1软件工程领域的基础大模型72<br />2.2基于指令调优的软件工程领域大模型74<br />2.3软件工程领域大模型的评估75<br />3大模型辅助软件工程77<br />3.1大模型下的需求与设计77<br />3.2大模型下的代码辅助生成79<br />3.3大模型下的软件测试82<br />3.4大模型下的代码分析与检视84<br />3.5大模型下的软件运维85<br />3.6大模型下的漏洞工程86<br />4大模型下的开源生态88<br />4.1大模型加速开源生态的演进与技术创新88<br />4.2大模型使生态复杂性加剧88<br />4.3大模型促进软件泛在化与生态扩展89<br />5大模型下的软件工程挑战91<br />5.1整体层面的挑战91<br />5.2具体层面的挑战92<br />5.3软件工程大模型数据与评估的挑战99<br />5.4软件工程领域大模型在可信性方面的挑战100<br />6总结100<br />参考文献101<br />作者简介110<br />数据准备与语言模型交叉技术的研究进展及发展趋势CCF数据库专业委员会<br />1引言114<br />1.1初识基于语言模型的数据准备115<br />1.2初识面向语言模型的数据准备117<br />1.3报告结构120<br />2基于语言模型的数据准备120<br />2.1国内外研究现状120<br />2.2基于传统方法的数据准备121<br />2.3基于语言模型的数据发现126<br />2.4基于语言模型的数据查询129<br />2.5基于语言模型的数据融合133<br />2.6基于语言模型的数据清洗136<br />3面向语言模型的数据准备139<br />3.1国内外研究现状140<br />3.2面向预训练的数据准备140<br />3.3面向指令微调的数据准备145<br />3.4面向模型推理的数据准备150<br />4发展趋势与展望154<br />4.1基于语言模型的数据准备发展趋势与展望154<br />4.2面向语言模型的数据准备发展趋势与展望157<br />5结束语160<br />参考文献161<br />作者简介170<br />大模型基础软件的研究进展与趋势CCF系统软件专业委员会<br />1引言172<br />2国内外研究和产业现状174<br />2.1大模型训练微调软件174<br />2.2大模型推理基础软件180<br />2.3大模型开发工具链软件187<br />2.4面向RAG的大模型数据管理基础软件195<br />2.5大模型编排软件203<br />2.6大模型操作系统208<br />3国内学术研究及产业进展213<br />3.1学术研究进展213<br />3.2产业结构演化215<br />4我国大模型基础软件研究的优势和挑战216<br />4.1我国大模型基础软件研究优势216<br />4.2我国大模型基础软件研究面临的挑战217<br />5发展趋势与展望218<br />5.1大模型训练框架走向多模态和异构融合218<br />5.2加速大模型推理从“作诗”走向“作诗+做事”，赋能千行百业219<br />5.3与平台特性、模型特征深入融合，大模型开发工具链软件向领域化<br />发展219<br />5.4数据管理向多模态和多层次发展，与传统数据存储系统进一步融合220<br />5.5多智能体编排软件蓬勃发展，智能体与传统软件加速融合220<br />6结束语221<br />参考文献222<br />作者简介233<br />大模型时代智能音频信号处理的研究进展与趋势CCF语音对话与听觉专业委员会<br />1引言237<br />2音频表征学习239<br />2.1传统声学特征239<br />2.2深度学习表征240<br />2.3自监督学习语音表征241<br />3基于大模型的音频理解任务246<br />3.1按标签类型分类246<br />3.2按任务类型分类247<br />3.3音频标签预测248<br />3.4序列事件检测249<br />3.5音频事件检测249<br />3.6音频描述250<br />3.7大模型时代的音频理解250<br />3.8大模型时代的音频理解评估指标251<br />4基于大模型的音频生成任务252<br />4.1语音生成大模型252<br />4.2音效生成254<br />4.3音乐生成255<br />5通用音频大模型进展257<br />5.1通用音频大模型的3种形式257<br />5.2基于编码器的通用音频大模型258<br />5.3基于编码器-解码器的通用音频大模型261<br />5.4基于解码器的通用音频大模型262<br />5.5融合其他模态的通用音频大模型266<br />5.6通用音频大模型的数据集建设267<br />6未来研究趋势展望268<br />7结束语269<br />参考文献269<br />作者简介278<br />大语言模型价值对齐的研究进展与趋势CCF自然语言处理专业委员会<br />1引言280<br />1.1大语言模型概述280<br />1.2价值对齐的概念与意义281<br />1.3大语言模型的对齐方法与分类283<br />1.4本文的组织形式283<br />2国际研究现状284<br />2.1整体研究方向与趋势284<br />2.2价值对齐方法研究284<br />2.3价值对齐评估与可解释性289<br />3国内研究进展292<br />3.1整体研究方向与趋势292<br />3.2价值对齐方法研究293<br />3.3价值对齐评估与可解释性295<br />4国内外研究进展比较297<br />4.1技术路线的共性297<br />4.2技术路线的差异298<br />4.3研究焦点与方法的比较298<br />4.4应用领域与场景对比300<br />5发展趋势与展望301<br />5.1挑战与机遇301<br />5.2研究趋势与创新方向303<br />5.3对行业与社会的长远影响305<br />6结束语307<br />参考文献307<br />作者简介315<br />基于大模型的智能体：理论、关键技术与展望CCF自然语言处理专业委员会<br />1引言318<br />1.1智能体的背景介绍318<br />1.2智能体的发展历程318<br />1.3基于大模型的智能体的意义320<br />1.4本文的组织安排320<br />2基于大模型的智能体的框架结构322<br />2.1感知模块323<br />2.2规划模块324<br />2.3记忆模块325<br />2.4工具使用模块327<br />3基于大模型的智能体的能力演化路径329<br />3.1基座模型能力拓展329<br />3.2智能体工作流编排331<br />3.3自主探索与进化333<br />3.4多智能体协同演化333<br />3.5智能体标杆数据集334<br />4基于大模型的智能体的应用范式335<br />4.1单智能体范式335<br />4.2多智能体协作范式336<br />4.3人机交互范式337<br />5智能体社会的环境与行为机制338<br />5.1智能体的社会行为与人格338<br />5.2模拟社会的运行环境340<br />5.3使用智能体进行社会模拟342<br />6总结和展望344<br />致谢345<br />参考文献345<br />作者简介359<br />