人工智能时代的语言学

本书由伦斯勒理工学院的两位认知科学家合著，探讨了目前的人工智能学习方法在自然语言理解中的瓶颈，并尝试探索未来发展智能代理的途径。作者介绍了一种将自然语言理解能力操作化的方法，称为“赋予语言能力的智能体”（Language Endowed Intelligent Agents，LEIA）。该方法仿照人类智能体和建模方式，能在减少训练模型数据量的情况下，进一步提升人工智能理解人类语言的准确性，旨在实现可解释、能学习、会协作的AI。
本书主要从认知建模和系统构建的角度来描述LEIA的语言理解能力，其突出的设计特点在于可操作性和实用性。本书共9章，尽量做到通用性与特定性的平衡：第2~7章以相对通用的术语讲解大部分内容，不过分关注实施细节，而是重点强调认知建模过程中的决策制定；最后两章介绍具体内容，使用微理论开发的系统（第8章）和LEIA语言理解能力评估方法（第9章）。
本书内容丰富详尽，尤其是在当前深度学习和大模型技术盛行的背景下，全书只字不提深度学习和大模型，但提倡基于知识系统与机器学习融合的认知建模，为广大专业人士提供了开发经验和创新思路。因此，该书不仅适用于高校人工智能、认知科学、语言学方向的本科生和研究生阅读学习，还可为相关领域的研究与开发人员提供参考。

由两位来自伦斯勒理工大学认知科学家合著，将语言学和现实世界的推理结合起来讨论自然语言理解的著作，从认知建模和系统构建的角度为智能代理系统提供一个受人类启发、可以从口语和书面语言中获得深层理解的语言模型。

伦斯勒理工大学认知科学系副教授，LEIA (Language-Endowed Intelligent Agents，语言附能智能体) 实验室联合主任。

目　录<br /><br />译者序<br />前言<br />致谢<br />第1章对人工智能时代的语言学的展望　1<br />1.1什么是人工智能时代的语言学　1<br />1.2语言难在哪里　1<br />1.3自然语言处理的历史　3<br />1.4人工智能时代的语言学的四大支柱　6<br />1.4.1支柱理论1：语言处理功能是在一个集成、全面的智能体架构中开发的　6<br />1.4.2支柱理论2：建模受人类启发，面向人工智能的解释性和可行性　9<br />1.4.3支柱理论3：启示是从语言学学术研究中获得的，反过来又为该学术研究做出贡献　10<br />1.4.4支柱理论4：在提取和表示语言输入的意义时，会纳入所有可用的启发式证据　16<br />1.5本书的目标　19<br />1.6深入探讨　21<br />1.6.1现象学立场　21<br />1.6.2学习　21<br />1.6.3NLP和NLU：不是非此即彼　22<br />1.6.4认知系统：总览　23<br />1.6.5AI的可解释性　25<br />1.6.6NLP历史上的增量　26<br />1.6.7为什么机器可读的、面向人类的资源仍然不足　27<br />1.6.8知识精益范式中的共指　29<br />1.6.9对话行为检测　31<br />1.6.10关联　32<br />1.6.11关于经验主义NLP的更多内容　33<br />1.6.12人工语料库注释：贡献复杂性和局限性　34<br />1.7进一步探索　36<br /><br />第2章LEIA中的自然语言理解概述　38<br />2.1理论、方法和策略　38<br />2.2热身示例　41<br />2.3知识库　44<br />2.3.1本体　45<br />2.3.2词典　48<br />2.3.3情景记忆　50<br />2.4增量　51<br />2.5NLU的阶段及关联决策制定　52<br />2.5.1预语义分析后的决策制定　55<br />2.5.2预语义整合后的决策制定　56<br />2.5.3基础语义分析后的决策制定　56<br />2.5.4基础共指消解后的决策制定　57<br />2.5.5扩展语义分析后的决策制定　57<br />2.5.6情境推理后的决策制定　58<br />2.6微理论　58<br />2.7“黄金”文本意义表示　61<br />2.8深入探讨　62<br />2.8.1LEIA知识表示语言与其他选项　62<br />2.8.2本体问题　64<br />2.8.3词典问题　67<br />2.8.4自然语言和本体元语言中的释义　74<br />2.9进一步探索　77<br /><br />第3章预语义分析和整合　78<br />3.1预语义分析　78<br />3.2预语义整合　79<br />3.2.1句法映射：基本策略　80<br />3.2.2从产生的错误中恢复　83<br />3.2.3学习新单词和词义　83<br />3.2.4优化不准确的句法映射　85<br />3.2.5某些句法决策的重新解释　86<br />3.2.6处理已知类型的解析错误　87<br />3.2.7从恢复算法到工程策略　88<br />3.3管理组合复杂性　90<br />3.4总结　93<br />3.5进一步探索　94<br /><br />第4章基础语义分析　95<br />4.1修饰　96<br />4.1.1记录属性值　97<br />4.1.2标量属性的动态计算值　98<br />4.1.3使用概念组合解释修饰语　100<br />4.1.4相对文本成分的动态计算值　101<br />4.1.5量化和集合　103<br />4.1.6间接修饰　107<br />4.1.7回顾　108<br />4.2命题级语义增强　108<br />4.2.1情态　109<br />4.2.2动词体　110<br />4.2.3非情态、非体框架动词　111<br />4.2.4疑问　111<br />4.2.5祈使　112<br />4.2.6回顾　113<br />4.3作为词汇构造的多成分实体　113<br />4.3.1构造中的语义空成分　115<br />4.3.2零语义的典型用途　116<br />4.3.3零语义成分的修饰　116<br />4.3.4语义层次结构　118<br />4.3.5额外的知识表示需求　119<br />4.3.6回顾　120<br />4.4间接言语行为的词汇化　120<br />4.5名词复合词的词汇化　121<br />4.6隐喻的词汇化　124<br />4.6.1过去关于隐喻的工作　124<br />4.6.2传统隐喻　125<br />4.6.3系动词隐喻　127<br />4.6.4回顾　127<br />4.7转喻的词汇化　128<br />4.8省略　128<br />4.8.1动词短语省略　128<br />4.8.2动词短语省略结构　129<br />4.8.3事件省略：体+ NP宾语　130<br />4.8.4事件省略：词汇特质　131<br />4.8.5事件省略：变化条件　131<br />4.8.6省略　132<br />4.8.7中心词省略　133<br />4.8.8回顾　133<br />4.9片段式表述　133<br />4.10不选择可选直接宾语　134<br />4.11未知词汇　134<br />4.11.1完全未知的词汇　134<br />4.11.2词性不同的已知词汇　136<br />4.12总结　137<br />4.13进一步探索　138<br /><br />第5章基础共指消解　139<br />5.1指代消解的非技术性概述　139<br />5.1.1定义　139<br />5.1.2基于示例的概述　140<br />5.1.3共指消解面临的挑战　142<br />5.1.4关于省略的特殊注意事项　146<br />5.1.5总结　146<br />5.2人称代词　147<br />5.2.1使用外部开发的引擎解析人称代词　147<br />5.2.2使用词汇句法构造解析人称代词　148<br />5.2.3假设代词共指的语义判定　149<br />5.2.4回顾　150<br />5.3代词广义指称表达　150<br />5.3.1使用构造方法解析代词广义指称表达　150<br />5.3.2在语法简单的上下文中解析代词广义指称表达　152<br />5.3.3使用必须停止标识解析代词广义指称表达　153<br />5.3.4使用谓语名词的意义解析代词广义指称表达　154<br />5.3.5使用选择约束解析代词广义指称表达　155<br />5.3.6回顾　157<br />5.4确定性描述　157<br />5.4.1确定性描述处理——现状回顾　157<br />5.4.2确定性描述处理——基础共指消解阶段　158<br />5.4.3确定性描述处理——情境推理阶段　161<br />5.4.4回顾　162<br />5.5回指事件共指　162<br />5.5.1支撑词的动词/EVENT中心词是什么　163<br />5.5.2事件之间是否存在实例共指或类型共指　165<br />5.5.3动词短语中的宾语之间是否存在实例共指或类型共指　165<br />5.5.4支撑词从句中的修饰语应被纳入解析还是排除在外　166<br />5.5.5情态动词和其他限定词应被纳入解析还是排除在外　166<br />5.5.6回顾　167<br />5.6其他省略或未具体指定的事件　167<br />5.7动词表达的共指事件　168<br />5.8进一步探索　170<br /><br />第6章扩展语义分析　171<br />6.1处理残余歧义　171<br />6.1.1对象通过基本属性连接　172<br />6.1.2对象是同一事件的格角色填充项　172<br />6.1.3对象通过可本体分解的属性连接　173<br />6.1.4对象通过模糊属性进行聚类　174<br />6.1.5对象通过动态计算的短本体路径连接　174<br />6.1.6使用TMR库进行类比推理　175<br />6.1.7回顾　176<br />6.2解决不一致问题　176<br />6.2.1转喻　176<br />6.2.2介词替换　177<br />6.2.3习语的创造性使用　178<br />6.2.4动态计算的间接修饰　182<br />6.2.5回顾　183<br />6.3解决未指定问题　183<br />6.3.1未被词汇意义覆盖的名词复合词　184<br />6.3.2变更事件中的缺失值　187<br />6.3.3欠依据和未指定的比较　188<br />6.3.4回顾　194<br />6.4将片段融入话语意义　194<br />6.5进一步探索　197<br /><br />第7章情境推理　199<br />7.1OntoAgent认知架构　200<br />7.2破碎的语法　200<br />7.3残余词汇歧义：基于领域的偏好　203<br />7.4残余言语行为歧义　203<br />7.5未指定的已知表达　204<br />7.6未指定的未知词分析　204<br />7.7情境指代　204<br />7.7.1审核先前识别的语言支撑词的RefEx　205<br />7.7.2识别剩余RefEx的支撑词　207<br />7.7.3将与所有RefEx关联的TMR锚定到记忆中　208<br />7.8残余隐含意义　208<br />7.9阅读学习　209<br /><br />第8章智能体应用：深度集成自然语言理解的合理性　211<br />8.1马里兰虚拟病人系统　211<br />8.1.1生理建模　213<br />8.1.2示例：GERD的疾病模型　214<br />8.1.3认知建模　218<br />8.1.4系统运行示例　222<br />8.1.5可视化疾病模型　223<br />8.1.6MVP风格模型在多大程度上可以从文本中自动学习　227<br />8.1.7认知模型在多大程度上可以从人类中自动提取　229<br />8.2用于标记认知偏差的临床助手　231<br />8.2.1避免偏差的记忆支持　232<br />8.2.2检测和标记临床医生偏差　233<br />8.2.3检测和标记患者偏差　236<br />8.3LEIA在机器人中的应用　239<br />8.4关于智能体应用的要点　242<br /><br />第9章评估进展　243<br />9.1评估选项，以及为什么标准选项不适用　244<br />9.2五个组件级别的评估实验　246<br />9.2.1名词复合　247<br />9.2.2多词表达　249<br />9.2.3词汇消歧与语义依存结构的建立　252<br />9.2.4困难的指称表达　253<br />9.2.5动词短语省略　254<br />9.3整体评估　256<br />9.4最后的思考　265<br /><br />后记　267<br />注释　269<br />参考文献　283