大模型应用开发 : 基于LANGCHAIN和DEEPSEEK

本书系统讲解了基于LangChain和DeepSeek的大模型应用开发知识。全书以循序渐进的方式，从基础知识到进阶实践，带领读者深入了解大模型的核心原理、构建方法和高效开发策略。
第1、2章介绍了大模型的原理以及LangChain和DeepSeek的核心概念与使用方法。第3章深入探讨LangChain的数据增强技术，包括提示模板、示例选择器和聊天模型。第4章介绍了输出解析器的使用，使模型的输出结果更加可解释和实用。第5～7章聚焦RAG、模型组合以及与主流大模型的集成应用，通过实例介绍大模型的组合和应用技巧。第8～11章提供了多个完整的项目实战，涵盖自然语言处理、信息检索和智能问答等多种应用场景。
本书适合人工智能工程师、AI产品经理以及希望转型AI领域的技术人员阅读，也可用作高等院校相关专业的教材及参考书。

无

第1章 大模型开发基础 001
1.1 大模型介绍 002
1.1.1 大模型的作用 002
1.1.2 数据 003
1.1.3 数据和大模型的关系 003
1.1.4 大模型特点 004
1.1.5 主流大模型介绍 004
1.2 DeepSeek介绍 005
1.2.1 DeepSeek对人工智能市场的影响 005
1.2.2 DeepSeek的主要产品和开源信息 006
1.2.3 DeepSeek API介绍 007
1.2.4 第一个DeepSeek API程序 008
1.3 LangChain基础知识 009
1.3.1 LangChain的主要功能 009
1.3.2 LangChain在大模型应用中的作用 010
1.3.3 安装LangChain 010
1.3.4 第一个LangChain程序：调用DeepSeek实现对话 012

第2章 LangChain开发基础 014
2.1 LangChain应用程序的构成 015
2.1.1 LLM链 015
2.1.2 检索链 017
2.1.3 对话检索链 018
2.1.4 实现Agent 019
2.1.5 LangServe服务 020
2.2 引用大模型实践 021
2.2.1 获得OpenAI回馈 021
2.2.2 DeepSeek的流式调用 023
2.2.3 使用提示模板调用DeepSeek 024
2.2.4 DeepSeek回复的结构化返回 025
2.2.5 使用检索链设置DeepSeek回复 027

第3章 LangChain的数据增强 030
3.1 模型交互工具 031
3.1.1 提示模板 031
3.1.2 聊天模板 032
3.1.3 动态插入消息模板 034
3.1.4 LCEL表达式语言 035
3.2 示例选择器 036
3.2.1 创建示例选择器 036
3.2.2 Length示例选择器 038
3.2.3 Similarity示例选择器 039
3.2.4 MMR示例选择器 041
3.2.5 Ngram示例选择器 042
3.3 BaseChatPromptTemplate模板 044
3.3.1 BaseChatPromptTemplate介绍 044
3.3.2 少量示例提示模板 045
3.3.3 部分提示模板 046
3.3.4 模板组合 049
3.4 聊天模型 052
3.4.1 消息类型 052
3.4.2 Caching 053
3.4.3 自定义聊天模型 054
3.4.4 对数概率 057
3.5 使用大模型 059

第4章 LangChain中的输出解析器 062
4.1 输出解析器基础 063
4.1.1 输出解析器的主要特点和功能 063
4.1.2 输出解析器的必要性 063
4.2 CSV输出解析器 064
4.2.1 CSV格式介绍 064
4.2.2 LangChain中的CSV解析器 064
4.3 日期/时间解析器 065
4.3.1 日期/时间解析器的必要性 065
4.3.2 LangChain中的日期/时间解析器 066
4.4 枚举解析器 068
4.5 JSON解析器 069
4.5.1 JSON的数据结构 069
4.5.2 LangChain中的JSON解析器 069
4.6 修正解析器 071
4.7 Pandas DataFrame解析器 072
4.7.1 Pandas DataFrame格式介绍 072
4.7.2 LangChain中的Pandas DataFrame解析器 073
4.8 XML解析器 074
4.8.1 XML解析器的特点 074
4.8.2 使用XML解析器 075

第5章 检索增强生成 077
5.1 检索增强生成的基础知识 078
5.1.1 检索增强生成的基本原理、优势和应用场景 078
5.1.2 LangChain中的检索增强生成模块 078
5.2 LangChain中常用的文档加载器 079
5.2.1 加载数据的方法 079
5.2.2 自定义文档加载器 080
5.2.3 CSV加载器 086
5.2.4 目录加载器 088
5.2.5 HTML加载器 089
5.2.6 JSON加载器 092
5.3 文本分割器 093
5.3.1 长文本分割器 093
5.3.2 HTML文本分割器 095
5.3.3 字符文本分割器 097
5.3.4 代码分割器 099
5.3.5 Markdown分割器 100
5.3.6 JSON文本分割器 100
5.4 文本嵌入 101
5.4.1 文本嵌入模型介绍 101
5.4.2 DeepSeek的文本嵌入 102
5.5 检索器 103
5.5.1 LangChain中的检索器类型 104
5.5.2 对DeepSeek模型的检索增强生成实战 105

第6章 LangChain中的组合 117
6.1 组合的基本知识 118
6.1.1 组合的优势和应用场景 118
6.1.2 组合的构成组件 118
6.2 工具 119
6.2.1 创建自定义Tools 119
6.2.2 将工具转换为DeepSeek函数 122
6.3 智能体 123
6.3.1 设置LangSmith 124
6.3.2 定义工具 124
6.3.3 创建智能体 126
6.3.4 运行代理 128
6.3.5 添加记忆 129
6.4 代理类型 131
6.4.1 代理调用工具 131
6.4.2 XML代理 132
6.4.3 JSON代理 134

第7章 主流大模型的LangChain操作实战 136
7.1 基于本地DeepSeek模型的LangChain操作实战 137
7.1.1 用Ollama本地部署DeepSeek模型 137
7.1.2 Chatbox可视化部署 140
7.1.3 基于本地DeepSeek模型的对话程序 142
7.1.4 基于本地DeepSeek模型的LangChain程序 144
7.1.5 基于本地PDF知识库的聊天机器人（本地DeepSeek模型） 147
7.2 ChatGLM大模型的LangChain操作实战 156
7.2.1 ChatGLM介绍 156
7.2.2 ChatGLM程序开发基础 157
7.2.3 基于LangChain和ChatGLM的聊天程序 158
7.3 百度千帆大模型的LangChain操作实战 161
7.3.1 准备开发环境 161
7.3.2 基于LangChain的基础聊天程序 162
7.3.3 基于LangChain和百度千帆大模型的信息检索程序 163
7.4 阿里通义千问大模型的LangChain操作实战 165
7.4.1 Ollama本地部署通义千问大模型 165
7.4.2 基于本地Qwen3大模型和PDF文档的知识问答系统 165

第8章 基于 DeepSeek大模型的聊天系统（DeepSeek V3 +LangChain+Transformers） 171
8.1 项目介绍 172
8.2 下载大模型 172
8.2.1 下载脚本 172
8.2.2 附属文件 173
8.3 数据处理 173
8.3.1 JSONL格式化 173
8.3.2 模型输入格式 176
8.4 微调预训练模型 178
8.4.1 普通微调 178
8.4.2 加速微调 180
8.5 模型推理 183
8.5.1 解决方案 183
8.5.2 具体实现 184
8.6 对话调用的准备工作 185
8.6.1 自然语言处理和信息检索 185
8.6.2 情感识别和角色扮演工具 188
8.6.3 函数处理 189
8.6.4 自然语言处理工具类 192
8.6.5 实现语言模型类DeepSeek-V3 196
8.7 实现大模型对话 198

第9章 基于DeepSeek模型的多PDF问答系统（DeepSeek R1+LangChain+Streamlit+Kaggle） 200
9.1 项目介绍 201
9.2 系统设置 201
9.2.1 准备环境和数据 201
9.2.2 导入库文件 202
9.2.3 API密钥管理 203
9.2.4 系统配置参数 203
9.2.5 聊天界面模板 204
9.3 核心功能模块 206
9.3.1 PDF文件处理 206
9.3.2 嵌入和向量存储 207
9.3.3 GoogleSearch搜索 208
9.3.4 创建会话链 210
9.3.5 用户输入处理函数 213
9.4 PDF文件上传和处理接口 214
9.4.1 文档处理UI界面 214
9.4.2 聊天问答界面 217
9.5 基于Streamlit构建Web程序 218
9.5.1 创建Streamlit应用程序 218
9.5.2 安装Localtunnel 228
9.5.3 启动Streamlit应用程序 228

第10章 基于DeepSeek的本地自适应RAG助手（LangGraph+DeepSeek R1+LangChain+Streamlit+Ollama） 229
10.1 项目介绍 230
10.1.1 需求分析 230
10.1.2 核心技术 231
10.2 核心逻辑与状态管理 231
10.2.1 基本配置 231
10.2.2 工具模块 232
10.2.3 基于向量的数据库管理 237
10.2.4 管理跟踪代理状态 238
10.2.5 研究助手系统流程 239
10.3 系统主程序 244
10.3.1 运行环境初始化 244
10.3.2 Streamlit交互主页 245
10.4 调试运行 248

第11章 基于本地知识库的AI问答系统（DeepSeek+LangChain+RAG+Streamlit） 250
11.1 项目介绍 251
11.1.1 功能介绍 251
11.1.2 核心技术 251
11.2 构建和管理知识库 251
11.2.1 知识库管理 252
11.2.2 数据管理 266
11.3 检索增强生成 267
11.3.1 Agent工具 267
11.3.2 Agent生成器和输出解析器 271
11.3.3 优化检索结果 278
11.3.4 基于文档的RAG 279
11.4 Web主页 292
11.5 运行测试 293
11.5.1 安装LangChain-Chat-chat 293
11.5.2 加载DeepSeek模型 294
11.5.3 使用DeepSeek模型进行测试 295