ModelArts人工智能应用开发指南

"华为公司官方出品！一站式AI开发平台，让人工智能应用开发更便捷
华为轮值董事长徐直军，中国工程院院士潘云鹤联袂作序！华为技术有限公司 创立于1987年，是优选靠前的ICT（Information and Communications Technology，信息和通信技术）基础设施和智能终端提供商，致力于把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界。目前，华为约有19.4万名员工，业务遍及170多个国家和地区，为30多亿人提供服务。华为在通信网络、IT、智能终端和云服务等领域为客户提供有竞争力、安全可信赖的产品、解决方案与服务，与生态伙伴开放合作，持续为客户创造价值，释放个人潜能，丰富家庭生活，激发组织创新。华为坚持围绕客户需求持续创新，加大基础研究投入，厚积薄发，推动世界进步。"

本书主要围绕人工智能平台ModelArts和人工智能应用开发流程，介绍基本概念、关键模块以及典型的场景化应用开发案例。全书共分为三篇： 篇人工智能应用开发概述(章和第2章)，介绍了人工智能技术、应用、平台，以及人工智能应用快速开发流程； 第二篇人工智能应用开发方法(第3章~第9章)，介绍了人工智能应用开发全流程及其子流程，包括数据准备、算法选择和开发、模型训练、模型评估和调优、应用生成、应用评估和发布、应用维护； 第三篇人工智能应用开发场景化实践(0章~2章)，介绍了企业级人工智能平台、面向复杂行业的自动化人工智能系统、基于端边云协同的人工智能平台及应用开发。

本书旨在通过一整套工具链和方法传递，使得每个开发者都可以借助ModelArts平台在具体业务场景下更快、更高效、更低成本地开发出人工智能应用，从而更好地解决各行业各领域面临的实际问题。本书适合有志于从事人工智能应用开发的开发者参考。

田奇 华为云人工智能领域首席科学家，IEEE Fellow，国家自然科学基金海外杰青，中国科学院海外评审专家。本科毕业于清华大学电子工程系，后赴美国伊利诺伊大学香槟分校师从Thomas S. Huang教授获博士学位（2002年），后任美国德克萨斯大学圣安东尼奥分校（UTSA）计算机系教授。2010年获谷歌教授科研奖(Google Faculty Research Award)，2017年获UTSA校长杰出研究奖，2016年获评多媒体领域十大拥有影响力学者。2018年6月至2020年3月，担任华为诺亚方舟实验室计算视觉首席科学家，视觉方向的前沿研究。拥有多项美国，在计算机视觉及多媒体方向很好期刊及会议上发表文章550多篇，谷歌学术引用21800多次，7篇论文获很好论文奖或很好学生论文。白小龙 华为云机器学习和深度学习技术专家、ModelArts产品架构师，浙江大学工学博士，新加坡南洋理工大学公派联合培养博士，《深入理解TensorFlow：架构设计与实现原理》作者之一。博士期间主要从事图像识别、机器学习、智能检测系统的研究，曾研发了智能检测和图像识别系统，曾获教育部博士研究生学术新人奖。

CONTENTS

目录

篇人工智能应用开发概述

章人工智能技术、应用及平台

1.1人工智能技术

1.1.1人工智能技术的发展

1.1.2人工智能技术的主要领域

1.1.3人工智能技术的价值

1.2人工智能应用

1.2.1人工智能应用的特点

1.2.2人工智能应用的商业化场景

1.3人工智能平台

第2章人工智能应用快速开发

2.1基于图像分类模板的开发

2.2基于目标检测模板的开发

2.3基于声音分类模板的开发

2.4基于文本分类模板的开发

第二篇人工智能应用开发方法

第3章人工智能应用开发全流程

3.1人工智能应用开发全流程解析

3.1.1数据准备子流程

3.1.2算法选择和开发子流程

3.1.3模型训练子流程

3.1.4模型评估和调优子流程

3.1.5应用生成、评估和发布子流程

3.1.6应用维护子流程

3.2人工智能应用开发流程的权衡

3.2.1复杂和简单的取舍

3.2.2人与机器的平衡

3.2.3开发和运行的融合

3.3人工智能应用开发全流程的成本分析

3.3.1设计和开发成本

3.3.2部署和维护成本

3.3.3边际成本




第4章数据准备

4.1数据采集和接入

4.1.1数据采集

4.1.2数据接入

4.2数据处理

4.2.1数据校验和转换

4.2.2数据清洗

4.2.3数据选择

4.2.4数据增强

4.2.5其他数据处理

4.3数据标注

4.3.1标注任务分类

4.3.2智能数据标注

4.3.3数据标注元信息管理

4.4数据分析和优化

4.4.1数据集特征分析和优化

4.4.2细粒度数据诊断和优化

第5章算法选择和开发

5.1算法选择

5.1.1基础层算法选择

5.1.2应用层算法选择

5.1.3ModelArts预置算法选择

5.2算法开发

5.2.1开发语言

5.2.2开发库

5.2.3交互式开发环境

5.2.4ModelArts云上云下协同开发

第6章模型训练

6.1模型训练的基本过程

6.1.1基础概念

6.1.2模型训练与数据源的交互

6.1.3模型训练具体过程

6.2基于ModelArts的模型训练

6.2.1使用预置算法训练

6.2.2使用自定义算法训练

6.2.3使用自定义镜像训练

6.3端到端训练加速

6.3.1数据侧加速

6.3.2计算侧加速

6.3.3分布式并行侧加速

6.3.4调参侧加速

6.4自动搜索

6.4.1AutoSearch框架

6.4.2基于AutoSearch进行搜索

6.5弹性训练

6.6联邦协同训练

第7章模型评估和调优

7.1模型评估

7.1.1精度评估

7.1.2性能评估

7.1.3其他维度的评估

7.1.4基于ModelArts的模型评估

7.2模型诊断优化

7.2.1精度诊断优化

7.2.2性能诊断优化

第8章应用生成、评估和发布

8.1应用管理

8.1.1模型格式转换

8.1.2简单应用生成

8.1.3基于编排的应用生成

8.1.4应用评估

8.2应用部署和发布

8.2.1部署类型

8.2.2部署管理

8.2.3应用测试和使用

第9章应用维护

9.1数据采集和筛选

9.2应用迭代

9.2.1基于数据的应用迭代优化

9.2.2基于算法和模型的应用迭代优化

9.3基于ModelArts的应用维护

第三篇人工智能应用开发场景化实践

0章构建企业级人工智能平台

10.1企业级人工智能平台

10.1.1企业级人工智能平台的设计要素

10.1.2ModelArts Pro企业级开发套件

10.2企业级OCR平台

10.2.1OCR算法的基本流程

10.2.2企业级OCR平台及关键流程

1章构建面向复杂行业的自动化人工智能系统

11.1面向复杂行业的人工智能系统


11.2面向基因组学的自动化人工智能建模系统

11.2.1基于人工智能的组学数据建模

11.2.2面向基因组学的自动化建模

11.2.3基于SHAP的模型解释

11.2.4基因组数据自动建模工具——AutoGenome

2章端边云协同的人工智能平台及应用开发

12.1端云协同的人工智能应用开发

12.1.1端云协同开发的应用场景

12.1.2HiLens端云协同开发平台

12.1.3HiLens开发环境

12.1.4HiLens开发框架

12.1.5案例： 智慧工地安全帽识别

12.2边云协同的人工智能应用开发

12.2.1智能交通解决方案的背景

12.2.2智能交通解决方案的设计

12.2.3基于边云协同的智能视频分析