2020-02-28

《神经网络与深度学习》读书笔记

书名：神经网络与深度学习
作者：吴岸城
出版社：电子工业出版社
出版时间：2016-06
ISBN：9787121288692

本书结合日常生活中的寻常小事，生动形象地阐述了神经网络与深度学习的基本概念、原理和实践，案例丰富，深入浅出。

对于正在进入人工智能时代的我们，这些内容无疑可以帮助我们更好地理解人工智能的原理，丰富我们对人类自身的认识，并启发我们对人机智能之争更深一层的思考与探索。

介绍

第0章，介绍机器学习、神经网络的历史，好让大家有基本的了解。
第1章，解释大脑的运作结构和如何利用仿生学产生逻辑上的神经元和神经网络。
第2章，我们用仿生学的知识试着构造一个神经网络（感知机）并使用它做些事情，解释了XOR问题。在2.6节给出一些例子，让我们能更好地了解神经网络是如何分类学习和预测的。
第3章，介绍深度学习的基本概念，深度学习和神经网络的联系。
第4章，介绍深度学习的常用方法。
第5章，介绍AlphaGo。
第6章，两个重要概念，迁移学习和概率图模型PGM。
第7章，给出了一些经验以加快大家学习和研究的效率。

术语

图灵：全名艾伦·麦席森·图灵，英国人，因性倾向遭到当时的英国政府迫害，职业生涯尽毁。他可以说是人工智能之父，笔者十分佩服其才智。
决策树：是一个预测模型；它代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表某个可能的属性值，每个叶节点对应从根节点到该叶节点所经历的路径所表示的对象的值。
条件概率：就是事件A在另外一个事件B已经发生的条件下的发生概率。条件概率表示为P（A|B），读作“在B条件下A的概率”。
树突、轴突：神经元的输入和输出部分。5. AND/XOR/OR：数学逻辑运算。
人工神经元：是一种模仿生物神经元的结构和功能的数学模型或计算模型。
感知机：它被视为是一种最简单的前馈神经网络，是一种二元线性分类器。
前馈神经网络：最简单的人工神经网络类型。在它的内部，参数从输入层向输出层单向传播。
特征：本书中指将现实生活中的事物的部分特点提取并抽象出一种数学或物理模型。
特征粒度：提取特征的维度。
浅层学习/深度学习：相对概念，深度学习相对浅层学习抽象层级要多。12. BP算法（反向传播算法）：是一种监督学习算法，常被用来训练多层感知机，利用反向传播原理修正权值。
自动编码器（AE）：自动编码器就是一个运用了反向传播进行无监督学习的神经网络，学习的目的是为了让输出值和输入值相等。14. RBM（限制波兹曼机）：是一种可通过输入数据集学习概率分布的随机生成神经网络。
概率模型：是用来描述不同随机变量之间关系的数学模型，通常情况下刻画了一个或多个随机变量之间的相互非确定性的概率关系。
能量模型（EBM）：基于能量的模型，把我们关心的变量的各种组合和一个标量能量联系在一起。我们训练模型的过程就是不断改变标量能量的过程。
DBN（深度信度网络）：通过自底向上组合多个RBM可以构建一个DBN，利用非监督贪心逐层训练算法，解决深层结构相关的优化问题。18. CNN（卷积神经网络/ConvNets）：是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。
概率图：是一种使用图来表达随机变量之间条件独立性的概率模型。
贝叶斯定理：事件A在事件B（发生）的条件下的概率。
SVM（支持向量机）：监督学习方法，属于一般化线性分类器。这种分类器的特点是它们能够同时最小化经验误差与最大化几何边缘区，因此支持向量机也被称为最大边缘区分类器。
K-Means：把n个点（可以是样本的一次观察或一个实例）划分到k个聚类中，使得每个点都属于离它最近的均值（此即聚类中心）对应的聚类。
Java：一种面向对象的高级语言。
Python：是一种解释型的计算机程序语言，具有近20年的发展历史。它包含了一组功能完备的标准库，能够轻松完成很多常见的任务。
MATLAB：是一款由美国TheMathWorks公司出品的商业数学软件。MATLAB是一种用于算法开发、数据可视化、数据分析及数值计算的高级技术计算语言和交互式环境。
C++：是一种广泛使用的计算机程序设计语言。
并行计算：一般是指许多指令得以同时进行的计算模式。
NASA：国家航空航天局（英语：National Aeronautics and SpaceAdministration，缩写为NASA），是美国联邦政府的一个行政机构，负责制定、实施美国的民用太空计划，并开展航空科学暨太空科学的研究。