机器学习的目标是对计算机编程，以便使用样本数据或以往的经验来解决给定的问题。已经有许多机器学习的成功应用，包括分析以往销售数据来预测客户行为，人脸识别或语音识别，优化机器人行为以便使用最少的资源来完成任务，以及从生物信息数据中提取知识的各种系统。为了对机器学习问题和解进行统一的论述，本书讨论了机器学习在统计学、模式识别、神经网络。人工智能。信号处理、控制和数据挖掘等不同领域的应用。对所有学习算法都进行了解释，以便读者可以容易地将书中的公式转变为计算机程序。本书可作为高等院校计算机相关专业高年级本科生和研究生的教材，也可供研究机器学习方法的技术人员参考。.
本书对机器学习的定义和应用实例进行了介绍，涵盖了监督学习。贝叶斯决策理论。参数方法、多元方法、维度归约、聚类、非参数方法、决策树。线性判别式、多层感知器，局部模型、隐马尔可夫模型。分类算法评估和比较，组合多学习器以及增强学习等。...
Ethem Alpaydin，是土耳其伊斯坦布尔博阿齐奇大学计算机工程系的教授。于1990年在洛桑联邦理工学院获博士学位，之后先后在美国麻省理工和伯克利大学工作和进行博士后研究。Ethem博士主要从事机器学习方面的研究，是剑桥大学的《The Computer Journal》杂志编委和Elsevier的《Pattern Recognition》杂志的副主编。2001年和2002年，Ethem博士先后获得土耳其科学院青年科学家奖和土耳其科学与技术研究委员会科学奖。...
..
<< 查看详细
出版者的话.
中文版序
译者序
前言
致谢
符号表
第1章 绪论
1．1 什么是机器学习
1．2 机器学习的应用实例
1．2．1 学习关联性
1．2．2 分类
1．2．3 回归
1．2．4 非监督学习
1．2．5 增强学习
1．3 注释
1．4 相关资源
1．5 习题
1．6 参考文献
第2章 监督学习
2．1 由实例学习类
.2．2 VC维
2．3 概率逼近正确学习
2．4 噪声
2．5 学习多类
2．6 回归
2．7 模型选择与泛化
2．8 监督机器学习算法的维
2．9 注释
2．10 习题
2．11 参考文献
第3章 贝叶斯决策定理
3．1 引言
3．2 分类
3．3 损失与风险
3．4 判别式函数
3．5 效用理论
3．6 信息值
3．7 贝叶斯网络
3．8 影响图
3．9 关联规则
3．10 注释
3．11 习题
3．12 参考文献
第4章 参数方法
4．1 引言
4．2 最大似然估计
4．2．1 伯努利密度
4．2．2 多项密度
4．2．3 高斯(正态)密度
4．3 评价估计：偏倚和方差
4．4 贝叶斯估计
4．5 参数分类
4．6 回归
4．7 调整模型的复杂度：偏倚／方差两难选择
4．8 模型选择过程
4．9 注释
4．10 习题
4．11 参考文献
第5章 多元方法
5．1 多元数据
5．2 参数估计
5．3 缺失值估计
5．4 多元正态分布
5．5 多元分类
5．6 调整复杂度
5．7 离散特征
5．8 多元回归
5．9 注释
5．10 习题
5．11 参考文献
第6章 维度归约
6．1 引言
6．2 子集选择
6．3 主成分分析
6．4 因子分析
6．5 多维定标
6．6 线性判别分析
6．7 注释
6．8 习题
6．9 参考文献
第7章 聚类
7．1 引言
7．2 混合密度
7．3 k-均值聚类
7．4 期望最大化算法
7．5 潜在变量混合模型
7．6 聚类后的监督学习
7．7 层次聚类
7．8 选择簇个数
7．9 注释
7．10 习题
7．11 参考文献
第8章 非参数方法
8．1 引言
8．2 非参数密度估计
8．2．1 直方图估计
8．2．2 核估计
8．2．3 k-最近邻估计
8．3 到多变元数据的推广
8．4 非参数分类
8．5 精简的最近邻
8．6 非参数回归：光滑模型
8．6．1 移动均值光滑
8．6．2 核光滑
8．6．3 移动线光滑
8．7 如何选择光滑参数
8．8 注释
8．9 习题
8．10 参考文献
第9章 决策树
9．1 引言
9．2 单变量树
9．2．1 分类树
9．2．2 回归树..
9．3 剪枝
9．4 由决策树提取规则
9．5 由数据学习规则
9．6 多变量树
9．7 注释
9．8 习题
9．9 参考文献
第10章 线性判别式
10．1 引言
10．2 推广线性模型
10．3 线性判别式的几何意义
10．3．1 两类问题
10．3．2 多类问题
10．4 逐对分离
10．5 参数判别式的进一步讨论
10．6 梯度下降
10．7 逻辑斯谛判别式
10．7．1 两类问题
10．7．2 多类问题
10．8 回归判别式
10．9 支持向量机
10．9．1 最佳分离超平面
10．9．2 不可分情况：软边缘超平面
10．9．3 核函数
10．9．4 用于回归的支持向量机
10．10 注释
10．11 习题
10．12 参考文献
第11章 多层感知器
11．1 引言
11．1．1 理解人脑
11．1．2 神经网络作为并行处理的典范
11．2 感知器
11．3 训练感知器
11．4 学习布尔函数
11．5 多层感知器
11．6 MLP作为通用逼近器
11．7 后向传播算法
11．7．1 非线性回归
11．7．2 两类判别式
11．7．3 多类判别式
11．7．4 多个隐藏层
11．8 训练过程
11．8．1 改善收敛性
11．8．2 过分训练
11．8．3 构造网络
11．8．4 线索
11．9 调整网络规模
11．10 学习的贝叶斯观点
11．11 维度归约
11．12 学习时间
11．12．1 时间延迟神经网络
11．12．2 递归网络
11．13 注释
11．14 习题
11．15 参考文献
第12章 局部模型
12．1 引言
12．2 竞争学习
12．2．1 在线k-均值
12．2．2 自适应共鸣理论
12．2．3 自组织映射
12．3 径向基函数
12．4 结合基于规则的知识
12．5 规范化基函数
12．6 竞争的基函数
12．7 学习向量量化
12．8 混合专家模型
12．8．1 协同专家模型
12．8．2 竞争专家模型
12．9 层次混合专家模型
12．10 注释
12．11 习题
12．12 参考文献
第13章 隐马尔可夫模型
13．1 引言
13．2 离散马尔可夫过程
13．3 隐马尔可夫模型
13．4 HMM的三个基本问题
13．5 估值问题
13．6 寻找状态序列
13．7 学习模型参数
13．8 连续观测
13．9 带输入的HMM
13．10 HMM中的模型选择
13．11 注释
13．12 习题
13．13 参考文献
第14章 分类算法评估和比较
14．1 引言
14．2 交叉确认和再抽样方法
14．2．1 K-折交叉确认
14．2．2 5×2交叉确认
14．2．3 自助法
14．3 误差度量
14．4 区间估计
14．5 假设检验
14．6 评估分类算法的性能
14．6．1 二项检验
14．6．2 近似正态检验
14．6．3 配对t检验
14．7 比较两个分类算法
14．7．1 McNemar检验
14．7．2 K-折交叉确认配对t检验
14．7．3 5×2交叉确认配对t检验
14．7．4 5×2交叉确认配对F检验
14．8 比较多个分类算法：方差分析
14．9 注释
14．10 习题
14．11 参考文献
第15章 组合多学习器
15．1 基本原理
15．2 投票法
15．3 纠错输出码
15．4 装袋
15．5 提升
15．6 重温混合专家模型
15．7 层叠泛化
15．8 级联
15．9 注释
15．10 习题
15．11 参考文献
第16章 增强学习
16．1 引言
16．2 单状态情况：K臂赌博机问题
16．3 增强学习基础
16．4 基于模型的学习
16．4．1 价值迭代
16．4．2 策略迭代
16．5 时间差分学习
16．5．1 探索策略
16．5．2 确定性奖励和动作
16．5．3 非确定性奖励和动作
16．5．4 资格迹
16．6 推广
16．7 部分可观测状态
16．8 注释
16．9 习题
16．10 参考文献
附录A 概率论
索引...
自从有计算机以来，人们就希望计算机能够学习。然而，机器学习真正取得实质性进展，能够成功地解决一些实际问题，并最终成为一个学科分支还是近20余年的事。.
对于许多问题，我们的前人和先行者已经知道如何求解。例如，欧几里德告诉我们可以用辗转相除法求两个整数的最大公约数；Dijkstra告诉我们如何有效地求两点之间的最短路径；Hoare向我们展示了怎样将杂乱无章的对象快速排序……对于这些问题，我们清楚地知道求解步骤。因此，让计算机求解这些问题只需要设计算法和数据结构、进行编程，而不需要让计算机学习。
还有一些事情，人们可以轻而易举地做好，但是却无法解释清楚我们是如何做的。例如，尽管桌子千差万别、用途各异，但是我们一眼就能看出某个物体是否是桌子；尽管不同的人的手写阿拉伯数字大小不一、笔画粗细不同，但是我们还是可以轻易识别一个数字是不是8；尽管声音时大时小、有时可能还有点沙哑，但是我们还是可以不费力气地’听出熟人的声音。诸如此类的例子不胜枚举。对于这些问题，我们不知道求解步骤。因此，让计算机来做这些事就需要让计算机学习。
我们知道桌子不是木材和各种材料的随机堆砌，手写数字不是像素的随机分布，熟人的声音也不是各种声波的随机混合。现实世界总是有规律的。机器学习正是从已知实例中自动发现规律，建立对未知实例的预测模型；根据经验不断提高，不断改进预测性能。..
这是关于机器学习这一主题全面论述的教科书，适合作为高等院校计算机相关专业高年级本科生和研究生机器学习入门课程的教材。该书涵盖了监督学习、贝叶斯决策理论、参数方法、多元方法、维度归约、聚类、非参数方法、决策树、线性判别式、多层感知器、局部模型、隐马尔可夫模型、分类算法评估和比较、组合多学习器以及增强学习。作者对来自统计学、模式识别、神经网络、人工智能、信号处理、控制和数据挖掘等不同领域的机器学习问题和学习方法进行了统一论述。
现在，学习的本质还不十分清楚。然而，关于学习的理论认识已开始逐步形成，已经建立起来的一些机器学习方法已经成功地解决了许多实际问题。我们能够从这本书中学习机器学习，发现机器学习的新方法，不断提高对学习本质的认识。
全书共分16章和一个附录。昝红英翻译了第1～6章，牛常勇翻译了第13～16章，范明翻译了其余部分，并对全书译文进行了修改和最后定稿。
本书的翻译得到了原作者Ethem Alpaydin教授的支持。Ethem教授不仅为中文版写序，而且还耐心地解释了我们的一些疑问。在此，我们向Ethem教授表示感谢。
译文中的错误和不当之处，敬请读者朋友指正。意见和建议请发至mfan@zzu．edu．cn，我们不胜感激。...
译者
2009年春于郑州大学
机器学习使用实例数据或过去的经验训练计算机，以优化性能标准。当人们不能直接编写计算机程序解决给定的问题，而是需要借助于实例数据或经验时，就需要学习。一种需要学习的情况是人们没有专门技术，或者不能解释他们的专门技术。以语音识别，即将声学语音信号转换成ASCII文本为例。看上去我们可以毫无困难地做这件事，但是我们却不能解释我们是如何做的。由于年龄、性别或口音的差异，不同的人读相同的词发音却不同。在机器学习中，这个问题的解决方法是从不同的人那里收集大量发音样本，并学习将它们映射到词。.
另一种需要学习的情况是要解决的问题随时间变化或依赖于特定的环境。我们希望有一个能够自动适应环境的通用系统，而不是为每个特定的环境编写一个不同的程序。以计算机网络上的包传递为例。最大化服务质量的、从源地到目的地的路径随网络流量的改变而改变。学习路由程序能够通过监视网络流量自动调整到最佳路径。另一个例子是智能用户界面，它能够自动适应用户的生物特征，即用户的口音、笔迹、工作习惯等。
机器学习在各个领域都有许多成功的应用：已经有了识别语音和笔迹的商用系统。零售商分析他们过去的销售数据，了解顾客行为，以便改善顾客关系管理。金融机构分析过去的交易，以便预测顾客的信用风险。机器人学习优化它们的行为，以便使用最少的资源来完成任务。在生物信息学方面，使用计算机不仅可以分析海量数据，而且还可以提取知识。这些只是我们(即你和我)将在本书讨论的应用的一部分。我们只能想象一下可使用机器学习实现的未来应用：可以在不同的路况、不同的天气条件下自己行驶的汽车，可以实时翻译外语的电话，可以在新环境(例如另一个星球的表面)航行的自动化机器人。机器学习的确是一个令人激动的研究领域!..
本书讨论的许多方法都源于各种领域：统计学、模式识别、神经网络、人工智能、信号处理、控制和数据挖掘。过去，这些不同领域的研究遵循不同的途径，侧重点也不同。本书旨在把它们组合在一起，给出问题的统一处理并提供它们的解。
本书是一本入门教材，用于高年级本科生和研究生的机器学习课程，以及在业界工作、对这些方法的应用感兴趣的工程技术人员。预备知识是计算机程序设计、概率论、微积分和线性代数方面的课程。本书的目标是充分解释所有的学习算法，使得从本书给出的方程到计算机程序只是一小步。为了使这一任务更容易完成，对于某些情况，我们给出了算法的伪代码。
适当选取一些章节，本书可用作一学期的课程。再额外讨论一些研究论文的话，本书也可以作为两学期的课程，这时每章后的参考文献将很有用。
本书网页为http：／／www．cmpe．boun．edu．tr／～ethem／i2ml／，我将在那里提供一些与本书有关的信息，如勘误表。我真诚地欢迎你将你的反馈意见发到我的邮箱：alpaydin@boun．edu．tr。
我非常喜欢写这本书；希望你能喜欢读它。...
