支持向量机（SVM）是在统计学习理论的基础上发展起来的新一代学习算法，该算法在文本分类、手写识别、图像分类、生物信息学等领域中获得了较好的应用。本书是第一本支持向量机方面的导论型读物。它从机器学习算法的基本问题开始，循序渐进地介绍相关的背景知识，包括线性分类器、核函数特征空间、推广性理论和优化理论，从而很自然地引出了支持向量机的算法。书的末尾还详细讨论了一系列支持向量机的重要应用以及实现的技巧。该书提供的大量相关文献以及网站链接为进一步学习提供了有效线索，有助于读者及时跟踪该领域的最新信息。本书可作为计算机、自动化、机电工程、应用数学等专业的研究生教材，也可作为神经网络、机器学习、数据挖掘等课程的参考教材，同时还是相关领域的教师和研究人员的参考书。
20世纪90年代初期出现的SVM，在理论方面不断深入，在实践中不断拓广，目前已成为机器学习和数据挖掘领域的标准工具。读者会发现本书虽具有一定的挑战性，但很容易理解，而研究者也会很顺利地找到掌握这些技术的理论和应用所需要的材料。本书遵循易理解和自包含的原则，循序渐进地介绍了SVM的概念，论述既严谨又透彻。书中列出的相关材料和软件的网站可以给读者的进一步学习提供一个理想的起点。本书可以帮助研究者应用这些技术，而相关网站可以提供新文献、新应用和不断更新的在线软件。

第1章 学习方法

1.1 监督学习
1.2 学习和泛化性
1.3 提高泛化性
1.4 学习的价值和缺点
1.5 用于学习的支持向量机
1.6 习题
1.7 补充读物和高级主题

第2章 线性学习器

2.1 线性分类
2.1.1 Rosenblatt感知机
2.1.2 其他线性分类器
2.1.3 多类判别
2.2 线性回归
2.2.1 最小二乘法
2.2.2 岭回归
2.3 线性学习器的对偶表示

支持向量机由Vapnik及其合作者发明，在1992年计算学习理论的会议上介绍进入机器学习领域，之后受到了广泛的关注。在20世纪90年代中后期得到了全面深入的发展，现已成为机器学习和数据挖掘领域的标准工具。
支持向量机是机器学习领域若干标准技术的集大成者。它集成了最大间隔超平面、Mercer核、凸二次规划、稀疏解和松弛变量等多项技术。在若干挑战性的应用中，获得了目前为止最好的性能。在美国科学杂志上，支持向量机以及核学习方法被认为是“机器学习领域非常流行的方法和成功的例子，并是一个十分令人瞩目的发展方向”。
《支持向量机导论》是一本综合性介绍支持向量机各项标准技术的著作，书中从学习方法到超平面、核函数、泛化性理论、最优化理论，最后总结到支持向量机理论，并介绍了其实现技术和应用。本书的叙述循序渐进，内容深入浅出，既严谨又易于理解，得到了很多支持向量机研究者的认可。本书的原著已经是第二版第四次印刷。其一大特色是作者建立了一个网站http：//www.support-vector.net/，提供了在线的参考文献和一些软件的链接。这被评为“独特并具有现代化色彩”。目前国内还很缺乏这样系统性的著作，所以译者很乐意将本书翻译过来，供国内支持向量机、神经网络、机器学习、模式识别、数据挖掘乃至统计数学等领域的研究者参考。
译者在翻译过程中力求忠于原著。专业术语尽量遵循各学科的标准。由于水平和时间有限，对于原著的理解可能会有偏差，书中错误和不妥之处在所难免，恳请读者批评指正。
本书第1章和第5章初稿分别由曾华军和王猛翻译，其余章节由李国正翻译，全书由李国正整理完成。上海大学陈念贻教授校对了部分内容，并对一些翻译用语提出了中肯的建议；南京大学周志华教授就前六章细致地修改了一些错误的地方，并对专业术语的使用提出了中肯的意见；天津大学郑建华同学仔细阅读了译稿并提出了若干修改意见；清华大学孙建涛博士，北京的邹涛研究员，上海的叶晨周博士，交通大学的王永刚博士和青岛朗讯的刘玉海研究员分别对部分章节的翻译提出了一些宝贵的修改意见。南京航空航天大学陈松灿教授也对本书的翻译予以支持。译者谨在此对这些老师和同学表示感谢!李国正和王猛还要感谢导师杨杰教授提供的宽松舒适的学术环境以及在学习研究过程中所给予的指导。

近年来，支持向量机(SVM)的理论已经取得重大进展，其算法实现策略以及实际应用也发展迅速。可以确信，该技术的研究已发展成为机器学习中一个独立的子领域，在理论和实践两方面都有着光明的前景。尽管如此，目前还很缺乏对这个主题较系统的介绍材料。SVM的理论体系涵盖的对象极为广泛，包括对偶表示、特征空间、学习理论、优化理论和算法等。
虽然关于这些主题仍在进行大量的研究工作，但其基础理论已经发展成熟，足以构建SVM的整个框架。本书从这些基础理论出发，尝试以SVM为主题进行深入浅出的介绍。
本书提供了严谨但易懂的阅读材料，可以作为学生或研究者进入机器学习这一新领域的指导读物。本书组织成教材形式，既可作为SVM课程的核心材料，也可作为神经网络、机器学习或模式识别等课程的附加读物。因为采取了教材形式，本书的内容尽可能做到自包含，以使非机器学习或者没有计算机背景的读者易于掌握。这样其他领域的读者就可以很轻松地应用SVM到自己的实际问题中去。作者还尝试通过严谨的推导来提供清晰的学习路线，因此书中提供了定理简要的证明过程以增强读者对概念的理解。对详细的证明过程感兴趣的读者可以参考原始文献。
每章后面附有习题，以及相关的参考文献或软件。由于在线资源可能会更新，所以有些引用会指向某一专门网站，其中相关的链接也会相应更新，从而保证读者找到相应的在线资源。
尽管有些引用是间接的，本书还是尽量标明所引用素材的作者。希望各位作者不会因为这些间接引用而感到不快。每章的结尾有补充读物和高级主题，其作用有二：一是将所有引用包含在这一节以使正文尽可能整洁，这里要再次请求所引用素材的作者宽恕这种延后的引用说明；二是希望为读者提供一个出发点以便能够进一
步学习该章所讨论的主题。这些参考材料也包含在网站中，并保持更新。将引用说明移到正文之外的另一考虑是该领域已经到达一个成熟阶段，从而能使用前后一致的表述。但在这个方面有两个例外，一是某些定理通常可由其命名得知其作者，比如Mercer定理；另一例外是在第8章，其中描述了研究领域的一些特定实验。
本书写作中遵循的基本原则是对于不喜欢复杂的证明和概念的学生和研究者而言易于理解。相信通过直观且严谨的内容安排，SVM的出现会显得简单又自然。本书还尽量用简单的例子来介绍概念，之后才说明在复杂情形下的用法。本书是自包含的，附录中提供了基本线性代数和概率论之外的一些数学工具，从而更适合于跨学科的读者。
书中大部分材料在一个5小时的SVM和大间隔推广能力的讲座中展示过，该讲座是1999年在California大学Santa Cruz校区举办的。其中的大多数反馈意见也包含在书中。本书的部分章节是Nello在California大学Santa Cruz校区访问时写的，感谢这里的东道主和优美的校园环境。写作过程中，Nello多次长时间访问London
大学Royal Holloway校区。他很感谢Lynda及其家人的三次款待。Nello和John还想感谢技术管理员Alex Gammerman以及Royal Holloway的计算机系同仁，他们提供了宽松舒适的环境，使得作者安心写作。
许多人为本书的雏形和主干做出了贡献，包括间接的讨论和对手稿的直接评注。作者感谢Kristin Bennett，Colin Campbell，Nicol6 Cesa-Bianchi，David Haussler,Ralf Herbrich，Ulrich Kockelkom，John Platt，Tomaso Poggio，Bernhard SchOlkopf,Alex Smola，Chris Watkins，Manfred Warmuth，ChrisWilliams和Bob Williamson。
作者还感谢David Tranah和Cambridge大学出版社对本书出版过程中的大力支持和帮助。
Alessio Cristianini帮助建立了网站。Kostantinos Veropoulos在Bristol大学用他的软件包生成了第6章的图片。感谢John Platt提供了附录A中的SMO伪码。
Nello衷心感谢EPSRC的支持，感谢Colin Campbell主管的理解和协助。John感谢欧洲委员会对于NeuroCOLT2工作组EP27150的支持。
由于第一版中出现了少量错误，作者尽力保证在重印前修改这些错误。欢迎读者指出更多的问题，并通过本书的网站www．support-vector,net反馈给作者。
Nello Cristianini和John Shawe-Taylor
2000年6月