独立成分分析(ICA)是一种统计和计算技术，用于揭示随机变量、测量数据或信号中的隐藏成分。对于通常以大量样本数据库形式给出的多元观测数据，ICA定义了一个生成模型。此模型假设观测数据变量是某些未知内在变量的线性或非线性混合，而且不仅内在变量是未知的，实现混合的系统也是未知的。我们还假定那些内在变量是非高斯且相互独立的，并称它们为观测数据的独立成分。这些独立成分(也可称为源或因子)可以通过ICA方法找到。.
ICA可以看成是主成分分析和因子分析的延展。但是，ICA是一项更强有力的技术，当经典方法完全失效时，它仍然能够找出支撑观测数据的内在因子或源。
ICA所分析的数据可能来源于许多不同的应用领域，包括数字图像、文档数据库，以及经济指标和心理学测量。在许多实例中，测量结果是以一组并行(Parallel)信号或时间序列的形式给出的，盲源分离(Blind source separation)这一术语可以用于刻画该类问题。盲源分离的典型例子有:多个麦克风拾取同时发出语音的混合信号、多个传感器记录的脑电波、手机中的射频干扰信号或从某些工业过程中得到的并行时间序列。
ICA技术也是一项相对较新的发明。它是20世纪80年代初期首先在神经网络建模领域中引入的。到20世纪90年代中期，几个研究小组引入了一些极为成功的新算法，类似鸡尾酒会效应问题的演示，也给人们留下了深刻的印象:ICA可以从混合信号中找出每个人的语音波形。因此，无论是在神经网络领域(特别是无监督学习)，还是在更为一般的高级统计学和信号处理领域中，ICA都成了激动人心的新话题之一。ICA在生物信号处理、语音信号分离、无线通信、故障诊断、特征提取、金融时间序列分析和数据挖掘等现实领域中的应用报道也正在不断涌现。..
在过去的20年内，ICA的文章大量发表在信号处理、人工神经网络、统计学、信息论及各种应用领域的期刊和会议文集中。最近还举办了几场关于ICA的专题会议和学术研讨［70，348］，出版了一些关于ICA，盲源分离以及其他相关主题的论文合集［315，173，150］和专著［105，267，149］。这些现有的文献对于其预期读者来说是非常有用的，但它们大都只集中于论述ICA方法的某些特定主题；而简短的专业论文和书籍章节中通常不包含数学和统计学的预备知识。因此，对更广泛的读者群来说，完全理解ICA这个技术性相当强的主题变得非常困难。
直到目前为止还没有一本内容广泛、细节丰富的教材:既能覆盖数学背景知识、基本原理和求解算法，又能兼顾ICA实际应用的现状。本书的出版目的就是希望填补这个空缺，并充当ICA的入门导引。
本书的预期读者可能来自多个学科:诸如统计学、信号处理、神经网络、应用数学、神经和认知科学、信息论、人工智能和工程领域。不论是研究人员、学生还是工程实践领域的工作者都可以使用本书。我们还做了各种努力使本书能够自足(selfcontrained)，以便那些仅有大学微积分、矩阵代数、概率论和统计学基本背景知识的读者阅读。本书也适合作为ICA方面的研究生教材，许多章节后都有习题和计算机练习作业。
本书的范围和内容
本书提供了把ICA作为统计与计算技术的全面导引，重点是数学原理和基本算法。大部分素材基于作者自己的研究小组中开展的原创性研究工作，这从不同主题所占比重的角度可以自然地反映出来。本书覆盖面较宽，特别涵盖了那些能同时适用于大规模问题求解的算法:即算法在观测变量数目和数据点个数都非常巨大时仍然有效。当ICA大量地用于真正的现实应用问题 (而不是直到最近仍占主流的玩偶型问题或小规模探讨性研究)时，这些算法就能在不久的将来得到越来越多的应用。卷积型混合、时滞及其他一些不同于ICA的盲源分离技术中涉及到的更为专门的信号处理方法，本书相应地强调得略少一些。
由于ICA是一个进展迅速的研究领域，不可能在一本教材中囊括每项已报道过的研究进展。我们已尽力在适当的地方涵盖了其他研究者的核心贡献，并给出了一个庞大的文献目录，以便进一步参考。对于可能被遗漏的那些重要贡献，我们深表歉意。
为便于阅读，本书分成了四个部分。
● 第一部分给出了数学预备知识，引入了书中后面部分会用到的基本数学概念。该部分从第2章的概率论速成教程开始。假设读者已熟悉本章中的大部分内容，不过本章还引入了特为ICA预备的一些概念，如高阶累积量和多变量概率理论。在第3章中，接着讨论最优化理论和梯度法，它们在构造ICA算法时将会用到。第4章回顾和综述了估计理论。信息论是ICA的一个补充性理论框架，它包含在第5章中。第6章是第一部分的总结，其中讨论了与ICA相关的主成分分析、因子分析和去相关方法。更为自信的读者可以按照其意愿跳过第一部分中部分或全部导论性的章节，而直接从第二部分中ICA的原理开始学习。
● 第二部分涵盖并解决了ICA基本模型:即ICA中经典的线性瞬态无噪声混合模型，它构成了ICA理论的核心。第7章引入了该基本模型，并讨论了混合矩阵的可辨识性问题。后面各章讨论对该模型进行估计的不同方法。一个核心的原则是非高斯性，它与ICA的关系在第8章中首次进行了讨论。接下来我们回顾了极大似然原理(第9章)和极小互信息原理(第10章)，并展示了这些基本原理之间的联系。第11章讨论了使用高阶累积张量的代数方法，第12章回顾了基于非线性去相关的早期ICA工作以及非线性主成分方法，这两章中的内容可能不太适合于(本书)导论教程的性质。在这些章节中，我们还讨论了与每一种基本原理相对应的计算独立成分和混合矩阵的实用算法。在第13章中，接着讨论了主要与数据预处理和数据降维相关的一些实际问题与具体考虑，其中包括引导使用者如何把ICA真正确实地应用于自己的具体问题。第14章综述和比较了各种ICA方法，并对第二部分进行了总结。
● 第三部分中给出了ICA基本模型的各种扩展。相比第二部分而言，这部分内容具有更多的探索性质(而不够成熟)，因为大多数扩展是最近才引入的，尚存在许多未解决的问题。如果要开设一门ICA的导论课程，可能只需在该部分挑选出几章即可。我们首先在第15章中讨论了在ICA模型中引入显式观测噪声的问题，然后在第16章中探讨独立成分个数多于混合观测量个数的情况。第17章进一步将模型进行推广:混合过程可以是非常一般的非线性形式。第18章讨论了估计另外一种线性混合模型的方法，该混合模型与ICA模型类似，但是假设的前提条件差别较大:即成分不是非高斯的，但具有某种时间依赖性。第19章讨论了混合系统中包含卷积的情况。ICA更进一步的扩展，特别是不要求成分严格独立的模型，将在第20章中给出。
● 第四部分探讨ICA方法的一些应用:特征提取(第21章)与图像处理和视觉研究都有关系；脑成像的应用(第22章)集中讨论人脑的电/磁活动测量。第23章讨论ICA在无线通信中的应用。ICA在计量经济学和音频信号处理中的应用，以及ICA对其他应用领域的启示在第24章中探讨。书中那些非常复杂和入门课程中可以跳过的章节，我们都已用星号标出。本书中给出的一些算法，其对应软件是公开的，可以通过互联网在我们的网页或其他ICA研究者提供的网页中获得。包含真实数据的数据库也同时提供下载，以便测试算法。我们还为本书专门制作了网页，其中包含了一些适当的提示，地址是:
www.cis.hut.fi/projects/ica/book
建议读者通过访问这些网页以获得更多的信息。
本书由三位作者合作完成， A. Hyvrinen负责第5章、第7章、第8章、第9章、第10章、第11章、第13章、第14章、第15章、第16章、第18章、第20章、第21章和第22章；J. Karhunen负责第2章、第4章、第17章、第19章和第23章；E. Oja负责第3章、第6章和第12章。第1章和第24章则由三位作者联合撰写。
致谢
感谢许多ICA研究者，他们的原创性贡献形成了ICA的基础，并使得本书的问世成为可能。我们特别对丛书主编Simon Haykin致以谢意，多年以来，他在信号处理和神经网络方面的文章和著作一直鼓舞着我们。
.本书的某些部分，是建立在与赫尔辛基技术大学(Helsinki University of Technology)中我们研究小组的其他成员紧密合作基础上的。第21章主要基于我们与Patrik Hoyer的合作研究，该章所有实验也都是他完成的。第22章基于Ricardo Vigrio的实验和素材。13.2.2节基于我们与Jaakko Srel及Ricardo Vigrio的联合工作。16.2.3节由Razvan Cristescu提供。20.3节基于我们和Ella Bingham的联合工作，14.4节基于我们和Xavier Giannakopoulos的联合工作，20.2.3节则基于我们和Patrik Hoyer及Mika Inki的联合工作。第19章部分基于Kari Torkkola提供的素材。第17章中许多内容基于我们和Harri Valpola及Petteri Pajunen的联合工作，24.1节是我们和Kimmo Kiviluoto及Simona Malaroiu联合完成的。
在本书写作的不同阶段，有几个人友善地同意阅读并评述了该书的部分或全部内容。为此，我们诚挚地感谢Ella Bingham，JeanFranois Cardoso，Adrian Flanagan，Mark Girolami，Antti Honkela，Jarmo Hurri，Petteri Pajunen，Tapani Ristaniemi和Kari Torkkola。Leila Koivisto在编辑上给予了我们帮助，Antti Honkela，Mika Ilmoniemi，Merja Oja和Tapani Raiko在某些插图上提供了帮助。
我们在ICA方面的研究工作，以及本书写作是在芬兰赫尔辛基技术大学的神经网络研究中心(Neural Networks Research Centre)进行的。研究工作的部分资助来自于“BLISS”项目(欧盟)和“信息处理新原理”项目(芬兰科学院)，在此深表谢意。另外，A.H.(即A. Hyvrinen，原书只用了姓名的缩写) 要表达对赫尔辛基大学心理学系Gte Nyman和Jukka Hkkinen的谢意，他们提供的友好服务，使得本书的部分内容能够完成。
Aapo Hyvarinen,Juha Karhunen,Erkki Oja
埃斯波(Espoo)，芬兰(Finland)...
2001年3月
