联结主义

聯結主義（英語：Connectionism）是认知科学领域的一种方法，期望能夠以人工神经網路（ANN）来解释人腦、心理、精神及心靈等现象。

具有隐藏层的連結（ANN）模型

基本原则

聯結主義的中心原則是認為，心理及精神現象，可以通過簡單且經常一致的單元互相聯結的網路來描述。不同模型的聯結及單元形式可以有所不同。例如，網路的單元及聯結可以分別表示神經元及突觸，如同人腦那樣。

擴散激活

在大多数聯結主义模型中，網路会随着时间而变化。聯結主义模型的一个密切且普遍的特徵是激活 。任何时候，網路中的单元都会有個激活，而该激活是表示该单元在某方面的数值。例如，如果模型中的单位是神经元，则激活可以表示神经元产生动作电位峰值的概率 。激活通常会傳遞到与其聯結的所有其他单元。扩散激活一直是神经網路模型的特征，而該特徵在认知心理学家使用的聯結主義模型中也很常見。

神经網路

主条目：神经网络

迄今为止，神经網路是最常用的聯結主义模型。尽管神经網路模型种类繁多，但它们几乎始终遵循关于思维的两个基本原则：

1. 任何心理状态都可以描述为網路中神经单元上數字激活值的N维向量。
2. 记忆是透過修改神经单元之间的聯結强度来创建的。聯結强度或“权重”通常表示为N×N矩阵。

大多数神经網路模型中的变化来自：

• 单元的解释（interpretation of units）：单元可以解释为神经元或神经元组。
• 激活的定义（definition of activation）：激活可以透過多种方式进行定义。例如，在玻尔兹曼机中，激活被解释为产生动作电位尖峰的概率，并透過逻辑函数确定输入到单元的总和。
• 学习演算法（learning algorithm）：不同的網路以不同的方式修改其聯結。通常，聯結权重會隨時間的改變，用於該變化的数学定义都称为“学习演算法”。

聯結主义者一致认为，与前馈神经網路（无循环的有向網路，称为DAG）相比，循环神经網路（其中的網路聯結可以形成有向循环的有向網路）是更好的大脑模型。许多遞迴聯結主義模型也纳入了动力学系统理论。许多研究者，例如聯結主义者保羅·斯莫林斯基，皆认为聯結主义模型将朝着完全地连续、高维度、非线性的动态系统方式发展。

生物现实主义

一般而言，聯結主义者的工作不需要具有生物学上的现实意义，因此缺乏神经科学的合理性。

学习

神经網路中的权重根据某些学习规则或演算法（如赫布学习）進行調整。因此，聯結主义者为神经網路创建了许多复杂的学习过程。学习总是涉及修改聯結权重。通常，給定的數據集由神經單元的某個子集的激活向量組成時，这些公式會涉及到数学公式，以确定权重的变化。設計基於聯結主義的教學方法是近年來研究的熱點。

藉由这种方式正规化学习，聯結主义者能夠使用许多工具。在聯結主义的学习方法中，有一种很常见的策略是在以权重矩阵所定义的空间中，於該空間的误差表面與梯度下降合并。在聯結主义者模型中，所有梯度下降学习都涉及透過误差表面对應于权重的偏导数来更改每个权重。反向传播（BP）最早流行於1980年代，它可能是当今最普遍的聯結主义梯度下降算法。

历史

聯結主义的思想可以追溯到一个世纪以前，在20世紀中後期之前，這些思想仍僅止於猜測。

分布式并行处理（PDP）

当今流行的聯結主义方法，最初称为分散式平行處理 （英語：Parallel distributed processing，PDP），是一种人工神经網路方法，强调了神经处理的并行性以及神经表徵的分散性，为研究人员提供了一个通用的数学框架。主要包括八個方面：

• 一组处理单元，由一组整数表示。
• 单元的激活，由时间相关函数的向量表示。
• 单元的输出函數，由激活函數的向量表示。
• 单元之间的连通性模式，由表示聯結强度的实数矩阵表示。
• 透過聯結傳播激活的传播规则，以单位输出上的函数表示。
• 激活规则，用于组合送到单元的输入，以确定單元有新的激活，由当前激活和传播函数表示。
• 根据经验修改聯結的学习规则，以基于任意数量的变量的权重变化表示。
• 为系统提供经验的环境，以单元之中某些子集的激活向量集表示。

许多造成PDP发展的研究都是在1970年代完成，但是直到1980年代出版了《 分布式并行处理：认知微观结构的探索》第一卷（基础）及第二卷（心理和生物学模型），作者為詹姆斯·L·麦克莱兰德 ，戴维·E·鲁梅尔哈特和PDP研究小组，PDP才開始流行。 如今，这些书被认为是有著巨大影響的聯結主义著作，雖然书中未使用過“聯結主义”一词，但仍普遍視PDP等同於聯結主义。

早期工作

PDP的直接根源是研究人员的感知器理论，例如1950年代和1960年代的弗兰克·罗森布拉特。但是，由马文·闵斯基和西摩爾·派普特在1969年出版的《 感知器 》一书，使感知器模型变得非常不得人心。它詳述了单层（无隐藏层）感知器计算功能的局限性，甚至無法執行如异或問題 （exclusive disjunction，如判斷這是蘋果還是桔子，但不是二者皆是）這樣的簡單功能。 藉由證明多层次非线性神经網路更加強大，並可用於大量的函數陣列，PDP克服了这項難關。

許多早期的研究人員提倡聯結主义風格的模型，例如1940年代和1950年代的沃伦·麦卡洛克、沃尔特·皮茨 （ MP神经元 ）、唐纳德·赫布和卡爾·拉什利。麦卡洛克和皮茨展示了神经系统如何实现一阶逻辑 ：其经典论文《神經活動中內在思想的邏輯演算》（1943）深深影響了這方面的發展，而他们則是受到了尼古拉斯·拉舍夫斯基在1930年代的重要成果之影响。赫布对神经功能的推测做出了巨大贡献，并提出了一种叫做赫布學習的学习原则 ，一直使用至今。拉什利（Lashley）主张采用分散式表示法，這是因為他在多年的病变实验中，並未發現任何類似於局部印跡的东西。

PDP以外的联结主义

雖然PDP是聯結主義的主要形式，但還有其他理論工作也應歸類為聯結主義。

许多聯結主义的原理可以追溯到心理学的早期工作，例如威廉·詹姆士。 基于人脑知识的心理学理论在19世纪后期很流行。早在1869年，神经学家約翰·休格林·傑克遜就主张多層次分散式系统。在此基础上，赫伯特·斯宾塞的《心理学原理 》第3版（1872年）和西格蒙德·弗洛伊德的《科学心理学计划》（1895年）提出了聯結主义或原型聯結主义理论，而這些往往只是推測性的理論。到了20世纪初，愛德華·桑戴克進行了嘗試建立聯結型網路的實驗。

弗里德里希·哈耶克在1920年發表的一篇論文中，獨立構思了赫本突觸學習模型，將該模型發展成由赫本突觸網路所構成的「全球腦理論」，構成更大的地圖系統和記憶網路。弗兰克·罗森布拉特在其感知器论文中引用了哈耶克的突破性成果。

聯結主义模型的另一种形式，是由语言学家悉尼·兰姆在1960年代开发的关系網路框架。关系網路仅由语言学家使用，从未与PDP方法统一，因此，现今很少研究人员使用。

另外還有混合聯結主义模型，主要是将符号表徵与神经網路模型混合在一起。一些如孫融的研究人员提倡混合方法。

联结主义与计算主义之争

随着聯結主义在1980年代后期变得越来越流行，一些研究人员（包括杰瑞·福多，史迪芬·平克等）对此表示反對。他们认为，随着当时的发展，聯結主义威胁到经典的计算主义方法，並抹去认知科学和心理学领域正在取得的进步。计算主义是认知主义的一种特殊形式，认为心理活动是计算性的，也就是说，大脑透過对图灵机之类的符号，执行纯粹的形式运算来进行操作。一些研究人员认为，聯結主義的趋势代表着聯想主義的回归，以及对思想语言概念的放弃，而他们對此感到不以為然。相比之下，聯結主义的趋势使得聯結主义對其它研究人員而言，變得更具吸引力。

聯結主义和计算主义不必然矛盾，但是在1980年代末和1990年代初的爭论，造成了两种方法之间的对立。在整个爭论中，一些研究人员认为，尽管尚未就此问题完全达成共识，但是聯結主义和计算主义可完全兼容。两种方法的差异包括：

• 计算主义者假定符号模型在結構上類似於大腦的底層結構，而聯結主义者则进行“低層次”建模，以确保其模型类似于神经结构。
• 一般來說，計算主義者專注於关注外在符号的结构（心智模型）和内部操作的句法规则，而聯結论者则关注从环境刺激中学习，并以神经元之间的聯結形式儲存此資訊。
• 計算主義者認為，內在的心理活動是由顯式符號的操作組成，而聯結主义者认为，对於心理活动，顯式符号的操作會給出拙劣模型。
• 计算主义者通常会假設存在领域特定的符号子系统，輔助特定认知领域的学习（例如语言、意图、数字），而聯結主义者则提出一個或一小部分的通用學習機制。

儘管存在這些差異，一些理論家提出，聯結主義架構只是有機大腦碰巧實現符號操作系統的一種方式。這在邏輯上是可能的，因為眾所周知的事實，聯結主義模型可以實現計算主義模型中的符號操作系統，如果這個模型要解釋人類執行「符號操作任務」的能力，則確實必須做到這一點。但爭論的焦點在於這種符號操作是否構成了一般認知的基礎，所以這並不是對計算主義的潛在辯護。然而，舉例來說，計算性描述可能有助於對邏輯認知的高級描述。

爭論主要集中在邏輯論點上，即聯結主義網路是否能產生「這種在推理中觀察到的句法結構」。儘管聯結主義的處理過程在大腦中不太可能實現，，但後來仍實現了這樣的句法結構，因此爭論仍在持續。截至2016年,神經生理學進展和一般神經網路的理解的進步，導致了很多此類的早期問題得以成功地建模,因此，關於基本認知的爭論在很大程度上取決於贊成聯結主義的神經科學家。然而，這些近期的發展尚未在心理學或心靈哲學等其他領域中達成共識。

近年來，動態系統流行於心靈哲學領域，為這一爭論提供了新的視角; 一些作者現在認為，聯結主義和計算主義之間的任何分裂，更確切地說是計算主義和動態系統之間的分裂。

2014年， DeepMind的艾力克斯·格雷夫斯等人发表了一系列论文，描述了一种新型的深度神经網路结构，称为神经图灵机。该结构能够读取磁带上的符号，并将符号儲存在記憶體中。关系網路是DeepMind发行的另一个深度網路模块，能够创建类似客體的表徵形式，并操纵它们来回答複雜的问题。关系網路和神经图灵机进一步证明了聯結主义和计算主义不必矛盾。

参见

• 聯想主義 (聯念論)
• 人工智能
• 行為主義
• 自组织映射
• 泛魔識別架構
• 机器学习
• 特徵整合論
• 消除唯物主義
• 控制论

参考文獻

• 大卫·鲁梅尔哈特（Rumelhart, D.E.）、詹姆斯·麦克莱（J.L. McClelland）和PDP研究小组(1986)：平行分布式处理: Explorations in the Microstructure of Cognition.第1册: Foundations，Cambridge, MA: MIT Press
• 詹姆斯·麦克莱（McClelland, J.L.）、大卫·鲁梅尔哈特（D.E. Rumelhart）和PDP研究小组(1986)：平行分布式处理: Explorations in the Microstructure of Cognition.第2册:心理和生物模型，Cambridge，MA: MIT Press
• Pinker, Steven and Mehler, Jacques (1988). 联结和Symbols, Cambridge MA: MIT Press.
• Jeffrey L. Elman, Elizabeth A. Bates, Mark H.Johnson, Annette Karmiloff-Smith, Domenico Parisi, Kim Plunkett (1996). Rethinking Innateness: A 联结主义 perspective on development，Cambridge MA: MIT Press.
• Marcus, Gary F. (2001). The Algebraic Mind: Integrating 联结主义和认知科学(学习、发展和Conceptual Change), Cambridge, MA: MIT Press

外部链接

• 联结主义简史
• Dictionary of Philosophy of Mind entry on connectionism （页面存档备份，存于互联网档案馆）
• Stanford Encyclopedia of Philosophy entry on 联结主义 （页面存档备份，存于互联网档案馆）
• A demonstration of Interactive Activation and Competition Networks （页面存档备份，存于互联网档案馆）

• 关于聯結主义的心灵哲学词典 （页面存档备份，存于互联网档案馆）
• Garson, James. Connectionism. 扎尔塔, 爱德华·N (编). 《斯坦福哲学百科全书》. 
• 互动激活和竞争網路的演示 （页面存档备份，存于互联网档案馆）
• Connectionism. 《互联网哲学百科全书》. 
• 对聯結主义的批判 （页面存档备份，存于互联网档案馆）