维基百科

联结主义

联结主义（英语：Connectionism）是认知科学领域的一种方法，期望能够以人工神经网络（ANN）来解释人脑、心理、精神及心灵等现象。[1]

具有隐藏层的连结（ANN）模型

基本原则 编辑

联结主义的中心原则是认为，心理及精神现象，可以通过简单且经常一致的单元互相联结的网络来描述。不同模型的联结及单元形式可以有所不同。例如，网络的单元及联结可以分别表示神经元及突触，如同人脑那样。

扩散激活 编辑

在大多数联结主义模型中，网络会随着时间而变化。联结主义模型的一个密切且普遍的特征是激活 。任何时候，网络中的单元都会有个激活，而该激活是表示该单元在某方面的数值。例如，如果模型中的单位是神经元，则激活可以表示神经元产生动作电位峰值的概率 。激活通常会传递到与其联结的所有其他单元。扩散激活一直是神经网络模型的特征，而该特征在认知心理学家使用的联结主义模型中也很常见。

神经网络 编辑

主条目：神经网络

迄今为止，神经网络是最常用的联结主义模型。尽管神经网络模型种类繁多，但它们几乎始终遵循关于思维的两个基本原则：

  1. 任何心理状态都可以描述为网络中神经单元上数字激活值的N维向量。
  2. 记忆是透过修改神经单元之间的联结强度来创建的。联结强度或“权重”通常表示为N×N矩阵。

大多数神经网络模型中的变化来自：

  • 单元的解释（interpretation of units）：单元可以解释为神经元或神经元组。
  • 激活的定义（definition of activation）：激活可以透过多种方式进行定义。例如，在玻尔兹曼机中，激活被解释为产生动作电位尖峰的概率，并透过逻辑函数确定输入到单元的总和。
  • 学习算法（learning algorithm）：不同的网络以不同的方式修改其联结。通常，联结权重会随时间的改变，用于该变化的数学定义都称为“学习算法”。

联结主义者一致认为，与前馈神经网络（无循环的有向网络，称为DAG）相比，循环神经网络（其中的网络联结可以形成有向循环的有向网络）是更好的大脑模型。许多递回联结主义模型也纳入了动力学系统理论。许多研究者，例如联结主义者保罗·斯莫林斯基（英语：Paul Smolensky），皆认为联结主义模型将朝着完全地连续、高维度、非线性的动态系统方式发展。

生物现实主义 编辑

一般而言，联结主义者的工作不需要具有生物学上的现实意义，因此缺乏神经科学的合理性。[2][3][4][5][6][7][8]

学习 编辑

神经网络中的权重根据某些学习规则或算法（如赫布学习）进行调整。因此，联结主义者为神经网络创建了许多复杂的学习过程。学习总是涉及修改联结权重。通常，给定的数据集由神经单元的某个子集的激活向量组成时，这些公式会涉及到数学公式，以确定权重的变化。设计基于联结主义的教学方法是近年来研究的热点。[9]

借由这种方式正规化学习，联结主义者能够使用许多工具。在联结主义的学习方法中，有一种很常见的策略是在以权重矩阵所定义的空间中，于该空间的误差表面与梯度下降合并。在联结主义者模型中，所有梯度下降学习都涉及透过误差表面对应于权重的偏导数来更改每个权重。反向传播（BP）最早流行于1980年代，它可能是当今最普遍的联结主义梯度下降算法。

历史 编辑

联结主义的思想可以追溯到一个世纪以前，在20世纪中后期之前，这些思想仍仅止于猜测。

分布式并行处理（PDP） 编辑

当今流行的联结主义方法，最初称为分散式平行处理 （英语：Parallel distributed processing，PDP），是一种人工神经网络方法，强调了神经处理的并行性以及神经表征的分散性，为研究人员提供了一个通用的数学框架。主要包括八个方面：

  • 一组处理单元，由一组整数表示。
  • 单元的激活，由时间相关函数的向量表示。
  • 单元的输出函数，由激活函数的向量表示。
  • 单元之间的连通性模式，由表示联结强度的实数矩阵表示。
  • 透过联结传播激活的传播规则，以单位输出上的函数表示。
  • 激活规则，用于组合送到单元的输入，以确定单元有新的激活，由当前激活和传播函数表示。
  • 根据经验修改联结的学习规则，以基于任意数量的变量的权重变化表示。
  • 为系统提供经验的环境，以单元之中某些子集的激活向量集表示。

许多造成PDP发展的研究都是在1970年代完成，但是直到1980年代出版了《 分布式并行处理：认知微观结构的探索》第一卷（基础）及第二卷（心理和生物学模型），作者为詹姆斯·L·麦克莱兰德 ，戴维·E·鲁梅尔哈特和PDP研究小组，PDP才开始流行。 如今，这些书被认为是有着巨大影响的联结主义著作，虽然书中未使用过“联结主义”一词，但仍普遍视PDP等同于联结主义。

早期工作 编辑

PDP的直接根源是研究人员的感知器理论，例如1950年代和1960年代的弗兰克·罗森布拉特（英语：Frank Rosenblatt）。但是，由马文·闵斯基和西摩尔·派普特在1969年出版的《 感知器 》一书，使感知器模型变得非常不得人心。它详述了单层（无隐藏层）感知器计算功能的局限性，甚至无法执行如异或问题 （exclusive disjunction，如判断这是苹果还是桔子，但不是二者皆是）这样的简单功能。 借由证明多层次非线性神经网络更加强大，并可用于大量的函数阵列，PDP克服了这项难关。 [10]

许多早期的研究人员提倡联结主义风格的模型，例如1940年代和1950年代的沃伦·麦卡洛克、沃尔特·皮茨 （ MP神经元 ）、唐纳德·赫布和卡尔·拉什利。麦卡洛克和皮茨展示了神经系统如何实现一阶逻辑 ：其经典论文《神经活动中内在思想的逻辑演算》（1943）深深影响了这方面的发展，而他们则是受到了尼古拉斯·拉舍夫斯基（英语：Nicolas Rashevsky）在1930年代的重要成果之影响。赫布对神经功能的推测做出了巨大贡献，并提出了一种叫做赫布学习的学习原则 ，一直使用至今。拉什利（Lashley）主张采用分散式表示法，这是因为他在多年的病变实验中，并未发现任何类似于局部印迹的东西。

PDP以外的联结主义 编辑

虽然PDP是联结主义的主要形式，但还有其他理论工作也应归类为联结主义。

许多联结主义的原理可以追溯到心理学的早期工作，例如威廉·詹姆士。 [11]基于人脑知识的心理学理论在19世纪后期很流行。早在1869年，神经学家约翰·休格林·杰克逊就主张多层次分散式系统。在此基础上，赫伯特·斯宾塞的《心理学原理 》第3版（1872年）和西格蒙德·弗洛伊德的《科学心理学计划》（1895年）提出了联结主义或原型联结主义理论，而这些往往只是推测性的理论。到了20世纪初，爱德华·桑戴克进行了尝试建立联结型网络的实验。

弗里德里希·哈耶克在1920年发表的一篇论文中，独立构思了赫本突触学习模型，将该模型发展成由赫本突触网络所构成的“全球脑理论”，构成更大的地图系统和记忆网络[来源请求]。弗兰克·罗森布拉特在其感知器论文中引用了哈耶克的突破性成果。

联结主义模型的另一种形式，是由语言学家悉尼·兰姆（英语：Sydney Lamb）在1960年代开发的关系网络框架。关系网络仅由语言学家使用，从未与PDP方法统一，因此，现今很少研究人员使用。

另外还有混合联结主义模型，主要是将符号表征与神经网络模型混合在一起。一些如孙融（英语：Ron Sun）的研究人员提倡混合方法。

联结主义与计算主义之争 编辑

随着联结主义在1980年代后期变得越来越流行，一些研究人员（包括杰瑞·福多，史迪芬·平克等）对此表示反对。他们认为，随着当时的发展，联结主义威胁到经典的计算主义方法，并抹去认知科学和心理学领域正在取得的进步。计算主义是认知主义的一种特殊形式，认为心理活动是计算性的，也就是说，大脑透过对图灵机之类的符号，执行纯粹的形式运算来进行操作。一些研究人员认为，联结主义的趋势代表着联想主义的回归，以及对思想语言概念的放弃，而他们对此感到不以为然。相比之下，联结主义的趋势使得联结主义对其它研究人员而言，变得更具吸引力。

联结主义和计算主义不必然矛盾，但是在1980年代末和1990年代初的争论，造成了两种方法之间的对立。在整个争论中，一些研究人员认为，尽管尚未就此问题完全达成共识，但是联结主义和计算主义可完全兼容。两种方法的差异包括：

  • 计算主义者假定符号模型在结构上类似于大脑的底层结构，而联结主义者则进行“低层次”建模，以确保其模型类似于神经结构。
  • 一般来说，计算主义者专注于关注外在符号的结构（心智模型）和内部操作的句法规则，而联结论者则关注从环境刺激中学习，并以神经元之间的联结形式储存此资讯。
  • 计算主义者认为，内在的心理活动是由显式符号的操作组成，而联结主义者认为，对于心理活动，显式符号的操作会给出拙劣模型。
  • 计算主义者通常会假设存在领域特定的符号子系统，辅助特定认知领域的学习（例如语言、意图、数字），而联结主义者则提出一个或一小部分的通用学习机制。

尽管存在这些差异，一些理论家提出，联结主义架构只是有机大脑碰巧实现符号操作系统的一种方式。这在逻辑上是可能的，因为众所周知的事实，联结主义模型可以实现计算主义模型中的符号操作系统，[来源请求]如果这个模型要解释人类执行“符号操作任务”的能力，则确实必须做到这一点。但争论的焦点在于这种符号操作是否构成了一般认知的基础，所以这并不是对计算主义的潜在辩护。然而，举例来说，计算性描述可能有助于对逻辑认知的高级描述。

争论主要集中在逻辑论点上，即联结主义网络是否能产生“这种在推理中观察到的句法结构”。尽管联结主义的处理过程在大脑中不太可能实现，[来源请求]，但后来仍实现了这样的句法结构，[来源请求]因此争论仍在持续。截至2016年,神经生理学进展和一般神经网络的理解的进步，导致了很多此类的早期问题得以成功地建模,因此，关于基本认知的争论在很大程度上取决于赞成联结主义的神经科学家[来源请求]。然而，这些近期的发展尚未在心理学或心灵哲学等其他领域中达成共识。

近年来[何时？]，动态系统流行于心灵哲学领域，为这一争论提供了新的视角; 一些作者现在认为[哪个／哪些？]，联结主义和计算主义之间的任何分裂，更确切地说是计算主义和动态系统之间的分裂。

2014年， DeepMind的艾力克斯·格雷夫斯等人发表了一系列论文，描述了一种新型的深度神经网络结构，称为神经图灵机[12]。该结构能够读取磁带上的符号，并将符号储存在内存中。关系网络是DeepMind发行的另一个深度网络模块，能够创建类似客体的表征形式，并操纵它们来回答复杂的问题。关系网络和神经图灵机进一步证明了联结主义和计算主义不必矛盾。

参见 编辑

参考文献 编辑

  • 大卫·鲁梅尔哈特（Rumelhart, D.E.）、詹姆斯·麦克莱（J.L. McClelland）和PDP研究小组(1986)：平行分布式处理: Explorations in the Microstructure of Cognition.第1册: Foundations，Cambridge, MA: MIT Press
  • 詹姆斯·麦克莱（McClelland, J.L.）、大卫·鲁梅尔哈特（D.E. Rumelhart）和PDP研究小组(1986)：平行分布式处理: Explorations in the Microstructure of Cognition.第2册:心理和生物模型，Cambridge，MA: MIT Press
  • Pinker, Steven and Mehler, Jacques (1988). 联结和Symbols, Cambridge MA: MIT Press.
  • Jeffrey L. Elman, Elizabeth A. Bates, Mark H.Johnson, Annette Karmiloff-Smith, Domenico Parisi, Kim Plunkett (1996). Rethinking Innateness: A 联结主义 perspective on development，Cambridge MA: MIT Press.
  • Marcus, Gary F. (2001). The Algebraic Mind: Integrating 联结主义和认知科学(学习、发展和Conceptual Change), Cambridge, MA: MIT Press

外部链接 编辑

Template:Cybernetics

  1. ^ Garson, James. Zalta, Edward N. , 编. The Stanford Encyclopedia of Philosophy. Metaphysics Research Lab, Stanford University. 27 November 2018 [2019-09-24]. （原始内容存档于2020-07-25）. 
  2. ^ Encephalos Journal. www.encephalos.gr. [2018-02-20]. （原始内容存档于2011-06-25）. 
  3. ^ Wilson, Elizabeth A. Neural Geographies: Feminism and the Microstructure of Cognition. Routledge. 2016-02-04 [2019-09-24]. ISBN 9781317958765. （原始内容存档于2020-08-22） （英语）. 
  4. ^ Organismically-inspired robotics: homeostatic adaptation and teleology beyond the closed sensorimotor loop (PDF). （原始内容 (PDF)存档于2018-02-21）. 
  5. ^ Zorzi, Marco; Testolin, Alberto; Stoianov, Ivilin P. Modeling language and cognition with deep unsupervised learning: a tutorial overview. Frontiers in Psychology. 2013-08-20, 4. ISSN 1664-1078. PMC 3747356  . PMID 23970869. doi:10.3389/fpsyg.2013.00515. 
  6. ^ ANALYTIC AND CONTINENTAL PHILOSOPHY. （原始内容存档于2019-04-28）. 
  7. ^ Browne, A. Neural Network Perspectives on Cognition and Adaptive Robotics. CRC Press. 1997-01-01. ISBN 9780750304559 （英语）. 
  8. ^ Pfeifer, R.; Schreter, Z.; Fogelman-Soulié, F.; Steels, L. Connectionism in Perspective. Elsevier. 1989-08-23 [2019-09-24]. ISBN 9780444598769. （原始内容存档于2021-04-28） （英语）. 
  9. ^ Novo, María-Luisa; Alsina, Ángel; Marbán, José-María; Berciano, Ainhoa. Connective Intelligence for Childhood Mathematics Education. Comunicar. 2017, 25 (52): 29–39 [2019-09-24]. ISSN 1134-3478. doi:10.3916/c52-2017-03. （原始内容存档于2020-02-05） （西班牙语）. 
  10. ^ Hornik, K.; Stinchcombe, M.; White, H. Multilayer feedforward networks are universal approximators. Neural Networks. 1989, 2 (5): 359. doi:10.1016/0893-6080(89)90020-8. 
  11. ^ Anderson, James A.; Rosenfeld, Edward. Chapter 1: (1890) William James Psychology (Brief Course). A Bradford Book. 1989: 1. ISBN 978-0262510486. 
  12. ^ Graves, Alex. Neural Turing Machines. arXiv:1410.5401  . 
取自“https://zh.wikipedia.org/w/index.php?title=联结主义&oldid=77829678”