流形假設

流形假設認為，現實中的很多高維數據集實際上沿著高維空間內的低維潛流形分布。^[1]^[2]^[3]^[4]流形假設的結果是，很多最初看起來需要很多變量描述的數據集，實際上只需要較少變量，這好比底流形的局部坐標系。有人認為，這原理是機器學習算法通過考慮一些共有特徵以有效描述高維數據集的基礎。

流形假設與機器學習中非線性降維的有效性有關。流形雕刻、流形對齊、流形正則化等很多降維技術都假設數據位於低維子流形上。

流形假設的主要意義在於

機器學習模型只需要在潛輸入空間（潛流形）內擬合相對簡單、低維、結構化的子空間。
這些流形中，總有可能在兩輸入間進行插值，即通過連續路徑將輸入變為另一輸入，而所有點仍落在流形上。

在樣本間插值的能力是深度學習泛化的關鍵。^[5]

統計流形的信息幾何

流形假設的一種經驗主義方法側重於與流形學習理論間的對應，其假設是：穩健的機器學習需要用數據壓縮方法編碼感興趣的數據集。在有效編碼假設、預測編碼與變分貝葉斯方法的研究者們共同努力下，這一觀點利用信息幾何工具逐漸形成。

推理分布潛空間的信息幾何的論據在於費舍爾信息度量的存在性和唯一性。^[6]在這種一般情形下，我們試圖找到統計流形的隨機嵌入。從動力系統的角度看，大數據情景中流形通常表現出某些特性，如均衡性

可從底層生成過程中獲取大量數據樣本
機器學習實驗具有可重複性，因此生成過程的統計表現為靜態（stationarity）

理論神經科學家在研究自由能原理時精確地指出，有關的統計流形表現為馬爾可夫毯。^[7]

巴別塔悖論

未解決的計算機科學問題：既然全局編碼是大型神經網絡湧現出同步（synchronization）的必要條件，那麼全局編碼如何從局部編碼中湧現的？

Romain Brette的巴別塔悖論^[8]是有效編碼假設在生物可行的流形學習算法面臨的基本挑戰：

有效編碼假設認為，神經元將信號高效地編碼為尖峰序列，即去除原信息的所有冗餘、同時保留信息，即編碼後信息可映射回原信息 (Barlow, 1961; Simoncelli, 2003)。這意味著在完全有效的編碼中，編碼信息與隨機信息沒有區別。編碼根據輸入的統計數據確定，且只傳遞編碼後的信息，因此編碼的有效程度是接收者無法理解的。這就是有效編碼的悖論。

在神經編碼的隱喻中，編碼是「私有」的，是每個神經元特有的。然則所有神經元使用的都是不同的語言，能非常簡潔地表達概念，其他人卻無法理解。因此，根據編碼隱喻，大腦就是一座巴別塔。

預測與有效編碼理論預測，每個神經元都有自己的有效編碼，是由最大熵推理得出的。可將這些局部編碼視作不同的語言。Brette隨後推測，既然神經元都有種對相鄰神經元的隨機語言，那麼全局編碼應該是不可能的。

參考文獻

^ Gorban, A. N.; Tyukin, I. Y. Blessing of dimensionality: mathematical foundations of the statistical physics of data. Phil. Trans. R. Soc. A. 2018, 15 (3): 20170237. Bibcode:2018RSPTA.37670237G. PMC 5869543  . PMID 29555807. doi:10.1098/rsta.2017.0237.
^ Cayton, L. Algorithms for manifold learning (PDF) (技術報告). University of California at San Diego: 1. 2005. 12(1–17).
^ Fefferman, Charles; Mitter, Sanjoy; Narayanan, Hariharan. Testing the manifold hypothesis. Journal of the American Mathematical Society. 2016-02-09, 29 (4): 983–1049. S2CID 50258911. arXiv:1310.0425  . doi:10.1090/jams/852.
^ Olah, Christopher. Blog: Neural Networks, Manifolds, and Topology. 2014 [2024-06-09]. （原始內容存檔於2024-09-18）.
^ Chollet, Francois. Deep Learning with Python 2nd. Manning. 2021: 128–129. ISBN 9781617296864.
^ Caticha, Ariel. Geometry from Information Geometry. MaxEnt 2015, the 35th International Workshop on Bayesian Inference and Maximum Entropy Methods in Science and Engineering. 2015. arXiv:1512.09076  .
^ Kirchhoff, Michael; Parr, Thomas; Palacios, Ensor; Friston, Karl; Kiverstein, Julian. The Markov blankets of life: autonomy, active inference and the free energy principle. J. R. Soc. Interface. 2018, 15 (138): 20170792. PMC 5805980  . PMID 29343629. doi:10.1098/rsif.2017.0792.
^ Brette, R. 07 December 2017. The Paradox of the Efficient Code and the Neural Tower of Babel [Blog post]. Retrieved from http://romainbrette.fr/what-is-computational-neuroscience-xxvii-the-paradox-of-the-efficient-code-and-the-neural-tower-of-babel/ （頁面存檔備份，存於網際網路檔案館）

閱讀更多

Brown, Bradley C. A.; Caterini, Anthony L.; Ross, Brendan Leigh; Cresswell, Jesse C.; Loaiza-Ganem, Gabriel. The Union of Manifolds Hypothesis and its Implications for Deep Generative Modelling. The Eleventh International Conference on Learning Representations. 2023 [2024-06-09]. arXiv:2207.02862  . （原始內容存檔於2023-05-22）.
Lee, Yonghyeon. A Geometric Perspective on Autoencoders. 2023. arXiv:2309.08247  .

[1] Gorban, A. N.; Tyukin, I. Y. Blessing of dimensionality: mathematical foundations of the statistical physics of data. Phil. Trans. R. Soc. A. 2018, 15 (3): 20170237. Bibcode:2018RSPTA.37670237G. PMC 5869543  . PMID 29555807. doi:10.1098/rsta.2017.0237.

[2] Cayton, L. Algorithms for manifold learning (PDF) (技術報告). University of California at San Diego: 1. 2005. 12(1–17).

[3] Fefferman, Charles; Mitter, Sanjoy; Narayanan, Hariharan. Testing the manifold hypothesis. Journal of the American Mathematical Society. 2016-02-09, 29 (4): 983–1049. S2CID 50258911. arXiv:1310.0425  . doi:10.1090/jams/852.

[4] Olah, Christopher. Blog: Neural Networks, Manifolds, and Topology. 2014 [2024-06-09]. （原始內容存檔於2024-09-18）.

[5] Chollet, Francois. Deep Learning with Python 2nd. Manning. 2021: 128–129. ISBN 9781617296864.

[6] Caticha, Ariel. Geometry from Information Geometry. MaxEnt 2015, the 35th International Workshop on Bayesian Inference and Maximum Entropy Methods in Science and Engineering. 2015. arXiv:1512.09076  .

[7] Kirchhoff, Michael; Parr, Thomas; Palacios, Ensor; Friston, Karl; Kiverstein, Julian. The Markov blankets of life: autonomy, active inference and the free energy principle. J. R. Soc. Interface. 2018, 15 (138): 20170792. PMC 5805980  . PMID 29343629. doi:10.1098/rsif.2017.0792.

[8] Brette, R. 07 December 2017. The Paradox of the Efficient Code and the Neural Tower of Babel [Blog post]. Retrieved from http://romainbrette.fr/what-is-computational-neuroscience-xxvii-the-paradox-of-the-efficient-code-and-the-neural-tower-of-babel/ （頁面存檔備份，存於網際網路檔案館）

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]