遷移學習(英語:Transfer learning)是屬於機器學習的一種研究領域。它專注於儲存已有問題的解決模型,並將其利用在其他不同但相關問題上。[1] 比如說,用來辨識汽車的知識(或者是模型)也可以被用來提升辨識卡車的能力。電腦領域的遷移學習和心理學常常提到的學習遷移在概念上有一定關係,但是兩個領域在學術上的關係非常有限。

歷史

編輯

最早被參照的關於遷移學習的工作被認為屬於洛麗安·普拉特英語Lorien Pratt。他在1993年制定了基於可辨識性的轉移(DBT)演算法。[2]

1997年,機器學習期刊發表了一期專門討論遷移學習的期刊,[3] 而到了1998年,該領域已經發展到包括多工學習,[4] 以及對其理論基礎的更深入完善的分析。[5] 1998年,由普拉特和塞巴斯蒂安·特龍編輯的《Learning to Learn》[6]便是對該主題的回顧。

遷移學習也被應用於認知科學,比如《Connection Science》雜誌就於1996年出版了一版特殊期刊,描述了如何通過使用遷移學習重新利用已有神經網絡。[7]

定義

編輯

遷移學習是由域和任務定義的。域 特徵空間 邊緣概率分佈 構成,其中 。給定域 ,任務由標籤空間 和目標預測函數 兩部分組成,函數 預測 對應的標籤 。任務 是從含有樣本對 的訓練數據中學習得到的,其中 [8]

給定原域 及其任務 ,目標域 及其任務 (滿足  ),遷移學習旨在通過利用  的知識,幫助學習 域的目標預測函數 [8]

應用

編輯

遷移學習的演算法基礎可以源自馬可夫邏輯網絡[9]貝葉斯網絡[10]遷移網絡還被利用與發現癌症種類 [11]、建築物人員限額[12]、普適智能遊戲玩家[13]、陳述式分類[14][15]以及篩選垃圾郵件(短訊)。[16]

來源

編輯

參見

編輯

參照

編輯
  1. ^ West, Jeremy; Ventura, Dan; Warnick, Sean. Spring Research Presentation: A Theoretical Foundation for Inductive Transfer. Brigham Young University, College of Physical and Mathematical Sciences. 2007 [2007-08-05]. (原始內容存檔於2007-08-01). 
  2. ^ Pratt, L. Y. Discriminability-based transfer between neural networks (PDF). NIPS Conference: Advances in Neural Information Processing Systems 5. Morgan Kaufmann Publishers. 1993: 204–211 [2022-12-23]. (原始內容存檔於2022-07-02). 
  3. ^ Pratt, L. Y.; Thrun, Sebastian. Machine Learning - Special Issue on Inductive Transfer. link.springer.com. Springer. July 1997 [2017-08-10]. (原始內容存檔於2019-03-27) (英語).  |volume=被忽略 (幫助); |issue=被忽略 (幫助)
  4. ^ Caruana, R., "Multitask Learning", pp. 95-134 in Pratt & Thrun 1998
  5. ^ Baxter, J., "Theoretical Models of Learning to Learn", pp. 71-95 Pratt & Thrun 1998
  6. ^ Thrun & Pratt 2012.
  7. ^ Pratt, L. Special Issue: Reuse of Neural Networks through Transfer. Connection Science. 1996 [2017-08-10]. (原始內容存檔於2019-03-27) (英語).  參數|journal=與模板{{cite web}}不匹配(建議改用{{cite journal}}|website=) (幫助); |volume=被忽略 (幫助); |issue=被忽略 (幫助)
  8. ^ 8.0 8.1 Lin, Yuan-Pin; Jung, Tzyy-Ping. Improving EEG-Based Emotion Classification Using Conditional Transfer Learning. Frontiers in Human Neuroscience. 27 June 2017, 11: 334. PMC 5486154 . PMID 28701938. doi:10.3389/fnhum.2017.00334 .    Material was copied from this source, which is available under a Creative Commons Attribution 4.0 International License.
  9. ^ Mihalkova, Lilyana; Huynh, Tuyen; Mooney, Raymond J., Mapping and Revising Markov Logic Networks for Transfer (PDF), Learning Proceedings of the 22nd AAAI Conference on Artificial Intelligence (AAAI-2007), Vancouver, BC: 608–614, July 2007 [2007-08-05], (原始內容 (PDF)存檔於2019-11-13) 
  10. ^ Niculescu-Mizil, Alexandru; Caruana, Rich, Inductive Transfer for Bayesian Network Structure Learning (PDF), Proceedings of the Eleventh International Conference on Artificial Intelligence and Statistics (AISTATS 2007), March 21–24, 2007 [2007-08-05], (原始內容存檔 (PDF)於2010-06-20) 
  11. ^ Hajiramezanali, E. & Dadaneh, S. Z. & Karbalayghareh, A. & Zhou, Z. & Qian, X. Bayesian multi-domain learning for cancer subtype discovery from next-generation sequencing count data. 32nd Conference on Neural Information Processing Systems (NIPS 2018), Montréal, Canada. https://arxiv.org/pdf/1810.09433.pdf頁面存檔備份,存於互聯網檔案館
  12. ^ Arief-Ang, I.B.; Salim, F.D.; Hamilton, M. DA-HOC: semi-supervised domain adaptation for room occupancy prediction using CO2 sensor data. 4th ACM International Conference on Systems for Energy-Efficient Built Environments (BuildSys). Delft, Netherlands: 1–10. 2017-11-08. ISBN 978-1-4503-5544-5. doi:10.1145/3137133.3137146. 
  13. ^ Banerjee, Bikramjit, and Peter Stone. "General Game Learning Using Knowledge Transfer頁面存檔備份,存於互聯網檔案館)." IJCAI. 2007.
  14. ^ Do, Chuong B.; Ng, Andrew Y. Neural Information Processing Systems Foundation, NIPS*2005 (PDF). 2005 [2007-08-05]. (原始內容 (PDF)存檔於2020-10-12).  |contribution=被忽略 (幫助)
  15. ^ Rajat, Raina; Ng, Andrew Y.; Koller, Daphne. Twenty-third International Conference on Machine Learning (PDF). 2006 [2007-08-05]. (原始內容存檔 (PDF)於2007-07-08).  |contribution=被忽略 (幫助)
  16. ^ Bickel, Steffen. ECML-PKDD Discovery Challenge Workshop (PDF). 2006 [2007-08-05]. (原始內容 (PDF)存檔於2017-08-10).  |contribution=被忽略 (幫助)