神經結構搜索

神經結構搜索 (Neural Architecture Search, NAS) 是一種自動化設計人工神經網絡(Artificial Neural Networks, ANN)這種在機器學習領域被廣泛運用的模型的技術 [1]。 目前,通過神經結構搜索所設計的模型的性能,已經可以達到甚至超過由人工設計的模型 [2] [3]。 神經結構搜索的方法可以按照搜索空間、搜索策略和性能估計策略三個方面進行分類[1]

  • 搜索空間(Search Space) 定義了可以設計和優化的人工神經網絡種類;
  • 搜索策略(Search Strategy) 定義了探索搜索空間的方法;
  • 性能估計策略(Performance Estimation Strategy) 通過一個潛在神經網絡的結構來評估其性能(不一定構建並訓練這個網絡)。

神經結構搜索與超參數優化(Hyperparameter optimization )有著密切的聯繫。它也是自動機器學習(Automated machine learning)的一個子領域。

搜索空間

編輯

宏搜索空間

編輯

微搜索空間

編輯

其他搜索空間

編輯

搜索策略

編輯

強化學習

編輯

進化算法

編輯

多目標搜索

編輯

可微分的搜索(基於梯度的搜索)

編輯

性能估計策略

編輯

權重共享

編輯

基於預測器

編輯

參考資料

編輯
  1. ^ 1.0 1.1 Elsken, Thomas; Metzen, Jan Hendrik; Hutter, Frank. Neural Architecture Search: A Survey. Journal of Machine Learning Research. August 8, 2019, 20 (55): 1–21 [2020-03-17]. Bibcode:2018arXiv180805377E. arXiv:1808.05377 . (原始內容存檔於2021-01-27). 
  2. ^ Zoph, Barret; Le, Quoc V. Neural Architecture Search with Reinforcement Learning. 2016-11-04. arXiv:1611.01578  [cs.LG]. 
  3. ^ Zoph, Barret; Vasudevan, Vijay; Shlens, Jonathon; Le, Quoc V. Learning Transferable Architectures for Scalable Image Recognition. 2017-07-21. arXiv:1707.07012  [cs.CV].