代理模型

代理模型是工程問題中常用的一個優化方法。當實際問題（高精度模型）計算量很大、不容易求解時，可以使用計算量較小、求解迅速的簡化模型來替代原模型，加速優化過程。大多數工程設計問題，需要模擬實驗來評估採用不同設計參數時的目標函數和約束函數。例如，為了找到最佳的機翼形狀，常常針對不同的形狀參數（長度，曲率，材料等）模擬機翼周圍的氣流。對於許多實際問題，單次模擬可能需要數分鐘、數小時、甚至數天才能完成。因此，類似設計優化、設計空間搜索、靈敏性分析和假設分析這種，需要數千、甚至數百萬次模擬的任務，直接對原模型求解將是不可能的。

改善這種情況的一個辦法就是使用近似模型（被稱為代理模型，響應曲面模型，元模型或模擬器）來模擬高精度模擬模型。代理模型的計算結果與原模型非常接近，但是求解計算量較小。代理模型採用一個數據驅動的、自下而上的辦法來建立。一般假定原模擬過程的內部精確處理過程未知（有時也可能已知），但是該模型的輸入-輸出行為則非常重要。通過在仔細選擇的有限個點（輸入）計算原模型的響應（輸出），從而建立代理模型。這一過程也被稱為行為建模或者黑箱模型，但是這兩個名字會造成歧義。如果只涉及唯一的變量，這一過程也被稱為曲線擬合。

雖然使用代理模型來代替實驗和模擬在工程設計中非常常見，代理模型也可被用於許多其他實驗或求解計算量較大的科學領域。

目標

此方法面臨的主要挑戰是：如何使用儘可能少的高精度模型求解來建立一個儘可能精確的代理模型。這一過程包括三個互相交織步驟。

抽樣選擇(也稱為順序設計,最佳實驗設計(OED),或主動學習)
建立代理模式和優化模型參數(偏差方差權衡)
代理模型準確性評估

代理模型的準確性跟設計空間的採樣點（高精度模擬實驗）的個數與位置有關。不同的實驗設計（DOE）技術可以滿足不同的誤差要求，特別是數據噪聲或者不合適的代理模型造成的誤差。

代理模型分類

最常用的代理模型有多項式響應曲面法，克里金法，梯度增強克里金法（GEK），支持向量機，空間映射^[1]，和人工神經網絡。對於某些特定的問題，其具體的目標函數並沒有先驗知識，因此無法知道哪種代理模型最準確。另外，對於給定的代理模型，如何獲得該模型精確性的可靠估計並無定規。對於其他物理特性已知的許多其他問題，基於物理特性的代理模型，例如空間映射，將是最有效的^[1]。

這裏^[2]有最近關於基於代理模型的進化優化技術的回顧。亞斯-桑切斯評價了近二十年以來代理模型的發展與工程應用。

一致性

近來提出的基於比較的代理模型（例如排序支持向量機）進化算法，例如CMA-ES，允許保留代理模型協助的優化器的某些一致性^[3]：

1. 函數單調變換的一致性（縮放）
2. 搜索空間正交變換的一致性(旋轉)。

應用

設計優化與設計空間逼近（也稱為模擬）這兩個代理模型的典型應用之間，有很大的不同。

基於代理模型的優化，基於有限預算下高精度模型的實驗模擬，來建立初步代理模型。然後採用此代理模型預測的性能更好的點來進一步實驗模擬。此過程一般採用如下的搜索/更新步驟。

1. 初步選擇採樣點(高精度模型求解)
2. 建立代理模型
3. 搜索代理模型(可以深度搜索此模型，例如使用遺傳算法，因為它求解簡單)
4. 在搜索得到的點來求解原高精度模型，並將結果加入到採樣點
5. 重複步驟2到4，直到時間用盡或者設計已經「足夠好」

根據所使用的代理模型的類型和求解問題的複雜性，該過程可能收斂至一個局部或者全局最優點，也有可能無法找到最優點。^[4]

而對於設計空間逼近，感興趣的並非找到最優的參數向量，而是系統的全局行為。這時，代理模型需要不斷調整，以保證在全部參數空間，代理模型與高精度模型都儘可能接近。這樣的代理模型是深入了解系統全局行為的一種有效且廉價的手段。優化仍然可作為一個後處理步驟，儘管此時找到的最優點因為沒有更新過程（見上文）可能無法被驗證。

參看

直線逼近
響應曲面法
克里金法
梯度增強克里金(GEK)
OptiY
空間映射
代理終點
代理數據
適應逼近
計算機實驗
模型

參考文獻

^ ^1.0 ^1.1 J.W. Bandler, Q. Cheng, S.A. Dakroury, A.S. Mohamed, M.H. Bakr, K. Madsen and J. Søndergaard, "Space mapping: the state of the art," IEEE Trans.. [2017-08-10]. （原始內容存檔於2022-03-31）. 引用錯誤：帶有name屬性「space mapping」的<ref>標籤用不同內容定義了多次
^ Jin Y (2011).
^ Loshchilov, I.; M. Schoenauer; M. Sebag (2010). "Comparison-Based Optimizers Need Comparison-Based Surrogates" (PDF). Parallel Problem Solving from Nature (PPSN XI). Springer. pp. 364–1373
^ Jones, D.R (2001), "A taxonomy of global optimization methods based on response surfaces," Journal of Global Optimization, 21:345–383.

延伸閱讀

Queipo, N.V., Haftka, R.T., Shyy, W., Goel, T., Vaidyanathan, R., Tucker, P.K. (2005), 「Surrogate-based analysis and optimization,」 Progress in Aerospace Sciences, 41, 1–28.
D. Gorissen, I. Couckuyt, P. Demeester, T. Dhaene, K. Crombecq, (2010), 「A Surrogate Modeling and Adaptive Sampling Toolbox for Computer Based Design（頁面存檔備份，存於互聯網檔案館）," Journal of Machine Learning Research, Vol. 11, pp. 2051−2055, July 2010.
T-Q. Pham, A. Kamusella, H. Neubert, 「Auto-Extraction of Modelica Code from Finite Element Analysis or Measurement Data（頁面存檔備份，存於互聯網檔案館）," 8th International Modelica Conference, 20–22 March 2011 in Dresden.
Forrester, Alexander, Andras Sobester, and Andy Keane, Engineering design via surrogate modelling: a practical guide, John Wiley & Sons, 2008.

外部連結

[space_mapping-1] 1.0 ^1.1 J.W. Bandler, Q. Cheng, S.A. Dakroury, A.S. Mohamed, M.H. Bakr, K. Madsen and J. Søndergaard, "Space mapping: the state of the art," IEEE Trans.. [2017-08-10]. （原始內容存檔於2022-03-31）. 引用錯誤：帶有name屬性「space mapping」的<ref>標籤用不同內容定義了多次

[2] Jin Y (2011).

[3] Loshchilov, I.; M. Schoenauer; M. Sebag (2010). "Comparison-Based Optimizers Need Comparison-Based Surrogates" (PDF). Parallel Problem Solving from Nature (PPSN XI). Springer. pp. 364–1373

[4] Jones, D.R (2001), "A taxonomy of global optimization methods based on response surfaces," Journal of Global Optimization, 21:345–383.

[1]

[2]

[3]

[4]