並行減速(Parallel slowdown)是並行計算中的一種現象,當中並行算法的並行化超過一定程度後,會導致運行變慢(需要更多時間運行)。[1]

採用次優並行化的實際程序的運行時間(藍)與程序加速(紅)示意圖。虛線表示最優並行化,速度線性增加,程序運行時間線性減少。注意,最終運行時間實際上會隨處理器數量增加(速度提升會減少),這就是並行減速。

並行減速通常是通信瓶頸造成的。處理器節點花費在通信上的時間將隨處理器數量的增加,逐漸超過有效的處理時間。增加處理器節點產生的通信開銷一旦超過節點的處理能力,就產生了並行減速。

算法若需要大量通信、特別是中間結果的通信時,就會出現並行減速。有些問題(稱作過易並行問題)不需要這類通信,因此不會受到並行減速影響。

參考文獻

編輯
  1. ^ Kukanov, Alexey. Why a simple test can get parallel slowdown. 2008-03-04 [2015-02-15]. (原始內容存檔於2017-02-15). 

另見

編輯