InfiniBand
InfiniBand(直譯為「無限頻寬」技術,縮寫為IB)是一個用於高效能計算的電腦網路通訊標準,它具有極高的吞吐量和極低的延遲,用於電腦與電腦之間的資料互連。InfiniBand也用作伺服器與儲存系統之間的直接或交換互連,以及儲存系統之間的互連。[1]
截至2014年,它是超級電腦最常用的互連技術。Mellanox和英特爾製造InfiniBand主機匯流排配接器和網路交換器,並根據2016年2月的報導,[2]甲骨文公司已經設計了自己的Infiniband交換機單元和伺服器適配晶片,用於自己的產品線和第三方。Mellanox IB卡可用於Solaris、RHEL、SLES、Windows、HP-UX、VMware ESX、[3] AIX。[4]它被設計為可延伸和使用交換結構的網路拓撲。
作為互連技術,IB與乙太網路、光纖通道和其他專有技術[5](例如克雷公司的SeaStar)競爭。該技術由InfiniBand貿易聯盟推動。
規格
編輯效能
編輯SDR | DDR | QDR | FDR-10 | FDR | EDR | HDR | NDR | |
---|---|---|---|---|---|---|---|---|
信令速率 (Gb/s) | 2.5 | 5 | 10 | 10.3125 | 14.0625[6] | 25 | 50 | 100 |
理論有效吞吐量,Gb/s,每1x[7] | 2 | 4 | 8 | 10 | 13.64 | 24.24 | ||
4x鏈路速度 (Gbit/s) | 8 | 16 | 32 | 40 | 54.54 | 96.97 | ||
12x鏈路速度 (Gbit/s) | 24 | 48 | 96 | 120 | 163.64 | 290.91 | ||
編碼(位元) | 8/10 | 8/10 | 8/10 | 64/66 | 64/66 | 64/66 | ||
延遲時間(微秒)[8] | 5 | 2.5 | 1.3 | 0.7 | 0.7 | 0.5 | ||
年[9] | 2001、 2003 |
2005 | 2007 | 2011 | 2014[7] | 2017[7] | 2020年後 |
鏈路可以聚合:大多數系統使用一個4X聚合。12X鏈路通常用於電腦叢集和超級電腦互連,以及用於內部網路交換器連接。
InfiniBand也提供遠端直接主記憶體訪問(RDMA)能力以降低CPU負載。
拓撲
編輯InfiniBand使用一個交換結構拓撲,不同於早期的共享媒介乙太網路。所有傳輸開始或結束於通道配接器。每個處理器包含一個主機通道配接器(HCA),每個外設具有一個目標通道配接器(TCA)。這些配接器也可以交換安全性或QoS資訊。
訊息
編輯InfiniBand以最高4 KB的封包傳送訊息資料。一條訊息可以為:
物理互連
編輯除了板式連接,它還支援有源和無源銅纜(最多30米)和光纜(最多10公里)。[10]使用QSFP連接器。
Inifiniband Association也指定了CXP銅連接器系統,用於通過銅纜或有源光纜達到高達120 Gbit/s的能力。
API
編輯InfiniBand沒有標準的應用程式介面。標準只列出一組的動作例如 ibv_open_device
或是 ibv_post_send
,這些都是必須存在的子程式或方法的抽象表示方式。這些子程式的語法由供應商自行定義。事實標準的軟體堆疊標準是由 OpenFabrics Alliance 所開發的。它以雙許可證方式發佈,GNU通用公共許可證或BSD許可證用於 GNU/Linux 以及 FreeBSD,且 WinOF 在 Windows 下可以選擇 BSD許可證。它已被大多數 InfiniBand 供應商採用,用於 GNU/Linux、FreeBSD 以及 Windows。
歷史
編輯InfiniBand源於1999年兩個競爭設計的合併:未來I/O與下一代I/O。這促成了InfiniBand貿易聯盟(InfiniBand Trade Association,縮寫IBTA),其中包括康柏、戴爾、惠普、IBM、英特爾、微軟及昇陽。當時有人認為一些更強大的電腦正在接近PCI匯流排的互連瓶頸,儘管有像PCI-X的升級。[11]InfiniBand架構規範的1.0版本發布於2000年。最初,IBTA的IB願景是取代PCI的I/O,乙太網路的機房、電腦叢集的互連以及光纖通道。IBTA也設想在IB結構上分擔伺服器硬體。隨著網際網路泡沫的爆發,業界對投資這樣一個意義深遠的技術跳躍表現為猶豫不決。[12]
時間線
編輯- 2001年:Mellanox售出InfiniBridge 10Gbit/s裝置和超過10,000個InfiniBand埠。[13]
- 2002年:英特爾宣布將著眼於開發PCI Express而不是採用IB晶片,以及微軟停止IB開發以利於擴充乙太網路,IB發展受挫,儘管Sun和日立繼續支援IB。[14]
- 2003年:維吉尼亞理工學院暨州立大學建立了一個InfiniBand叢集,在當時的TOP500排名第三。
- 2004年:IB開始作為叢集互連採用,對抗乙太網路上的延遲和價格。[12]OpenFabrics Alliance開發了一個標準化的基於Linux的InfiniBand軟體棧。次年,Linux添加IB支援。[15]
- 2005年:IB開始被實現為儲存裝置的互連。[16]
- 2009年:世界500強超級電腦中,259個使用千兆乙太網路作為內部互連技術,181個使用InfiniBand。[17]
- 2010年:市場領導者Mellanox和Voltaire合併,IB供應商只剩下另一個競爭者——QLogic,它主要是光纖通道供應商。[18] Oracle makes a major investment in Mellanox.
- 2011年:FDR交換機和配接器在國際超級計算會議上宣布。[19]
- 2012年:英特爾收購QLogic的InfiniBand技術。[20]
- 2016年:甲骨文公司製造自己的InfiniBand互連晶片和交換單元。[21]
- 2019年:Nvidia以69億美元收購Mellanox。[22]
參見
編輯參考資料
編輯- ^ 存档副本. [2017-01-09]. (原始內容存檔於2017-07-07).
- ^ 存档副本. [2017-01-09]. (原始內容存檔於2020-11-29).
- ^ InfiniBand Cards - Overview. Mellanox. [30 July 2014]. (原始內容存檔於2020-01-11).
- ^ Implementing InfiniBand on IBM System p (IBM Redbook SG24-7351-00) (PDF). [2017-01-09]. (原始內容存檔 (PDF)於2020-11-25).
- ^ Vance, Ashlee. China Wrests Supercomputer Title From U.S.. New York Times. 2010-10-28 [2017-01-09]. (原始內容存檔於2021-01-27).
- ^ 存档副本. [2017-01-09]. (原始內容存檔於2016-08-26).
- ^ 7.0 7.1 7.2 存档副本. [2017-01-09]. (原始內容存檔於2011-09-29).
- ^ http://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf (頁面存檔備份,存於網際網路檔案館) // Mellanox
- ^ Panda, Dhabaleswar K.; Sayantan Sur. Network Speed Acceleration with IB and HSE (PDF). Designing Cloud and Grid Computing Systems with InfiniBand and High-Speed Ethernet. Newport Beach, CA, USA: CCGrid 2011: 23. 2011 [13 September 2014]. (原始內容存檔 (PDF)於2020-06-13).
- ^ Specification FAQ. ITA. [30 July 2014]. (原始內容存檔於2016-11-24).
- ^ Pentakalos, Odysseas. An Introduction to the InfiniBand Architecture. O'Reilly. [28 July 2014]. (原始內容存檔於2014-08-09).
- ^ 12.0 12.1 Kim, Ted. Brief History of InfiniBand: Hype to Pragmatism. Oracle. [28 July 2014]. (原始內容存檔於2014年8月8日).
- ^ Timeline. Mellanox Technologies. [28 July 2014]. (原始內容存檔於2019-11-29).
- ^ Sun confirms commitment to InfiniBand. The Register. [28 July 2014]. (原始內容存檔於2019-06-20).
- ^ Linux Kernel 2.6.11 Supports InfiniBand. [29 July 2014]. (原始內容存檔於2020-10-21).
- ^ Is InfiniBand poised for a comeback?, Infostor, [2017-01-09], (原始內容存檔於2020-11-25)
- ^ Lawson, Stephen. Two rival supercomputers duke it out for top spot. COMPUTERWORLD. [29 July 2014]. (原始內容存檔於2017-01-10).
- ^ Raffo, Dave. Largest InfiniBand vendors merge; eye converged networks. [29 July 2014]. (原始內容存檔於2017-07-01).
- ^ Mellanox Demos Souped-Up Version of InfiniBand. CIO. 20 June 2011 [1 August 2011]. (原始內容存檔於2014-01-07).
- ^ Intel Snaps Up InfiniBand Technology, Product Line from QLogic. HPCwire. January 23, 2012 [2012-01-27]. (原始內容存檔於2012-01-27).
- ^ Oracle Engineers Its Own InfiniBand Interconnects. The Next Platform. [2016-02-24]. (原始內容存檔於2020-11-29).
- ^ NVIDIA to Acquire Mellanox for $6.9 Billion. NVIDIA News. 2019-03-11 [2020-02-12]. (原始內容存檔於2019-03-11).
外部連結
編輯- Dissecting a Small InfiniBand Application Using the Verbs API, arXiv:1105.1827
- Mellanox Technologies: InfiniBand Performance Metrics