Lustre,一種平行分散式檔案系統,通常用於大型計算機叢集超級電腦。Lustre是源自Linux和Cluster的混成詞。最早在1999年,由皮特·布拉姆(英語:Peter Braam)建立的叢集檔案系統公司(英語:Cluster File Systems Inc.)開始研發,於2003年釋出 Lustre 1.0。採用GNU GPLv2開源碼授權。

Lustre
開發者多方
當前版本2.5.1 (maintenance),[1] 2.5.0 (feature)[2](2013年10月23日,​11年前​(2013-10-23
源代碼庫 編輯維基數據鏈接
操作系統Linux kernel
類型分布式文件系統
許可協議GPL v2
網站lustre.org(1.8.7及之前)
lustre.opensfs.org(2.1及之後)

歷史

編輯

Lustre文件系統架構是Peter Braam1999年開始的一個研究項目,皮特當時在卡內基梅隆大學擔任教職。2001年皮特成立了自己的公司——群集文件系統。2007年9月,昇陽公司收購集群文件系統公司的資產,包括其知識產權。Sun在其高性能計算硬件產品中提供Lustre,以期將Lustre引入自家的ZFS和Solaris操作系統。2008年11月,Braam離開了昇陽微系統,由Eric Barton和Andreas Dilger接管Lustre項目。2010年,甲骨文公司收購Sun,開始管理和發布Lustre。

架構

編輯

Lustre文件系統包括三種主要的功能單元。

  • 元數據服務器(metadata servers,MDSes)。一個Lustre文件系統通常擁有兩個元數據服務器(active和standby),一個元數據服務器則擁有若干元數據目標(metadata targets,MDTs)。元數據目標存儲名字空間元數據:文件名、目錄、訪問權限、文件結構等信息。不同於諸如GPFSPanFS等基於塊並由元數據服務器控制所有塊分配的分布式文件系統,Lustre元數據服務器僅僅關心路徑搜索和權限檢查而不會牽涉任何的文件I/O操作。該特性避免元數據服務器成為集群擴展的瓶頸。單個文件系統擁有多個元數據目標是從2.4開始引入的新特性。
  • 對象存儲服務器(object storage servers,OSSes)將文件數據存儲於一個或多個對象存儲目標(object storage targets,OSTs)中。取決於服務器硬件,一個對象存儲服務器通常有二到八個對象存儲目標,每個對象存儲目標管理一個本地文件系統。Lustre文件系統的空間等於所有對象存儲目標的容量總和。
  • 客戶機(Clients)能訪問並使用數據。Lustre為所有客戶機提供統一的命名空間。

MDT、OST和Client可以位於同一節點(通常用於測試),但在典型的生產環境中這些功能組件安裝在使用網絡進行通信的不同節點。 Lustre Network(LNET)層可以使用多種類型的網絡互連,包括InfiniBand以太網等。如果遠程直接內存訪問(RDMA)傳輸可用,Lustre將利用它提高吞吐量降低CPU使用率。

網絡

編輯

高可用性

編輯

部署

編輯

參見

編輯

參考資料

編輯
  1. ^ Index of /public/lustre/latest-maintenance-release. [2014-06-13]. (原始內容存檔於2013-12-06) (英語). 
  2. ^ Index of /public/lustre/latest-feature-release. [2014-06-13]. (原始內容存檔於2013-12-06) (英語). 

外部連結

編輯