Lustre,一种平行分布式文件系统,通常用于大型计算机集群超级计算机。Lustre是源自Linux和Cluster的混成词。最早在1999年,由皮特·布拉姆(英语:Peter Braam)建立的集群文件系统公司(英语:Cluster File Systems Inc.)开始研发,于2003年发布 Lustre 1.0。采用GNU GPLv2开源码授权。

Lustre
开发者多方
当前版本2.5.1 (maintenance),[1] 2.5.0 (feature)[2](2013年10月23日,​11年前​(2013-10-23
源代码库 编辑维基数据链接
操作系统Linux kernel
类型分布式文件系统
许可协议GPL v2
网站lustre.org(1.8.7及之前)
lustre.opensfs.org(2.1及之后)

历史

编辑

Lustre文件系统架构是Peter Braam1999年开始的一个研究项目,皮特当时在卡内基梅隆大学担任教职。2001年皮特成立了自己的公司——聚类文件系统。2007年9月,升阳公司收购集群文件系统公司的资产,包括其知识产权。Sun在其高性能计算硬件产品中提供Lustre,以期将Lustre引入自家的ZFS和Solaris操作系统。2008年11月,Braam离开了升阳微系统,由Eric Barton和Andreas Dilger接管Lustre项目。2010年,甲骨文公司收购Sun,开始管理和发布Lustre。

架构

编辑

Lustre文件系统包括三种主要的功能单元。

  • 元数据服务器(metadata servers,MDSes)。一个Lustre文件系统通常拥有两个元数据服务器(active和standby),一个元数据服务器则拥有若干元数据目标(metadata targets,MDTs)。元数据目标存储命名空间元数据:文件名、目录、访问权限、文件结构等信息。不同于诸如GPFSPanFS等基于块并由元数据服务器控制所有块分配的分布式文件系统,Lustre元数据服务器仅仅关心路径搜索和权限检查而不会牵涉任何的文件I/O操作。该特性避免元数据服务器成为集群扩展的瓶颈。单个文件系统拥有多个元数据目标是从2.4开始引入的新特性。
  • 对象存储服务器(object storage servers,OSSes)将文件数据存储于一个或多个对象存储目标(object storage targets,OSTs)中。取决于服务器硬件,一个对象存储服务器通常有二到八个对象存储目标,每个对象存储目标管理一个本地文件系统。Lustre文件系统的空间等于所有对象存储目标的容量总和。
  • 客户机(Clients)能访问并使用数据。Lustre为所有客户机提供统一的命名空间。

MDT、OST和Client可以位于同一节点(通常用于测试),但在典型的生产环境中这些功能组件安装在使用网络进行通信的不同节点。 Lustre Network(LNET)层可以使用多种类型的网络互连,包括InfiniBand以太网等。如果远程直接内存访问(RDMA)传输可用,Lustre将利用它提高吞吐量降低CPU使用率。

网络

编辑

高可用性

编辑

部署

编辑

参见

编辑

参考资料

编辑
  1. ^ Index of /public/lustre/latest-maintenance-release. [2014-06-13]. (原始内容存档于2013-12-06) (英语). 
  2. ^ Index of /public/lustre/latest-feature-release. [2014-06-13]. (原始内容存档于2013-12-06) (英语). 

外部链接

编辑