Alluxio
Alluxio是一个开源的虚拟分布式文件系统( Virtual Distributed File System, VDFS)。 Alluxio最初起源于一个叫Tachyon的研究项目,它是加州大学伯克利分校AMPLab实验室由师从Scott Shenker教授和Ion Stoica教授的李浩源博士的博士论文课题[2] 。Alluxio位于大数据栈中的计算和存储之间。它为计算框架提供了数据抽象层,使得应用能够通过一个共同的接口连接底层不同的存储系统。这个软件是以Apache License的开源协议进行发布的。
原作者 | Haoyuan Li |
---|---|
开发者 | UC Berkeley AMPLab |
首次发布 | 2013年4月8日 |
当前版本 |
|
源代码库 | https://github.com/Alluxio/alluxio |
编程语言 | Java |
操作系统 | macOS, Linux |
语言 | Java |
许可协议 | Apache License 2.0 |
网站 | www |
2019年, 首届数据编排峰会[3]在位于加州山景城的计算机历史博物馆举办。众多业界巨擘介绍了他们在构架数据编排平台方面的观点和经验。数据分析、机器学习和人工智能等一系列数据驱动型应用能够通过Alluxio提供的API(例如Hadoop HDFS API, S3 API, FUSE API)高速交互访问底层多种存储系统中的数据。另外,Alluxio之上还能够运行多种流行的计算框架,包括Presto, Apache Spark,Apache Hive, 以及Tensorflow等。
Alluxio能够部署在私有环境,云环境(例如Microsoft Azure, AWS, Google Cloud Platform),或者混合云环境中。它可以直接运行在物理机之上或者类似于Kubernetes, Docker, Apache Mesos的容器化环境当中。
历史
编辑Alluxio最初由李浩源于2013年在加州大学伯克利分校AMP实验室创建并在2014年进行了开源。直至2018年,Alluxio开源项目已经有超过1000名贡献者[4],从这个数据来看Alluxio已经成为了数据生态系统中最为活跃的项目之一。
版本号 | 初始发布日期 | 最终版本 | 发布日期 |
---|---|---|---|
0.2 | 2013-04-08 | 0.2.1 | 2013-04-25 |
0.3 | 2013-10-21 | 0.3.0 | 2013-10-21 |
0.4 | 2014-02-02 | 0.4.1 | 2014-02-25 |
0.5 | 2014-07-20 | 0.5.0 | 2014-07-20 |
0.6 | 2015-03-01 | 0.6.4 | 2015-04-23 |
0.7 | 2015-07-17 | 0.7.1 | 2015-08-10 |
0.8 | 2015-10-21 | 0.8.2 | 2015-11-10 |
1.0 | 2016-02-23 | 1.0.1 | 2016-03-27 |
1.1 | 2016-06-06 | 1.1.1 | 2016-07-04 |
1.2 | 2016-07-17 | 1.2.0 | 2016-07-17 |
1.3 | 2016-10-05 | 1.3.0 | 2016-10-05 |
1.4 | 2017-01-12 | 1.4.0 | 2017-01-12 |
1.5 | 2017-06-11 | 1.5.0 | 2017-06-11 |
1.6 | 2017-09-24 | 1.6.1 | 2017-11-02 |
1.7 | 2018-01-14 | 1.7.1 | 2018-03-26 |
1.8 | 2018-07-07 | 1.8.2 | 2019-08-05 |
2.0 | 2019-06-27 | 2.0.1 | 2019-09-03 |
2.1 | 2019-11-06 | 2.1.2 | 2020-02-04 |
2.2 | 2020-03-11 | 2.2.2 | 2020-06-24 |
2.3 | 2020-06-30 | 2.3.0 | 2020-06-30 |
2.4 | 2020-10-19 | 2.4.1 | 2020-11-20 |
2.5 | 2021-03-10 | 2.5.0 | 2021-03-10 |
2.6 | 2021-06-23 | 2.6.2 | 2021-09-17 |
2.7 | 2021-11-16 | 2.7.4 | 2022-04-19 |
2.8 | 2022-05-04 | 2.8.1 | 2022-08-17 |
2.9 | 2022-11-16 | 2.9.0 | 2022-11-16 |
格式: 旧版本 旧版本,仍被支援 当前版本 最新的预览版 |
使用Alluxio的企业机构
编辑以下是一些使用Alluxio的知名企业的名录列表:
参看
编辑参考来源
编辑- ^ Release 2.9.4. 2024年6月11日 [2024年6月20日].
- ^ Li, Haoyuan. Alluxio: A Virtual Distributed File System (技术报告). EECS Department, University of California, Berkeley. 7 May 2018 [2019-07-14]. UCB/EECS-2018-29. (原始内容存档于2019-09-19).
- ^ Data Orchestration Summit 2019. [2019-12-16]. (原始内容存档于2019-12-14).
- ^ Open HUB Alluxio development activity. [2019-07-14]. (原始内容存档于2019-07-14).
- ^ This New Open Source Project Is 100X Faster than Spark SQL In Petabyte-Scale Production. [2019-07-14]. (原始内容存档于2019-07-14).
- ^ Making the Impossible Possible with Tachyon: Accelerate Spark Jobs from Hours to Seconds. [2019-07-14]. (原始内容存档于2019-07-14).
- ^ China Unicom's big bet on open source. [2019-12-16]. (原始内容存档于2019-07-14).
- ^ Operationalizing Machine Learning—Managing Provenance from Raw Data to Predictions. [2019-07-14]. (原始内容存档于2019-07-14).
- ^ Cray Analytics and Alluxio – Wrangling Enterprise Storage. [2019-07-14]. (原始内容存档于2019-07-14).
- ^ Alluxio's Use and Practice in Didi. [2019-07-14]. (原始内容存档于2019-09-19).
- ^ Data Transformation in Financial Services. [2019-12-16]. (原始内容存档于2019-07-14).
- ^ ArcGIS and Alluxio - Using Alluxio to enhance ArcGIS data capability and get faster insights from all your data. [2019-07-14]. (原始内容存档于2019-02-19).
- ^ Huawei hugs open-sourcey Alluxio: Thanks for the memories. [2019-07-14]. (原始内容存档于2019-02-19).
- ^ How Alluxio is Accelerating Apache Spark Workloads. [2019-07-14]. (原始内容存档于2019-07-14).
- ^ Getting Started with Tachyon by Use Cases. [2019-07-14]. (原始内容存档于2019-07-14).
- ^ Using Alluxio as a fault-tolerant pluggable optimization component of JD.com's compute frameworks. [2019-07-14]. (原始内容存档于2019-07-14).
- ^ World’s Largest Computer Maker Lenovo Selects Alluxio for Data Management of Worldwide Smartphone Data. [2019-07-14]. (原始内容存档于2019-07-14).
- ^ Enhancing the Value of Alluxio with Samsung NVMe SSDs. [2019-07-14]. (原始内容存档于2019-07-14).
- ^ Tencent Delivering Customized News to Over 100 Million Users per Month with Alluxio. [2019-07-14]. (原始内容存档于2019-02-19).
- ^ The Practice of Alluxio in Near Real-Time Data Platform at VIPShop. [2019-07-14]. (原始内容存档于2019-09-19).
- ^ Bringing Data to Life - Data Management and Visualization Techniques. [2019-07-14]. (原始内容存档于2019-02-20).