XGBoost[1]是一个开源软件库,为C++JavaPython[2]R[3]Julia[4]提供了一个梯度提升框架,适用于LinuxWindows[5]、以及macOS[6]。根据项目的描述,它的目的在于提供一个"可扩展、可移植和分布式梯度提升(GBM、GBRT、GBDT)库"。XGBoost除了可以在单机上运行,也支持运行在分布式框架如Apache HadoopApache SparkApache Flink上。近几年,由于该算法受到许多在机器学习竞赛中获奖团队的青睐,因而受到了广泛的欢迎和关注[7]

XGBoost
开发者The XGBoost Contributors
首次发布2014年3月27日,​10年前​(2014-03-27
当前版本0.70(2017年12月30日 (2017-12-30)
源代码库 编辑维基数据链接
编程语言C++
操作系统Linux, macOS, Windows
类型机器学习
许可协议Apache License 2.0
网站xgboost.ai

历史

编辑

XGBoost最初是一个研究项目,由当时在Distributed (Deep) Machine Learning Community (DMLC) 组里的陈天奇负责[8]。它最初作为一个可以由libsvm配置文件进行配置的终端应用程序。在Higgs机器学习挑战中取得胜利后,它开始在机器学习竞赛圈子中被广为人知。不久之后,相应的Python和R的软件包被开发了出来。XGBoost现在也已经为Julia、Scala、Java和其他语言提供了软件包实现。这使得更多的开发者了解了XGBoost,并且让其在Kaggle社区备受欢迎,被广泛用于大量的竞赛[7]

很快地,XGBoost就与其他多个软件包一起使用,使其更易于在各自的社区中使用。它现在已经与Python用户的scikit-learn以及与R的Caret软件包集成在一起。它还可以使用抽象的Rabit[9]及XGBoost4J集成到诸如Apache Spark、Apache Hadoop和Apache Flink等数据流框架中[10]。XGBoost也可用于FPGAsOpenCL[11]。陈天奇和Carlos Guestrin发表了一种高效、可扩展的XGBoost实现[12]

获奖

编辑
  • 约翰钱伯斯奖(2016) [13]
  • 高能物理学会议机器学习奖(HEP meets ML) (2016) [14]

参考文献

编辑
  1. ^ GitHub project webpage. [2019-01-09]. (原始内容存档于2021-04-01). 
  2. ^ Python Package Index PYPI: xgboost. [2016-08-01]. (原始内容存档于2017-08-23). 
  3. ^ CRAN package xgboost. [2016-08-01]. (原始内容存档于2018-10-26). 
  4. ^ Julia package listing xgboost. [2016-08-01]. (原始内容存档于2016-08-18). 
  5. ^ Installing XGBoost for Anaconda in Windows. [2016-08-01]. (原始内容存档于2018-05-08). 
  6. ^ Installing XGBoost on Mac OSX. [2016-08-01]. (原始内容存档于2018-05-08). 
  7. ^ 7.0 7.1 XGBoost - ML winning solutions (incomplete list). [2016-08-01]. (原始内容存档于2022-08-08). 
  8. ^ Story and Lessons behind the evolution of XGBoost. [2016-08-01]. (原始内容存档于2016-08-07). 
  9. ^ Rabit - Reliable Allreduce and Broadcast Interface. [2016-08-01]. (原始内容存档于2018-06-11). 
  10. ^ XGBoost4J. [2016-08-01]. (原始内容存档于2018-05-08). 
  11. ^ XGBoost on FPGAs. [2019-08-01]. (原始内容存档于2020-09-13). 
  12. ^ Chen, Tianqi; Guestrin, Carlos. Krishnapuram, Balaji; Shah, Mohak; Smola, Alexander J.; Aggarwal, Charu C.; Shen, Dou; Rastogi, Rajeev , 编. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, August 13-17, 2016. ACM: 785–794. 2016. arXiv:1603.02754 . doi:10.1145/2939672.2939785.  |contribution=被忽略 (帮助)
  13. ^ John Chambers Award Previous Winners. [2016-08-01]. (原始内容存档于2017-07-31). 
  14. ^ HEP meets ML Award. [2016-08-01]. (原始内容存档于2018-05-08).