使用者:P1ayer/備頁/機器學習概論

機器學習概論（Outline of machine learning），作為機器學習的概述和主題指南。在計算機科學中認為，機器學習是一個軟體計算中的子領域，在人工智能從研究發展模式識別和計算學習理論。 1959年，亞瑟·塞繆爾（Arthur Samuel）將機器學習定義為「一個使電腦無需明確編程即可學習的能力的研究領域」。 機器學習探索了可以學習的算法的研究，和構建從數據中做出預測。 這樣的算法通過根據輸入觀測值的示例訓練集構建數學模型來進行操作，以便做出表示為輸出的數據驅動的預測或決策，而不是嚴格遵循靜態程序指令。

機器學習是什麼類型的東西？

• 一門學術
• 科學的分支
  • 一種應用科學
    • 計算機科學的子領域
      • 人工智能的分支
      • 軟計算的子領域
    • 統計學的應用

機器學習的分支

機器學習的子領域

• 計算學習理論（Computational learning theory）– 研究機器學習演算法的設計與分析。
• 文法歸納（Grammar induction）
• 元學習（Meta learning）

涉及機器學習的跨學科領域

• 對抗機器學習（Adversarial machine learning）
• 預測分析（Predictive analytics）
• 量子機器學習（Quantum machine learning）
• 機器人學習（Robot learning）
  • 發展型機器人（Developmental robotics）

機器學習的應用

機器學習的應用

• 生物信息學（Bioinformatics）
• 醫學信息學（Biomedical informatics）
• 計算機視覺（Computer vision）
• 客戶關係管理（Customer relationship management）
• 數據挖掘（Data mining）
• 電子郵件Email過濾（Email filtering）
• 倒單擺（Inverted pendulum） – 平衡系統。
• 自然語言處理 (Natural language processing，簡稱NLP)
  • 自動摘要（Automatic summarization）
  • 自動分類法建構（Automatic taxonomy construction）
  • 對話系統（Dialog system）
  • 文法檢查器（Grammar checker）
  • 語言識別（Language recognition）
    • 手寫識別（Handwriting recognition）
    • 光學字符識別（Optical character recognition，簡稱OCR）
    • 語音識別（Speech recognition）
  • 機器翻譯（Machine translation）
  • 問答系統（Question answering）
  • 語音合成（Speech synthesis）
  • 文本挖掘（Text mining）
    • 術語頻率–逆向文件頻率（Term frequency–inverse document frequency，簡稱tf–idf）
  • 文本簡化（Text simplification）
• 模式識別（Pattern recognition）
  • 臉部辨識系統（Facial recognition system）
  • 手寫識別（Handwriting recognition）
  • 計算機視覺 （Image recognition）
  • 光學字符識別（Optical character recognition，簡稱OCR）
  • 語音識別（Speech recognition）
• 推薦系統（Recommendation system）
  • 協同過濾（Collaborative filtering）
  • 內容型過濾（Content-based filtering）
  • 混合推薦系統（Hybrid recommender systems） – 基於協作和基於內容型的過濾。
• 網絡搜索引擎（Search engine）
  • 搜尋引擎最佳化（Search engine optimization，簡稱SEO）
• 社會工程學（Social Engineering）

機器學習的硬體

• 圖形處理器（Graphics processing unit，簡稱GPU）
• 張量處理器（Tensor processing unit，簡稱TPU）
• 視覺處理器（Vision processing unit，簡稱VPU）

機器學習的工具

• 比較深度學習的軟體（Comparison of deep-learning software）

機器學習框架

專有的機器學習框架

• 亞馬遜雲計算服務（Amazon Machine Learning）
• Microsoft Azure Machine Learning Studio
• DistBelief – 由 TensorFlow 取代

開源的機器學習框架

• Apache Singa
• Apache MXNet
• Caffe
• PyTorch
• mlpack
• TensorFlow
• Torch
• Microsoft Cognitive Toolkit（CNTK）
• Accord.NET

機器學習的程式庫

• Deeplearning4j
• Theano
• Scikit-learn
• Keras

機器學習的演算法

機器學習的演算法

機器學習的演算法的種類

• Almeida–Pineda循環反向傳播（Almeida–Pineda recurrent backpropagation）
• 樣式擷取演算法（ALgorithms Of Pattern EXtraction，簡稱ALOPEX）
• 反向傳播算法（Backpropagation，簡稱BP）
• Bagging算法（Bootstrap aggregating，引導聚合，又稱裝袋算法）
• CN2算法
• 建構技能樹（Constructing skill trees）
• Dehaene–Changeux模型（Dehaene–Changeux model）
• 擴散圖（Diffusion map）
• 基於支配的粗糙設定逼近（Dominance-based rough set approach）
• 動態時間扭曲（Dynamic time warping）
• 錯誤驅動的學習（Error-driven learning）
• 進化多模態最佳化（Evolutionary multimodal optimization）
• 最大期望算法（Expectation–maximization algorithm）
• FastICA
• 正反雙向演算法（Forward–backward algorithm）
• GeneRec
• 由規則集生成的基因演算法（Genetic Algorithm for Rule Set Production）
• 增長自組織映像（Growing self-organizing map）
• 超基底函數網路（Hyper basis function network）
• IDistance
• K-近鄰算法（K-nearest neighbors algorithm）
• 向量輸出的核心方法（Kernel methods for vector output）
• 核主成分分析（Kernel principal component analysis）
• Leabra
• Linde–Buzo–Gray演算法（Linde–Buzo–Gray algorithm）
• 區域離群因子（Local outlier factor）
• 邏輯學習機（Logic learning machine）
• LogitBoost
• 歧管對齊（Manifold alignment）
• 馬爾可夫鏈蒙特卡洛（Markov chain Monte Carlo，簡稱MCMC）
• 最小冗餘特徵選擇（Minimum redundancy feature selection）
• 專家組合（Mixture of experts）
• 多核心學習（Multiple kernel learning）
• 非負矩陣分解（Non-negative matrix factorization）
• 線上機器學習（Online machine learning）
• 袋外錯誤（Out-of-bag error）
• 前額葉皮質基底神經節工作記憶（Prefrontal cortex basal ganglia working memory）
• 主要價值學習價值（Primary value learned value，簡稱PVLV）
• Q學習（Q-learning）
• 二次無約束二進制最佳化（Quadratic unconstrained binary optimization）
• 查詢級功能（Query-level feature）
• Quickprop
• 徑向基函數網絡（Radial basis function network）
• 隨機加權多數演算法（Randomized weighted majority algorithm）
• 強化學習（Reinforcement learning）
• 重複進行增量修剪以減少錯誤（Repeated incremental pruning to produce error reduction，簡稱RIPPER）
• Rprop
• 基於規則的機器學習（Rule-based machine learning）
• 技能鏈（Skill chaining）
• 稀疏PCA（Sparse PCA）
• 狀態–動作–獎勵–狀態–動作（State–action–reward–state–action，簡稱SARSA）
• 隨機梯度下降（Stochastic gradient descent）
• 結構化kNN（Structured kNN）
• T分布隨機相鄰嵌入（T-distributed stochastic neighbor embedding，簡稱t-SNE）
• 時差學習（Temporal difference learning，簡稱TD）
• 喚醒睡眠演算法（Wake-sleep algorithm）
• 加權式多數決演算法（Weighted majority algorithm）

機器學習的方法

• 實例為基的演算法（Instance-based algorithm）
  • K-近鄰算法 (K-nearest neighbors algorithm，簡稱KNN)
  • 學習向量量化（Learning vector quantization，簡稱LVQ）
  • 自組織映射（Self-organizing map，簡稱SOM）
• 迴歸分析（Regression analysis）
  • 邏輯迴歸（Logistic regression）
  • 普通最小平方迴歸（Ordinary least squares regression，簡稱OLSR）
  • 線性回歸（Linear regression）
  • 逐步迴歸（Stepwise regression）
  • 多元自適應回歸樣條（Multivariate adaptive regression splines，簡稱MARS）
• 正則化的演算法（Regularization algorithm）
  • 吉洪諾夫正則化（Ridge regression）
  • Lasso算法（Least Absolute Shrinkage and Selection Operator，簡稱LASSO）
  • 彈性網（Elastic net）
  • 最小角回歸（Least-angle regression，簡稱LARS）
• 統計分類（Statistical classification）
  • 機率分類器（Probabilistic classifier）
    • 樸素貝葉斯分類器（Naive Bayes classifier）
  • 二進制分類器（Binary classifier）
  • 線性分類器（Linear classifier）
  • 階層式分類器（Hierarchical classifier）

降維

降維（Dimensionality reduction）

• 典型相關（Canonical correlation analysis，簡稱CCA）
• 因子分析（Factor analysis）
• 特徵提取（Feature extraction）
• 特徵選擇（Feature selection）
• 獨立成分分析 （Independent component analysis，簡稱ICA）
• 線性判別分析 （Linear discriminant analysis，簡稱LDA）
• 多維標度（Multidimensional scaling，簡稱MDS）
• 非負矩陣分解（Non-negative matrix factorization，簡稱NMF）
• 偏最小二乘回歸（Partial least squares regression，簡稱PLSR）
• 主成分分析（Principal component analysis，簡稱PCA）
• 主成分迴歸（Principal component regression，簡稱PCR）
• 投影尋蹤（Projection pursuit）
• 薩蒙映射（Sammon mapping）
• T分布隨機相鄰嵌入 (T-distributed stochastic neighbor embedding，簡稱t-SNE)

集成學習

集成學習（Ensemble learning）

• AdaBoost
• 提升方法（Boosting）
• Bagging算法（Bootstrap aggregating，引導聚合，又稱裝袋算法）
• 整體平均（Ensemble averaging） – 與創建一個模型相反，創建多個模型並將它們組合以產生所需輸出的過程。 通常，一組模型的性能要優於任何單個模型，因為模型的各種錯誤會『平均化』。
• 梯度提升技術（Gradient boosted decision tree，簡稱GBDT）
• 梯度推升機器（Gradient boosting machine，簡稱GBM）
• 隨機森林（Random Forest）
• 堆疊式一般化（Stacked Generalization） (blending)

元學習

元學習（Meta learning）

• 歸納偏置（Inductive bias）
• 元數據（Metadata）

強化學習

強化學習（Reinforcement learning）

• Q學習（Q-learning）
• 狀態–動作–獎勵–狀態–動作（State–action–reward–state–action，簡稱SARSA）
• 時差學習（Temporal difference learning，簡稱TD）
• 學習自動機（Learning Automata）

監督式學習

監督式學習（Supervised learning）

• AODE
• 人工神經網絡（Artificial neural network）
• 關聯規則學習演算法（Association rule learning algorithms）
  • 先驗算法（Apriori algorithm）
  • Eclat演算法（Eclat algorithm）
• 案例推論（Case-based reasoning）
• 高斯過程迴歸（Gaussian process regression）
• Gene expression programming
• 資料處理的群組方法（Group method of data handling，簡稱GMDH）
• 歸納邏輯程式設計（Inductive logic programming）
• 實例為基的學習（Instance-based learning）
• 惰性學習（Lazy learning）
• 學習自動機（Learning Automata）
• 學習向量量化（Learning Vector Quantization，簡稱LVQ）
• 邏輯模型樹（Logistic Model Tree）
• 最小訊息長度（Minimum message length） – (決策樹，決策圖等)
  • K-近鄰算法（Nearest Neighbor Algorithm）
  • 類比模式法（Analogical modeling）
• 機率近似正確學習（Probably approximately correct learning，簡稱PAC）
• 降低規則（Ripple down rules） – 知識獲取方法
• 符號機器學習演算法（Symbolic machine learning algorithms）
• 支持向量機（Support vector machine）
• 隨機森林（Random Forests）
• 集成學習（Ensembles of classifiers）
  • Bagging算法（Bootstrap aggregating，引導聚合，又稱裝袋算法）
  • 提升方法（Boosting）
• 次序分類（Ordinal classification）
• 信息模糊網絡（Information fuzzy networks，簡稱IFN）
• 條件隨機域（Conditional Random Field）
• 方差分析（Analysis of variance，簡稱ANOVA）
• 二次分類器（Quadratic classifier）
• K-近鄰算法（k-nearest neighbor）
• 提升方法（Boosting）
  • SPRINT
• 貝氏網路（Bayesian network）
  • 樸素貝葉斯（Naive Bayes）
• 隱馬爾可夫模型（Hidden Markov model）
  • 分層隱藏式馬可夫模型（Hierarchical hidden Markov model）

貝葉斯

貝氏統計（Bayesian statistics）

• 貝葉斯知識庫（Bayesian knowledge base）
• 樸素貝葉斯（Naive Bayes）
• 高斯樸素貝葉斯（Gaussian Naive Bayes）
• 多項樸素貝葉斯（Multinomial Naive Bayes）
• 平均單項依賴性估計值（Averaged One-Dependence Estimators，簡稱AODE）
• 貝氏信賴網路（Bayesian Belief Network，簡稱BBN）
• 貝氏網路（Bayesian network，簡稱BN）

決策樹演算法

• 決策樹（Decision tree）
• 決策樹學習（Classification and regression tree，簡稱CART）
• ID3算法 （Iterative Dichotomiser 3，簡稱ID3）
• C4.5演算法
• C4.5算法（C5.0 algorithm）
• 卡方自動交互作用偵測（Chi-squared Automatic Interaction Detection，簡稱CHAID）
• 決策樹樁（Decision stump）
• 條件決策樹（Conditional decision tree）
• ID3演算法
• 隨機森林 （Random forest）
• SLIQ

線性分類器

線性分類器（Linear classifier）

• 線性判別分析（Fisher's linear discriminant）
• 線性回歸（Linear regression）
• 邏輯迴歸（Logistic regression）
• 多項邏輯迴歸（Multinomial logistic regression）
• 樸素貝葉斯分類器（Naive Bayes classifier）
• 感知器（Perceptron）
• 支持向量機（Support vector machine）

無監督學習

無監督學習（Unsupervised learning）

• 最大期望算法（Expectation-maximization algorithm）
• 向量量化（Vector Quantization）
• 生成地形圖（Generative topographic map）
• 信息瓶頸（Information bottleneck method）

人工神經網路

人工神經網絡（Artificial neural network）

• 前饋神經網絡（Feedforward neural network）
  • 極限學習機（Extreme learning machine）
  • 卷積神經網絡（Convolutional neural network）
• 循環神經網絡（Recurrent neural network）
  • 長短期記憶（Long short-term memory，簡稱LSTM）
• 邏輯學習機（Logic learning machine）
• 自組織映射（Self-organizing map）

關聯規則學習

關聯規則學習（Association rule learning）

• 先驗算法（Apriori algorithm）
• 關聯規則學習（Eclat algorithm）
• FP-growth演算法（FP-growth algorithm）

層次聚類

層次聚類（Hierarchical clustering）

• 簡單連結聚類（Single-linkage clustering）
• 概念聚類（Conceptual clustering）

聚類分析

聚類分析（Cluster analysis）

• BIRCH
• DBSCAN
• 最大期望算法（Expectation-maximization algorithm，簡稱EM）
• 模糊聚類（Fuzzy clustering）
• 層次聚類（Hierarchical clustering）
• K-平均算法（K-means clustering）
• K-中位數（K-medians）
• 均值偏移（Mean-shift）
• OPTICS（OPTICS algorithm）

異常檢測

異常檢測（Anomaly detection）

• K-近鄰算法 (k-nearest neighbors classification，簡稱k-NN)
• 區域異常係數（Local outlier factor）

半監督學習

半監督學習（Semi-supervised learning）

• 主動學習（Active learning） – 是半監督學習的特殊情況，其中學習算法能夠交互式地查詢用戶（或某些其他信息源），以便在新數據點上獲得所需的輸出。
• 生成模型（半監督學習）（Generative models）
• 低密度分離（半監督學習）（Low-density separation）
• 基於圖的方法（半監督學習）（Graph-based methods）
• 協同訓練（Co-training）
• 轉導 (機器學習)（Transduction）

深度學習

深度學習（Deep learning）

• 深度置信網路（Deep belief network）
• 玻爾茲曼機（Boltzmann machine）
• 卷積神經網絡（Convolutional neural network）
• 循環神經網絡（Recurrent neural network）
• 階層式時序記憶（Hierarchical temporal memory）
• 生成對抗網絡（Generative adversarial network）
• 深度波茲曼機（Deep Boltzmann Machine，簡稱DBM）
• 堆疊式自動編碼器（Stacked Auto-Encoders）

其他機器學習的方法與問題

• 異常檢測（Anomaly detection）
• 關聯規則學習（Association rule learning）
• 偏誤及變異數之困境（Bias-variance dilemma）
• 統計分類（Statistical classification）
  • 多標籤分類（Multi-label classification）
• 聚類分析（Cluster analysis|Clustering）
• 資料預處理（Data Pre-processing）
• 經驗風險最小化（Empirical risk minimization）
• 特徵工程
• 表徵學習（Feature learning）
• 排序學習法（Learning to rank）
• 奧坎學習（Occam learning）
• 線上機器學習（Online machine learning）
• PAC學習（PAC learning）
• 迴歸分析（Regression analysis）
• 強化學習（Reinforcement Learning）
• 半監督學習（Semi-supervised learning）
• 統計學習（Statistical learning）
• 結構化預測（Structured prediction）
  • 圖模式（Graphical model）
    • 貝氏網路（Bayesian network，簡稱BN）
    • 條件隨機域 （Conditional random field，簡稱CRF）
    • 隱馬爾可夫模型 （Hidden Markov model，簡稱HMM）
• 無監督學習（Unsupervised learning）
• VC理論（VC theory）

機器學習的研究

• 人工智慧專案列表（List of artificial intelligence projects）
• 機器學習研究的數據集列表（List of datasets for machine learning research）

機器學習的歷史

機器學習的歷史

• 機器學習的時間線（Timeline of machine learning）

機器學習的專案

• DeepMind
• 谷歌大腦（Google Brain）

機器學習的組織

• 知識工程和機器學習實驗室（Knowledge Engineering and Machine Learning Group）

機器學習的會議和研討會

• Artificial Intelligence and Security (AISec) (co-located workshop with CCS)
• 神經信息處理系統大會 （Conference on Neural Information Processing Systems，簡稱NIPS）
• ECML PKDD
• 國際機器學習大會（International Conference on Machine Learning，簡稱ICML）
• ML4ALL (Machine Learning For All)

機器學習的刊物

機器學習的相關書籍

• 西內啟. 《機器學習的數學基礎 : AI、深度學習打底必讀 !》. 旗標. ISBN 9789863126140. 
• Alice Zheng, Amanda Casari. 《機器學習：特徵工程》. 歐萊禮. ISBN 9789865024833. 

機器學習的期刊

• 機器學習 (期刊)（Machine Learning）
• 機器學習研究期刊（Journal of Machine Learning Research，簡稱JMLR）
• 神經計算 (期刊)（Neural Computation）

在機器學習有影響力的人

• Alberto Broggi
• Andrei Knyazev
• Andrew McCallum
• 吳恩達（Andrew Ng）
• Anuraag Jain
• Armin B. Cremers
• Ayanna Howard
• Barney Pell
• Ben Goertzel
• Ben Taskar
• Bernhard Schölkopf
• Brian D. Ripley
• Christopher G. Atkeson
• Corinna Cortes
• 傑米斯·哈薩比斯（Demis Hassabis）
• 道格拉斯·萊納特（Douglas Lenat）
• 邢波（Eric Xing）
• Ernst Dickmanns
• 傑弗里·辛頓（Geoffrey Hinton） – co-inventor of the backpropagation and contrastive divergence training algorithms
• Hans-Peter Kriegel
• Hartmut Neven
• Heikki Mannila
• 伊恩·古德費洛（Ian Goodfellow） – Father of Generative & adversarial networks
• Jacek M. Zurada
• Jaime Carbonell
• Jeremy Slovak
• Jerome H. Friedman
• John D. Lafferty
• John Platt – invented SMO and Platt scaling
• Julie Beth Lovins
• 于爾根·施密德胡伯（Jürgen Schmidhuber）
• Karl Steinbuch
• Katia Sycara
• Leo Breiman – invented bagging and random forests
• Lise Getoor
• Luca Maria Gambardella
• Léon Bottou
• Marcus Hutter
• Mehryar Mohri
• Michael Collins
• 邁克爾·喬丹 (學者)（Michael I. Jordan）
• Michael L. Littman
• Nando de Freitas
• Oren Etzioni
• Pedro Domingos
• Peter Flach
• Pierre Baldi
• Pushmeet Kohli
• 雷蒙德·庫茨魏爾（Ray Kurzweil）
• Rayid Ghani
• Ross Quinlan
• Salvatore J. Stolfo
• 塞巴斯蒂安·特龍（Sebastian Thrun）
• Selmer Bringsjord
• Sepp Hochreiter
• Shane Legg
• Stephen Muggleton
• Steve Omohundro
• Tom M. Mitchell
• Trevor Hastie
• Vasant Honavar
• 弗拉基米爾·萬普尼克（Vladimir Vapnik） – co-inventor of the SVM and VC theory
• 楊立昆（Yann LeCun） – invented convolutional neural networks
• Yasuo Matsuyama
• 約書亞·本希奧（Yoshua Bengio）
• Zoubin Ghahramani

另見

• Outline of artificial intelligence
  • 計算機視覺各主題列表（Outline of computer vision）
• Outline of robotics
• Accuracy paradox
• Action model learning
• 激活函數（Activation function）
• Activity recognition
• ADALINE
• Adaptive neuro fuzzy inference system
• Adaptive resonance theory
• Additive smoothing
• Adjusted mutual information
• AIVA
• AIXI
• AlchemyAPI
• AlexNet
• Algorithm selection
• Algorithmic inference
• Algorithmic learning theory
• AlphaGo
• AlphaGo Zero
• Alternating decision tree
• Apprenticeship learning
• Causal Markov condition
• Competitive learning
• Concept learning
• 決策樹學習
• Distribution learning theory
• Eager learning
• End-to-end reinforcement learning
• Error tolerance (PAC learning)
• Explanation-based learning
• 特徵 (機器學習)
• GloVe
• Hyperparameter
• IBM Machine Learning Hub
• Inferential theory of learning
• 學習自動機（Learning automata）
• Learning classifier system
• Learning rule
• 容錯學習問題（Learning with errors）
• M-Theory (learning framework)
• 機器學習控制（Machine learning control）
• Machine learning in bioinformatics
• Margin
• Markov chain geostatistics
• 馬爾可夫鏈蒙特卡洛 (MCMC)
• Markov information source
• 馬爾可夫邏輯網絡
• Markov model
• 馬爾可夫網絡
• Markovian discrimination
• Maximum-entropy Markov model
• Multi-armed bandit
• Multi-task learning
• Multilinear subspace learning
• Multimodal learning
• Multiple instance learning
• Multiple-instance learning
• Never-Ending Language Learning
• Offline learning
• Parity learning
• Population-based incremental learning
• Predictive learning
• Preference learning
• Proactive learning
• Proximal gradient methods for learning
• 語意分析
• Similarity learning
• 稀鬆字典學習
• Stability (learning theory)
• 統計學習理論
• Statistical relational learning
• Tanagra
• 遷移學習
• Variable-order Markov model
• Version space learning
• Waffles
• Weka
• 損失函數（Loss function）
  • 分類問題之損失函數（Loss functions for classification）
  • 均方誤差 （Mean squared error，簡稱MSE）
  • Mean squared prediction error (MSPE)
  • Taguchi loss function
• Low-energy adaptive clustering hierarchy

其他

• Anne O'Tate
• 蟻群算法（Ant colony optimization algorithms）
• Anthony Levandowski
• Anti-unification (computer science)
• Apache Flume
• Apache Giraph
• Apache Mahout
• Apache SINGA
• Apache Spark
• Apache SystemML
• Aphelion (software)
• Arabic Speech Corpus
• Archetypal analysis
• Arthur Zimek
• 蟻群算法（Artificial ants）
• Artificial bee colony algorithm
• Artificial development
• Artificial immune system
• 天文統計學
• 平均單項依賴性估計值（Averaged One-Dependence Estimators，簡稱AODE）
• 詞袋模型（Bag-of-words model）
• Balanced clustering
• Ball tree
• Base rate
• 蝙蝠算法（Bat algorithm）
• Baum-Welch算法（Baum–Welch algorithm）
• Bayesian hierarchical modeling
• Bayesian interpretation of kernel regularization
• Bayesian optimization
• Bayesian structural time series
• Bees algorithm
• Behavioral clustering
• Bernoulli scheme
• Bias–variance tradeoff
• Biclustering
• BigML
• Binary classification
• Bing
• Bio-inspired computing
• Biogeography-based optimization
• 雙標圖（Biplot）
• Bondy's theorem
• Bongard problem
• Bradley–Terry model
• BrownBoost
• Brown clustering
• Burst error
• CBCL (MIT)
• CIML community portal
• CMA-ES
• CURE data clustering algorithm
• Cache language model
• Calibration (statistics)
• Canonical correspondence analysis
• Canopy clustering algorithm
• Cascading classifiers
• Category utility
• CellCognition
• Cellular evolutionary algorithm
• Chi-square automatic interaction detection
• 染色體 (遺傳演算法)（Chromosome）
• Classifier chains
• Cleverbot
• Clonal selection algorithm
• Cluster-weighted modeling
• Clustering high-dimensional data
• 集群錯覺（Clustering illusion）
• CoBoosting
• Cobweb (clustering)
• Cognitive computer
• Cognitive robotics
• Collostructional analysis
• Common-method variance
• Complete-linkage clustering
• 計算機自動設計（Computer-automated design）
• Concept class
• Concept drift
• Conference on Artificial General Intelligence
• Conference on Knowledge Discovery and Data Mining
• Confirmatory factor analysis
• 混淆矩陣（Confusion matrix）
• Congruence coefficient
• Connect (computer system)
• Consensus clustering
• Constrained clustering
• Constrained conditional model
• Constructive cooperative coevolution
• Correlation clustering
• Correspondence analysis
• Cortica
• Coupled pattern learner
• Cross-entropy method
• 交叉驗證（Cross-validation）
• 交叉 (遺傳算法)（Crossover）
• 布穀鳥搜索算法（Cuckoo search）
• Cultural algorithm
• Cultural consensus theory
• 維數災難（Curse of dimensionality）
• DADiSP
• DARPA LAGR Program
• Darkforest
• 達特矛斯會議（Dartmouth workshop）
• DarwinTunes
• Data Mining Extensions
• Data exploration
• Data pre-processing
• Data stream clustering
• Dataiku
• Davies–Bouldin index
• 決策邊界（Decision boundary）
• Decision list
• Decision tree model
• Deductive classifier
• DeepArt
• DeepDream
• Deep Web Technologies
• 定義長度（Defining length）
• Dendrogram
• Dependability state model
• Detailed balance
• Determining the number of clusters in a data set
• Detrended correspondence analysis
• Developmental robotics
• Diffbot
• 差分進化算法（Differential evolution）
• Discrete phase-type distribution
• 判別模型（Discriminative model）
• Dissociated press
• Distributed R
• Dlib
• 文檔分類（Document classification）
• Documenting Hate
• Domain adaptation
• Doubly stochastic model
• Dual-phase evolution
• Dunn index
• Dynamic Bayesian network
• 動態貝氏網路（Dynamic Bayesian network）
• 動態馬可夫壓縮（Dynamic Markov compression）
• Dynamic topic model
• Dynamic unobserved effects model
• EDLUT
• ELKI
• Edge recombination operator
• Effective fitness
• Elastic map
• Elastic matching
• Elbow method (clustering)
• Emergent (software)
• Encog
• 熵率（Entropy rate）
• Erkki Oja
• Eurisko
• European Conference on Artificial Intelligence
• Evaluation of binary classifiers
• Evolution strategy
• Evolution window
• Evolutionary Algorithm for Landmark Detection
• 進化算法（Evolutionary algorithm）
• Evolutionary art
• Evolutionary music
• Evolutionary programming
• Evolvability (computer science)
• Evolved antenna
• Evolver (software)
• Evolving classification function
• Expectation propagation
• Exploratory factor analysis
• F-score
• FLAME clustering
• Factor analysis of mixed data
• 因子圖（Factor graph）
• Factor regression model
• Factored language model
• Farthest-first traversal
• Fast-and-frugal trees
• Feature Selection Toolbox
• Feature hashing
• 特徵縮放（Feature scaling）
• 特徵 (機器學習)（Feature vector）
• 螢火蟲算法（Firefly algorithm）
• First-difference estimator
• First-order inductive learner
• Fish School Search
• Fisher kernel
• Fitness approximation
• Fitness function
• Fitness proportionate selection
• Fluentd
• Folding@home
• 正規概念分析法（Formal concept analysis）
• 前向算法（Forward algorithm）
• Fowlkes–Mallows index
• Frederick Jelinek
• Frrole
• Functional principal component analysis
• 遺傳算法
• GLIMMER
• Gary Bryce Fogel
• Gaussian adaptation
• 高斯過程（Gaussian process）
• Gaussian process emulator
• 基因預測（Gene prediction）
• General Architecture for Text Engineering
• 泛化誤差（Generalization error）
• Generalized canonical correlation
• Generalized filtering
• Generalized iterative scaling
• Generalized multidimensional scaling
• 生成對抗網絡（Generative adversarial network）
• 生成模型（Generative model）
• 遺傳算法（Genetic algorithm）
• Genetic algorithm scheduling
• Genetic algorithms in economics
• Genetic fuzzy systems
• Genetic memory (computer science)
• 遺傳運算元（Genetic operator）
• 遺傳編程（Genetic programming）
• Genetic representation
• Geographical cluster
• Gesture Description Language
• Geworkbench
• Glossary of artificial intelligence
• 語言年代學（Glottochronology）
• Golem (ILP)
• Google matrix
• Grafting (decision trees)
• 格拉姆矩陣（Gramian matrix）
• Grammatical evolution
• Granular computing
• GraphLab
• Graph kernel
• Gremlin
• Growth function
• HUMANT (HUManoid ANT) algorithm
• Hammersley–Clifford theorem
• Harmony search
• 赫布理論（Hebbian theory）
• Hidden Markov random field
• Hidden semi-Markov model
• 分層隱藏式馬可夫模型（Hierarchical hidden Markov model）
• Higher-order factor analysis
• Highway network
• Hinge loss
• Holland's schema theorem
• Hopkins statistic
• 霍森－科佩爾曼算法（Hoshen–Kopelman algorithm）
• Huber loss
• IRCF360
• 伊恩·古德費洛（Ian Goodfellow）
• Ilastik
• Ilya Sutskever
• Immunocomputing
• Imperialist competitive algorithm
• Inauthentic text
• Incremental decision tree
• Induction of regular languages
• 歸納偏置（Inductive bias）
• Inductive probability
• 歸納編程（Inductive programming）
• Influence diagram
• Information Harvesting
• Information fuzzy networks
• Information gain in decision trees
• Information gain ratio
• Inheritance (genetic algorithm)
• Instance selection
• Intel RealSense
• Interacting particle system
• Interactive machine translation
• 國際人工智能聯合會議（International Joint Conference on Artificial Intelligence）
• International Meeting on Computational Intelligence Methods for Bioinformatics and Biostatistics
• International Semantic Web Conference
• 安德森鳶尾花卉數據集（Iris flower data set）
• Island algorithm
• Isotropic position
• 項目反應理論（Item response theory）
• Iterative Viterbi decoding
• JOONE
• Jabberwacky
• 雅卡爾指數（Jaccard index）
• Jackknife variance estimates for random forest
• Java Grammatical Evolution
• Joseph Nechvatal
• Jubatus
• Julia (編程語言)
• Junction tree algorithm
• K-SVD
• K-means++
• K-medians clustering
• K-medoids
• KNIME
• KXEN Inc.
• K q-flats
• Kaggle
• 卡爾曼濾波（Kalman filter）
• Katz's back-off model
• Kernel adaptive filter
• 核密度估計（Kernel density estimation）
• Kernel eigenvoice
• Kernel embedding of distributions
• Kernel method
• Kernel perceptron
• 隨機森林（Kernel random forest）
• Kinect
• Klaus-Robert Müller
• Kneser–Ney smoothing
• Google知識圖譜（Knowledge Vault）
• Knowledge integration
• LIBSVM
• LPBoost
• Labeled data
• LanguageWare
• Language Acquisition Device (computer)
• Language identification in the limit
• 語言模型（Language mode）
• 大間隔最近鄰居（Large margin nearest neighbor）
• 隱含狄利克雷分布（Latent Dirichlet allocation）
• 潛在類別模型（Latent class model）
• 潛在語義學（Latent semantic analysis）
• 潛變量（Latent variable）
• Latent variable model
• Lattice Miner
• Layered hidden Markov model
• Learnable function class
• Least squares support vector machine
• Leave-one-out error
• Leslie P. Kaelbling
• Linear genetic programming
• Linear predictor function
• Linear separability
• 顧凌雲（Lingyun Gu）
• Linkurious
• Lior Ron (business executive)
• List of genetic algorithm applications
• List of metaphor-based metaheuristics
• List of text mining software
• Local case-control sampling
• Local independence
• Local tangent space alignment
• Locality-sensitive hashing
• Log-linear model
• 邏輯模型樹（Logistic Model Tree）
• Low-rank approximation
• Low-rank matrix approximations
• MATLAB
• MIMIC (immunology)
• Apache MXNet
• Mallet (software project)
• Manifold regularization
• Margin-infused relaxed algorithm
• Margin classifier
• Mark V. Shaney
• Massive Online Analysis
• Matrix regularization
• Matthews correlation coefficient
• Mean shift
• 均方誤差（Mean squared error）
• Mean squared prediction error
• Measurement invariance
• Medoid
• MeeMix
• Melomics
• Memetic algorithm
• Meta-optimization
• Mexican International Conference on Artificial Intelligence
• Michael Kearns (computer scientist)
• 最小哈希（MinHash）
• 混合模型（Mixture model）
• Mlpy
• Models of DNA evolution
• Moral graph
• Mountain car problem
• Movidius
• Multi-armed bandit
• Multi-label classification
• Multi expression programming
• 多元分類（Multiclass classification）
• Multidimensional analysis
• Multifactor dimensionality reduction
• 多線性主成分分析（Multilinear principal component analysis）
• Multiple correspondence analysis
• Multiple discriminant analysis
• Multiple factor analysis
• 多重序列比對（Multiple sequence alignment）
• Multiplicative weight update method
• Multispectral pattern recognition
• 突變 (遺傳演算法)（Mutation）
• MysteryVibe
• N元語法（[N-gram）
• NOMINATE (scaling method)
• Native-language identification
• Natural Language Toolkit
• Natural evolution strategy
• Nearest-neighbor chain algorithm
• Nearest centroid classifier
• 最鄰近搜索（Nearest neighbor search）
• 近鄰結合法（Neighbor joining）
• Google Nest
• NetMiner
• NetOwl
• Neural Designer
• Neural Engineering Object
• Neural Lab
• Neural modeling fields
• Neural network software
• NeuroSolutions
• Neuro Laboratory
• Neuroevolution
• Neuroph
• Niki.ai
• Noisy channel model
• Noisy text analytics
• 非線性降維（Nonlinear dimensionality reduction）
• Novelty detection
• Nuisance variable
• Numenta
• One-class classification
• ONNX
• OpenNLP
• 線性判別分析
• Oracle Data Mining
• Orange (software)
• Ordination (statistics)
• 過適（Overfitting）
• PROGOL
• PSIPRED
• Pachinko allocation
• PageRank
• Parallel metaheuristic
• Parity benchmark
• Part-of-speech tagging
• 粒子群優化（Particle swarm optimization）
• 路徑依賴（Path dependence）
• Pattern language (formal languages)
• Peltarion Synapse
• 困惑度（Perplexity）
• Persian Speech Corpus
• Picas (app)
• Pietro Perona
• Pipeline Pilot
• Piranha (software)
• Pitman–Yor process
• Plate notation
• Polynomial kernel
• Pop music automation
• Population process
• Portable Format for Analytics
• Predictive Model Markup Language
• Predictive state representation
• Preference regression
• Premature convergence
• Principal geodesic analysis
• Prior knowledge for pattern recognition
• Prisma
• Probabilistic Action Cores
• 隨機上下文無關文法（Probabilistic context-free grammar）
• 概率潛在語義分析（Probabilistic latent semantic analysis）
• Probabilistic soft logic
• Probability matching
• Probit model
• Product of experts
• Programming with Big Data in R
• Proper generalized decomposition
• 決策樹剪枝（Decision tree pruning）
• Pushpak Bhattacharyya
• Q methodology
• Qloo
• Quality control and genetic algorithms
• Quantum Artificial Intelligence Lab
• 等候理論（Queueing theory）
• Quick, Draw!
• R語言
• Rada Mihalcea
• Rademacher complexity
• 徑向基函數核（Radial basis function kernel）
• Rand index
• Random indexing
• Random projection
• Random subspace method
• Ranking SVM
• RapidMiner
• Rattle GUI
• 雷蒙德·卡特爾（Raymond Cattell）
• Reasoning system
• Regularization perspectives on support vector machines
• Relational data mining
• Relationship square
• 相關向量機（Relevance vector machine）
• Relief (feature selection)
• Renjin
• Repertory grid
• Representer theorem
• Reward-based selection
• Richard Zemel
• Right to explanation
• 雲機器人（RoboEarth）
• Robust principal component analysis
• RuleML Symposium
• Rule induction
• Rules extraction system family
• 統計分析系統（SAS）
• SNNS
• SPSS Modeler
• SUBCLU
• Sample complexity
• Sample exclusion dimension
• Santa Fe Trail problem
• Savi Technology
• Schema (genetic algorithms)
• Search-based software engineering
• Selection (genetic algorithm)
• Self-Service Semantic Suite
• Semantic folding
• Semantic mapping (statistics)
• Semidefinite embedding
• Sense Networks
• Sensorium Project
• Sequence labeling
• 序列最小優化算法（Sequential minimal optimization）
• Shattered set
• Shogun (toolbox)
• Silhouette (clustering)
• SimHash
• SimRank
• Similarity measure
• 簡單匹配係數（Simple matching coefficient）
• 即時定位與地圖構建（Simultaneous localization and mapping）
• Sinkov statistic
• Sliced inverse regression
• 蛇梯棋（Snakes and Ladders）
• Soft independent modelling of class analogies
• Soft output Viterbi algorithm
• 所羅門諾夫的歸納推理理論（Solomonoff's theory of inductive inference）
• SolveIT Software
• Spectral clustering
• Spike-and-slab variable selection
• 統計機器翻譯（Statistical machine translation）
• Statistical parsing
• Statistical semantics
• Stefano Soatto
• 史蒂芬·沃爾夫勒姆（Stephen Wolfram）
• Stochastic block model
• Stochastic cellular automaton
• Stochastic diffusion search
• Stochastic grammar
• 轉移矩陣（Stochastic matrix）
• 通用隨機抽樣（Stochastic universal sampling）
• Stress majorization
• String kernel
• Structural equation modeling
• Structural risk minimization
• Structured sparsity regularization
• Structured support vector machine
• Subclass reachability
• Sufficient dimension reduction
• Sukhotin's algorithm
• Sum of absolute differences
• Sum of absolute transformed differences
• 群體智能（Swarm intelligence）
• Switching Kalman filter
• Symbolic regression
• Synchronous context-free grammar
• Syntactic pattern recognition
• TD-Gammon
• TIMIT
• Teaching dimension
• Teuvo Kohonen
• Textual case-based reasoning
• Theory of conjoint measurement
• Thomas G. Dietterich
• Thurstonian model
• 主題模型（Topic mode）
• Tournament selection
• 訓練集、驗證集和測試集（Training, test, and validation sets）
• Transiogram
• Trax Image Recognition
• Trigram tagger
• Truncation selection
• Tucker decomposition
• UIMA
• UPGMA
• Ugly duckling theorem
• Uncertain data
• Uniform convergence in probability
• Unique negative dimension
• Universal portfolio algorithm
• User behavior analytics
• VC維（VC dimension）
• VIGRA
• Validation set
• VC理論（Vapnik–Chervonenkis theory）
• Variable-order Bayesian network
• Variable kernel density estimation
• Variable rules analysis
• Variational message passing
• Varimax rotation
• 向量量化（Vector quantization）
• Vicarious (company)
• 維特比算法（Viterbi algorithm）
• Vowpal Wabbit
• WACA clustering algorithm
• WPGMA
• Ward's method
• 黃鼠狼程式（Weasel program）
• Whitening transformation
• Winnow (algorithm)
• Win–stay, lose–switch
• Witness set
• Wolfram語言（Wolfram Language）
• Wolfram Mathematica
• Writer invariant
• XGBoost
• Yooreeka
• Zeroth (software)

延伸導讀

• Trevor Hastie, Robert Tibshirani and Jerome H. Friedman (2001). The Elements of Statistical Learning, Springer. ISBN 0-387-95284-5.
• Pedro Domingos (September 2015), The Master Algorithm, Basic Books, ISBN 978-0-465-06570-7
• Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar (2012). Foundations of Machine Learning, The MIT Press. ISBN 978-0-262-01825-8.
• Ian H. Witten and Eibe Frank (2011). Data Mining: Practical machine learning tools and techniques Morgan Kaufmann, 664pp., ISBN 978-0-12-374856-0.
• David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1
• Richard O. Duda, Peter E. Hart, David G. Stork (2001) Pattern classification (2nd edition), Wiley, New York, ISBN 0-471-05669-3.
• Christopher Bishop (1995). Neural Networks for Pattern Recognition, Oxford University Press. ISBN 0-19-853864-2.
• 弗拉基米爾·萬普尼克 (1998). Statistical Learning Theory. Wiley-Interscience, ISBN 0-471-03003-1.
• Ray Solomonoff, An Inductive Inference Machine, IRE Convention Record, Section on Information Theory, Part 2, pp., 56–62, 1957.
• Ray Solomonoff, "An Inductive Inference Machine" A privately circulated report from the 1956 Dartmouth Summer Research Conference on AI.

外部連結

• Data Science: Data to Insights from MIT (machine learning)
• Popular online course by 吳恩達, at Coursera. It uses GNU Octave. The course is a free version of 史丹佛大學's actual course taught by Ng, see.stanford.edu/Course/CS229 available for free].
• mloss is an academic database of open-source machine learning software.