主题模型

主题模型（Topic Model）在机器学习和自然语言处理等领域是用来在一系列文档中发现抽象主题的一种统计模型。直观来讲，如果一篇文章有一个中心思想，那么一些特定词语会更频繁的出现。比方说，如果一篇文章是在讲狗的，那“狗”和“骨头”等词出现的频率会高些。如果一篇文章是在讲猫的，那“猫”和“鱼”等词出现的频率会高些。而有些词例如“这个”、“和”大概在两篇文章中出现的频率会大致相等。但真实的情况是，一篇文章通常包含多种主题，而且每个主题所占比例各不相同。因此，如果一篇文章10%和猫有关，90%和狗有关，那么和狗相关的关键字出现的次数大概会是和猫相关的关键字出现次数的9倍。一个主题模型试图用数学框架来体现文档的这种特点。主题模型自动分析每个文档，统计文档内的词语，根据统计的信息来断定当前文档含有哪些主题，以及每个主题所占的比例各为多少。

主题模型最初是运用于自然语言处理相关方向，但目前以及延伸至例如生物信息学的其它领域。

历史

Papadimitriou、Raghavan、Tamaki和Vempala在1998年发表的一篇论文中提出了潜在语义索引^[1]。1999年，Thomas Hofmann又在此基础上，提出了概率性潜在语义索引（Probabilistic Latent Semantic Indexing，简称PLSI）^[2]。

隐含狄利克雷分配可能是最常见的主题模型，是一般化的PLSI，由Blei, David M.、吴恩达和Jordan, Michael I于2003年提出^[3]。LDA允许文档拥有多种主题。它用于按主题收集、分类和降低文本的维度。 LDA 是一种主题模型方法，可用于分析文档的主题分布。它以概率分布的形式揭示每个文档集的主题，以便在分析一些文档以提取其主题分布后，可以根据主题分布进行主题聚类或使用文本分类。每个主题都用一个词分布表示。其它主题模型一般是在LDA基础上改进的^[4]。例如Pachinko分布在LDA度量词语关联之上，还加入了主题的关联度。

参见

范例理论

参考

^ Papadimitriou, Christos; Raghavan, Prabhakar; Tamaki, Hisao; Vempala, Santosh. Latent Semantic Indexing: A probabilistic analysis. Proceedings of ACM PODS. 1998 [2013-08-18]. （原始内容 (Postscript)存档于2013-05-09）.
^ Hofmann, Thomas. Probabilistic Latent Semantic Indexing (PDF). Proceedings of the Twenty-Second Annual International SIGIR Conference on Research and Development in Information Retrieval. 1999 [2013-08-18]. （原始内容 (PDF)存档于2010-12-14）.
^ Blei, David M.; Ng, Andrew Y.; Jordan, Michael I; Lafferty, John. Latent Dirichlet allocation. Journal of Machine Learning Research. January 2003, 3: 993–1022 [2013-08-18]. doi:10.1162/jmlr.2003.3.4-5.993. （原始内容存档于2012-05-01）.
^ Zeng, L.; Li, R.Y.M.; Yigitcanlar, T.; Zeng, H. Public Opinion Mining on Construction Health and Safety: Latent Dirichlet Allocation Approach. Buildings 2023, 13, 927. https://doi.org/10.3390/buildings13040927

[PRTV1998-1] Papadimitriou, Christos; Raghavan, Prabhakar; Tamaki, Hisao; Vempala, Santosh. Latent Semantic Indexing: A probabilistic analysis. Proceedings of ACM PODS. 1998 [2013-08-18]. （原始内容 (Postscript)存档于2013-05-09）.

[hofmann1999-2] Hofmann, Thomas. Probabilistic Latent Semantic Indexing (PDF). Proceedings of the Twenty-Second Annual International SIGIR Conference on Research and Development in Information Retrieval. 1999 [2013-08-18]. （原始内容 (PDF)存档于2010-12-14）.

[blei2003-3] Blei, David M.; Ng, Andrew Y.; Jordan, Michael I; Lafferty, John. Latent Dirichlet allocation. Journal of Machine Learning Research. January 2003, 3: 993–1022 [2013-08-18]. doi:10.1162/jmlr.2003.3.4-5.993. （原始内容存档于2012-05-01）.

[4] Zeng, L.; Li, R.Y.M.; Yigitcanlar, T.; Zeng, H. Public Opinion Mining on Construction Health and Safety: Latent Dirichlet Allocation Approach. Buildings 2023, 13, 927. https://doi.org/10.3390/buildings13040927

[1]

[2]

[3]

[4]