首页

投稿

01 （可代替LDA、DTM）通俗易懂的BERTopic教程：含代码，主题模型+层次主题模型+动态主题模型，全集教程

3.1万

10

2024-04-19 11:21:10

未经作者授权，禁止转载

通俗易懂的BERTopic系列教程，可代替LDA、DTM主题模型、动态主题模型，含代码开源代码、笔记地址：https://github.com/lynn1885/BERTopic-Tutorial 各位同学大家好，因为在论文中正好用到BERTopic框架，感觉这个框架很有意思，所以就把使用经验总结了一下，录制了这样一个视频教程。第一次录制视频教程，其中肯定有各种各样的问题，还请大家多多担待与指正

小姬的奇妙世界发消息

01 课程简介

06:31

02 原理图解

05:47

03 入门实例

12:01

04 环境配置

20:57

05 使用Huggingface镜像站下载词嵌入模型

10:14

06 理解one-hot编码

04:12

07 理解word2vec编码

13:28

08 理解BERT编码

13:49

09 实战BERT模型生成向量

27:16

10 实战使用缓存的BERT向量

07:06

11 实战哈工大模型hfl/chinese-bert-wwm

04:42

12 入门SentenceTransformers

07:18

13 使用SentenceTransformers缓存向量

06:53

14 使用其他词嵌入模型，解决长文本问题

06:31

15 使用线上GPU平台（AutoDL）

09:41

16 主题聚类：入门案例

02:48

17 主题聚类：BERTopic的算法框架

09:57

18 主题聚类：手动拼装一个BERTopic模型

16:43

19 主题聚类：处理中文聚类，jieba分词

09:42

20 主题聚类：缓存分词与向量，增加运行效率。以及文本预处理问题

10:21

21 调参：避免随机，UMAP的random_state参数

02:14

22 调参：主题大小，min_topic_size

01:58

23 调参：减少离群值，HDBSCAN的min_cluster_size、min_samples参数（重要方式）

09:20

24 调参：设置停用词，CountVectorizer的stop_words

02:40

25 调参：合并主题，减少主题，nr_topics，reduce_topics()

08:07

26 调参：减少离群值，UMAP的min_dist参数（重要）

07:08

27 主题聚类：文档-主题概率

10:10

28 主题聚类：减少离群值总结，reduce_outliers()，重要⭐

20:46

29 主题聚类：手动合并主题，merge_topics()

03:17

30 主题聚类：主题表示优化，MMR模型

04:25

31 主题聚类：使用K-means聚类

02:18

32 主题聚类：使用不同的词嵌入Embedding

08:17

33 主题聚类：保存到CSV

04:30

34 可视化：主题词

03:00

35 可视化：主题分布（LDAvis）

03:22

36 可视化：UMAP散点图

02:50

37 层次主题模型

09:37

38 动态主题模型 DTM

09:45

39 结语、模板代码、经验分享

23:22

顶部