怎样用python实现三种特征权重以及特征选择方法对多个标签的新闻文本分类算法的影响？

天池怪侠2020 2017-08-15 06:54:11

用python实现三种特征权重（布尔权重，tf，tf-idf）以及特征选择方法（IG，CHI，DF）分别对多个标签的新闻文本分类算法（svm，贝叶斯，knn）的影响

多标签新闻是（搜狗的新闻文本），分类算法的评价指标用准确率，召回率和F1值来评价

...全文

929 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

天池怪侠2020 2017-08-15

打赏
举报

回复

天池怪侠2020 2017-08-15

打赏
举报

回复

资源包含文件：课程论文word+项目源码及数据+项目截图本文总结了三种常用的抽取文本关键词的方法：TF-IDF、TextRank和Word2Vec词向量聚类，并做了原理、流程以及代码的详细描述。另外，本文的实验目的主要在于讲解三种方法的思路和流程，实验过程中的某些细节仍然可以改进。例如Word2Vec模型训练的原始语料可加入相应的专业性文本语料；标题文本往往包含文档的重要信息，可对标题文本包含的词语给予一定的初始权重；测试数据集可采集多个分类的长文本，与之对应的聚类算法KMeans()函数中的n_clusters参数就应当设置成分类的个数；根据文档的分词结果，去除掉所有文档中都包含某一出现频次超过指定阈值的词语等等。详细介绍参考：https://biyezuopin.blog.csdn.net/article/details/124784255?spm=1001.2014.3001.5502

中文文本分类的步骤： 1.预处理：去除文本的噪声信息，例如HTML标签、文本格式转换、检测句子边界等。 2.中文分词：使用中文分词器为文本分词，并去除停用词。 3.构建词向量空间：统计文本词频，生成文本的词向量空间。 4.权重策略——TF-IDF方法：使用TF-IDF发现特征词，并抽取为反映文档主题的特征。 5.分类器：使用算法训练分类器。 6.评价分类结果：分类器的测试结果分析。本文选择朴素贝叶斯算法进行文本分类，测试集随机抽取自文档集合，每个分类取10个文档，过滤掉1kb以下的文档。先建立测试集的向

一、中文文本分类流程：1. 预处理2. 中文分词3. 结构化表示-构建词向量空间4.权重策略-TF-IDF5. 分类器6. 评价二、具体细节1.预处理1.1. 得到训练集语料库本文采用复旦中文文本分类语料库，下载链接：https://download.csdn.net/download/laobai1015/104315431.2 得到测试集语料库同样采用复旦中文文本分类语料库，下载链接：http...

写这篇博文用了很多时间和精力，如果这篇博文对你有帮助，希望您可以打赏给博主相国大人。哪怕只捐1毛钱，也是一种心意。通过这样的方式，也可以培养整个行业的知识产权意识。我可以和您建立更多的联系，并且在相关领域提供给您更多的资料和技术支持。赏金将用于拉萨儿童图书公益募捐手机扫一扫，即可：目标读者：初级入门学生。本文假定，你对python已经有了最基本的掌握。如果你希望能够

一、中文文本分类流程：1. 预处理2. 中文分词3. 结构化表示-构建词向量空间4.权重策略-TF-IDF5. 分类器6. 评价二、具体细节1.预处理 1.1. 得到训练集语料库本文采用复旦中文文本分类语料库，下载链接：https://download.csdn.net/download/laobai1015/10431543 1.2 得到测试集语料库同样采用复旦中文文...

37,720

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章