(100条消息) 自然语言处理---------jieba调整词频与词性标注_不良使的博客-CSDN博客

爬虫获取CSDN全站热榜前100标题及热词词频统计项目

使用scrapy框架对csdn热榜前100的标题热词爬虫，并且统计关键词词频。注意一下，该项目是2021年10月开发，如果页面有变动，xpath需要稍微调整。

深入研究中文分词利器——Jieba

jieba的分词 jieba安装后的位置： 可以修改里面的dict.txt文本，或者把自定义的词典直接改到这个目录，当jieba初始化的时候会创建索引。jieba.load_userdict()其实也是把额外的词典放加入的默认的词典里的。 使用jieba.load_userdict()的方式： 使用前没有把“区块链分开”，使用后就分开了。 还有另一种方法是直接修改默认的词典： 但是需要删除缓存，则运行原来的代码，jieba会重新构建： 效果如下： 参考： jieba加载自定义大词典（100MB）太慢的问题： https://www.jianshu.com/p/dbaa4421b4

Python中文分词包：jieba分词

一、 基本功能： import jieba jieba._pcut(str), 生成的结果未做词性标注 jieba.posseg.cut(str,HMM=False) 生成的结果已做词性标注,HMM为隐马尔科夫模型，用于未登陆词（在词典中未出现过）的识别 二、词库更新 （重新加载后失效，如需永久更改，可更换词典文件或者在现有词典文件中编辑更改） 1）增加自定义...

jieba vs PyHanLP：中文词性标注性能对比实测（2024最新版）

本文对比了jieba和PyHanLP在2024年中文词性标注任务中的性能表现，包括准确率、处理速度和功能扩展性。实测数据显示，PyHanLP在专有名词识别和领域适应能力上表现更优，而jieba在轻量级应用和短文本处理上更具优势。文章还提供了技术选型建议，帮助开发者根据实际需求选择合适的NLP工具。

Python实战：用jieba库搞定中文分词，从安装到三种模式对比（附代码避坑）

本文详细介绍了如何使用Python的jieba库进行中文分词，包括安装指南、三种分词模式（精确模式、全模式和搜索引擎模式）的对比及适用场景，并提供了自定义词典、词性标注和性能优化等高级功能的实战技巧，帮助开发者高效处理中文文本。