社区
数据结构与算法
帖子详情
求算法:判断任意网页的文章标题和文章内容,特别是内容。
eduyu
2009-01-25 12:23:05
网页上有很多文字,其中有的区域的文字是广告,或者别的信息,我需要一个比较好的判断网页文章内容和标题的算法,特别是内容。谢谢!
...全文
166
7
打赏
收藏
求算法:判断任意网页的文章标题和文章内容,特别是内容。
网页上有很多文字,其中有的区域的文字是广告,或者别的信息,我需要一个比较好的判断网页文章内容和标题的算法,特别是内容。谢谢!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
eduyu
2009-01-29
打赏
举报
回复
靠,蒋大哥太了解偶了,要的就是这个。
我也想过用网页的视觉结果来判断内容。这符合人对内容判断的思路。原以为这样做太将就,
看到这些人这么认真的这么做,估计也就这样了。
蒋晟
2009-01-28
打赏
举报
回复
http://www.cs.uiuc.edu/homes/dengcai2/VIPS/VIPS.html
不过我测试的结果命中率不高。
IONPhantom
2009-01-28
打赏
举报
回复
这个应该属人工智能板块吧..
猫已经找不回了
2009-01-27
打赏
举报
回复
问google是怎么做的。。
hityct1
2009-01-27
打赏
举报
回复
标题好办,查找以下两个字符串就可以了。
<title>
</title>
判断内容不好办,对特定网站的特定格式还可以,一般情况那就难了。估计地球人还没实现呢。
na2650945
2009-01-26
打赏
举报
回复
友情。
绿色夹克衫
2009-01-25
打赏
举报
回复
这个,具体我也不太清楚,应当是对网页的内容或标题分词后,每个词应该都可以表示为一个多维向量(根据词义,比如体育,比如战争......),
根据这些词的向量累加,找出整篇文章的核心向量,从而找出一个或多个核心词,利用这些核心词,应该就能相对准确的表达文章的核心内容了。
标题
党
文章
生成器
本文介绍了“狗屁不通
文章
生成器”的原理,它并非使用AI,而是通过随机重复已有语料库中的句子生成看似通顺的
文章
。作者决定在此基础上创建一个改进版的“
标题
党
文章
生成器”,该生成器的特点是根据大废话生成引人入胜的
标题
和胡扯
内容
,并模拟专家言论,甚至配合随意的图片。
文章
详细讲述了生成器的实现过程,包括生成
标题
和
内容
的策略,以及如何添加“专家观点”和图片。
python生成
文章
标题
_
标题
党
文章
生成器
本文介绍了受到“狗屁不通
文章
生成器”启发的
标题
党
文章
生成器的制作过程。作者通过预先设定的语料库,随机组合生成吸引眼球的
标题
和
内容
,甚至配以随意图片,模拟
标题
党
文章
的特点。
文章
还探讨了使用AI模型如GPT-2生成
文章
的可能性和趣味性。
代码如何读取选定窗口
内容
_【干货】如何计算
文章
标题
和
内容
相关度?提供完整代码...
本文介绍了一种计算
文章
关键词密度及
标题
与
内容
相关性的方法,并提供了具体的Python实现代码。通过对
文章
进行分词处理,利用关键词密度和TF-IDF
算法
来评估
内容
的相关性。
网页
内容
提取与去重:精准抓取与去除重复数据的实战技巧
本文介绍了
网页
内容
提取和数据去重的技术方法,涵盖 BeautifulSoup、XPath 和 Selenium 等工具的应用。同时讨论了 URL 去重和
内容
去重策略,包括哈希
算法
和相似度检测,旨在提高爬虫效率和数据质量。
如何使用Article Extractor:一键提取
网页
文章
的终极指南
Article Extractor是一款面向Node.js的
网页
正文提取工具,支持从URL或HTML字符串中精准抽取
标题
、正文、发布时间、作者等结构化
内容
。其核心基于元数据提取、JSON-LD解析及可读性优化
算法
,具备轻量、跨环境(Node.js/浏览器)、高可配性和完善类型定义等特点,适用于
内容
聚合、阅读器开发、数据挖掘与SEO分析等场景。
数据结构与算法
33,025
社区成员
35,336
社区内容
发帖
与我相关
我的任务
数据结构与算法
数据结构与算法相关内容讨论专区
复制链接
扫一扫
分享
社区描述
数据结构与算法相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章