如何利用爬虫判断Google搜索结果中的哪一个链接是个人主页

bai_do 2017-08-15 10:24:41
如题,给出若干组人物信息,每组信息包含人物姓名及所在机构名称,并给出以这两个关键词搜索的Google搜索结果的url,
请问如何利用爬虫技术,判断该url中的哪一个链接是该人物的个人主页,并给出这个个人主页的url,注:可能不存在,只能爬取搜索结果和每个链接内部的内容---------------------------
目前我用requests-bs4-re库的技术路线,但是各组信息的html解析时,并不能很好的判断哪一个是个人主页,请求高人指导。
...全文
754 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

6,721

社区成员

发帖
与我相关
我的任务
社区描述
专题开发/技术/项目 Google技术社区
社区管理员
  • Google技术社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧