用java写了个DHT爬虫用来爬p2p种子 爬了一天40w种子 去重后4w 分享下源码

dgqjava 2016-06-28 02:47:49
本来想找个java版的DHT爬虫玩玩 但是找了半天发现大部分都是nodejs和python的 github上找了几个要么运行有问题 要么代码包太大 于是自己写了个 爬了一天40w种子 不过去重后只有4w 分享一下源码 运行需要修改几个初始参数 同时需要登录路由器把本机的端口映射到外网 功能只做到获取磁力链接 根据磁力链接获取种子文件没心思做了
开帖散分
代码下载地址
http://download.csdn.net/detail/dgqjava/9561859
...全文
970 5 打赏 收藏 转发到动态 举报
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
liian2018 2018-10-23
  • 打赏
  • 举报
回复
你好,最近我也在做一个dht爬虫 ,可是我发送find_node请求之后拿到回复 解析nodeid的时候返回一直解析的是乱码~~ 不知道什么原因 ,你碰到过吗? 还有就是 ,看官方文档介绍 node信息 包括20位的id 4位ip 2位端口 ,但是我一个 find_node请求获取的nodes却是416字节,不应该是26*8=208吗?很疑惑,难道是十六进制的?但是一起返回过来的回复方id却又是20字节,蛋碎,期待你的回复
dgqjava 2017-06-28
  • 打赏
  • 举报
回复
由于之前版本的代码没有注释并且结构混乱, 可读性太差, 所以最近重构了一版修复了一些bug并且补齐了注释, 需要下载的朋友请下载最新版, 下载地址http://download.csdn.net/detail/dgqjava/9882361
lilei_new 2016-09-27
  • 打赏
  • 举报
回复
我会用swing做客户端,然后附上你的名字。
欢乐马_19e9 2016-07-11
  • 打赏
  • 举报
回复
感谢无私贡献
sky_08_06_02 2016-06-28
  • 打赏
  • 举报
回复

62,614

社区成员

发帖
与我相关
我的任务
社区描述
Java 2 Standard Edition
社区管理员
  • Java SE
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧