用java写了个DHT爬虫用来爬p2p种子 爬了一天40w种子 去重后4w 分享下源码

Java > Java SE [问题点数:60分,结帖人dgqjava]
等级
本版专家分:1173
结帖率 100%
等级
本版专家分:726
等级
本版专家分:0
等级
本版专家分:0
勋章
Blank
技术圈认证 用户完成年度认证,即可获得
Blank
签到新秀 累计签到获取,不积跬步,无以至千里,继续坚持!
等级
本版专家分:1173
等级
本版专家分:0
dgqjava

等级:

java DHT爬虫

本来想找个java版的DHT爬虫玩玩 但是找了半天发现大部分都是nodejs和python的 github上找了几要么运行有问题 要么代码包太大 于是自己 一天40w种子 不过去重只有4w 分享一下源码 运行需要修改几初始...

现在公开一个DHT网络爬虫

我最开始在选用数据库时,为了不使用第三方库,打算使用erlang自带的mnesia。但是因为涉及到字符串匹配搜索,mnesia的查询...然后我打算使用couchdb,因为它是erlang的,而我正在erlang程序。第次接触非关系型

DHT开源爬虫p2pspider.zip

介绍 p2pspider 是一个 DHT 爬虫 BT 客户端的结合体, 从全球 DHT 网络里"嗅探"人们正在下载的资源, 并把资源的metadata(种子的主要信息)从远程 BT 客户端下载, 并生成资源磁力链接. 通过磁力链接, 你就可以下载到...

DHT爬虫使用BEP协议完成metadata的下载(BT下载)

在BitTorrent技术出世以来,很多网络资源被制作成种子进行传播,随后磁力链接加速了资源的传播。然后非常好奇,如今世界人民对什么资源需求大呢,所以在网上查询了许多资料和源代码,完成了这个爬虫。源代码我之后会...

现在公开一个DHT网络爬虫网络爬虫供大家一起交流

我最开始在选用数据库时,为了不...关于这网络的工作原理,参看:P2PDHT网络爬虫(链接)以及磁力搜索的网页(链接http://www.51bt.cc)。 然后我打算使用couchdb,因为它是erlang的,而我正在er

P2PDHT网络爬虫

DHT网络爬虫基于DHT网络构建了一个P2P资源搜索引擎。这搜索引擎不但可以用于构建DHT网络中活跃的资源索引(活跃的资源意味着该网络中肯定有人至少持有该资源的部分数据),还可以分析出该网络中的热门分享资源。小...

资源爬虫源码

P2P系统的应用越来越广泛,在文件共享、流媒体服务、即时通讯交流、计算和存储能力共享以及协同处理与服务等方面都能看到P2P的存在,一些P2P应用如Napster、eMule、BitTorrent等早已是家喻户晓了。  P2P按其拓扑...

[C#搜片神器] 之P2PDHT网络爬虫原理

继续接着上:使用C#实现DHT磁力搜索的BT种子后端管理程序+数据库设计(开源)[搜片神器] 昨天由于开源的时候没有注意运行环境,直接没有考虑下载BT种子文件时生成子文件夹,可能导致有的朋友运行没有结果,在此...

P2P DHT sp

DHT网络爬虫基于DHT网络构建了一个P2P资源搜索引擎。这搜索引擎不但可以用于构建DHT网络中活跃的资源索引(活跃的资源意味着该网络中肯定有人至少持有该资源的部分数据),还可以分析出该网络中的热门分享资源。小...

P2PDHT网络原理

2019独角兽企业重金招聘Python工程师标准>>> ...

nodejs 实现 磁力链接资源搜索 BT磁力链接爬虫

使用 nodejs 实现磁力链接爬虫 磁力链接解析成 torrent种子信息,保存到数据库,利用 Elasticsearch 实现中文检索。koa2 搭建磁力链接搜索引擎 源码地址 https://github.com/ssstk/findcl 后端脚本 磁力链接...

一共81,开源大数据处理工具汇总

Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JDBC驱动。 Phoenix查询引擎会将SQL查询转换为一个或多HBase scan,并编排执行以生成标准的JDBC结果集。直接使用HB

一共81,开源大数据处理工具汇总()转

接上部分:一共81,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。 日志收集...

一共81,开源大数据处理工具汇总()(转)

接上部分:一共81,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。   日志...

一共81,开源大数据处理工具汇总()

接上部分:一共81,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。日志收集系统...

一共81,开源大数据处理工具汇总(

它能够从各种日志源上收集日志,存储到一个中央存储系统(可以是NFS,分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。当中央存储系统的...

81开源大数据处理工具汇总(),包括日志收集系统/集群管理/RPC等

2019独角兽企业重金招聘Python工程师标准>>> ...

一共81,开源大数据处理工具汇总(),包括日志收集系统/集群管理/RPC等...

为什么80%的码农都做不了架构师?>>> ...

一共81,开源大数据处理工具汇总(),包括日志收集系统/集群管理/RPC等

一共81,开源大数据处理工具汇总(),包括日志收集系统/集群管理/RPC等  诺蓝 2015-03-12 9:40:22 大数据工具 评论(0) 作者:大数据女神-诺蓝(微信公号:dashujunvshen)。本文是36大数据专稿,...

[转载] 一共81,开源大数据处理工具汇总(),包括日志收集系统/集群管理/RPC等...

接上部分:一共81,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。 日志收集...

计算机图形学基础

该课程是计算机图形领域的基础的课程,包含了计算机图形学的数学原理,例如在计算机图形学中的重要坐的标变换的原理。该课程也是游戏开发、VR/AR等开发的基础课程。在该课程中除了讲授数学原理,还包括了C++实践,实现3D数学类。 该课程的主要内容包括:向量、向量空间、矩阵、矩阵空间、仿射空间、齐次坐标系、仿射变换、刚体变换、四元数等。 掌握游戏编程和计算机图形学的基本数学知识。 掌握线性代数、几何变换、运动学、3D物理和相关数值运算的基本方法。

Xshell破解版

Xshell破解版,亲测可用,Xshell 是一个强大的安全终端模拟软件,它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。Xshell 通过互联网到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中享受他们的工作。

抢茅台脚本以及使用方法

抢茅台的方法,里面有脚本文件和python的安装包,小白可以学习使用,大佬绕行吧,哈哈

RxJava精简教程

介绍RxJava的基本用法 每一个同学都能够给快速的掌握RxJava

C#高性能大容量SOCKET并发完成端口例子(有C#客户端)完整实例源码

例子主要包括SocketAsyncEventArgs通讯封装、服务端实现日志查看、SCOKET列表、上传、下载、远程文件流、吞吐量协议,用于测试SocketAsyncEventArgs的性能和压力,最大连接数支持65535个长连接,最高命令交互速度达到250MB/S(使用的是127.0.0.1的方式,相当于千兆网卡1Gb=125MB/S两倍的吞吐量)。服务端用C#编写,并使用log4net作为日志模块; 同时支持65536个连接,网络吞吐量可以达到400M。

Java系列技术之工具Maven

Java系列技术之必学工具Maven是在JavaWeb入门课程的后续课程,也是以后课程里都要用的实用级工具,所以大家一定要学会,Maven 是目前在生产环境下多框架、多模块整合开发的项目自动化构建工具,是我们学习Java的技术人必须要学会的一个工具, 大型项目开发过程中不可或缺的重要工具。 这里将带着大家了解 Maven 的作用,常用命令,配置依赖,以及依赖的范围、依赖的传递性、依赖的排除、生命周期等重要概念,以及继承、聚合、部署的 Maven 配置。全部配置操作,手把手演示操作,绝对能提升大家的实际操作能力!

laravel5.6框架基础入门精讲

这个视频主要讲了laravel5.6版本 路由 控制器 请求响应 模型 视图 。。。太多了,详细的看目录就行了,基本上框架开发常用的功能都讲了。应该算是目前比较详细的框架教程了 学会基础的laravel框架的使用

2020简历模板合集.rar

2020简历模板合集

CCNA之TCP/IP协议栈精讲

学完本班级课程,OSI模型和TCP/IP协议栈 掌握TCP/IP协议栈中的Ethernet、ARP、IP、ICMP、UDP、DHCP、TCP、Telnet

jdk1.8 64位官方正式版 jdk-8u91-windows

jdk1.8 64位官方正式版 jdk-8u91-windows

相关热词 c#drawstring c# 操作 线程 c# ip post c# 调用嵌入的图片 c#获取数据源计算 c# 线程通信 c# 静态变量多线程 c# 内存溢出 c# 时间比对 matlab有c#接口吗