需要根据url下载大量文件下载地址url的存放问题

dduummoo 2014-11-18 05:01:06

我想根据url把网页下载下来,这样就有一个url池,然后我不断往里添加,并挨个下载
运行一段时间后地址池里可能会有几十万甚至上百万个url
产生几个问题
1. 占据的空间很大
2. url有很多重复,下载效率低下(类似爬虫 ,在网页的页内链接里爬,链接就会有交叉现象)

对于这种模型,想请问一下各位大神有什么好办法解决空间问题和查重问题

...全文

288 2 打赏收藏转发到动态举报

写回复

用AI写文章

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

Sandrer 2014-11-18

打赏
举报

在下行未达到上限的情况下，多开几条线程下载咯，注意线程同步至于查重的问题，这么多的数据，也没什么特别好的方法了或者可以多开一条线程，用来整理url的索引首先按域名建立一个索引，再按下级目录一直循环建索引咯这样整理起来的话比你一次循环所有数据要快吧

oyljerry 2014-11-18

打赏
举报

用set来去重，查找也快

利用URL（网络资源统一定位符），我们可以进行文件的定位和下载，如果我们想让下载速度提高一些，我们通常有以下方法： 1.提高网络带宽，提升网络速度 2.开通网站vip，实现高速下载或上传 3.新增下载线程，实现...

里面有些内容android studio自动添加就可以了，实测可用，自己用的时候规避了... * 说明：根据指定URL将文件下载到指定目标位置 * @param urlPath * 下载路径 * @param downloadDir * 文件存放目录 * @retur...

一个很好的下载方法是将服务器上的文件压缩为一个压缩包，然后直接下载一个压缩包到本地即可。将服务器上的文件（动物图片）批量下载到本地，并保留服务器上的目录结构。该方案缺点压缩后的压缩包过大，如果下载中断...

* 说明：根据指定URL将文件下载到指定目标位置 * * @param urlPath 下载路径 * @param downloadDir 文件存放目录 * @param fileFullName 下载的文件名 * @return 返回下载文件 */ @...

工作很快乐，学习很简单，爱编程，爱技术。一一一一想成为架构师的小白 ...用Java代码实现：根据指定URL将文件下载到指定目标位置。 package test1; import java.io.BufferedInputStream; impor...

VC/MFC

16,472

社区成员

421,731

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

VC/MFC社区版块或许是CSDN最“古老”的版块了，记忆之中，与CSDN的年龄几乎差不多。随着时间的推移，MFC技术渐渐的偏离了开发主流，若干年之后的今天，当我们面对着微软的这个经典之笔，内心充满着敬意，那些曾经的记忆，可以说代表着二十年前曾经的辉煌……
向经典致敬，或许是老一代程序员内心里面难以释怀的感受。互联网大行其道的今天，我们期待着MFC技术能够恢复其曾经的辉煌，或许这个期待会永远成为一种“梦想”，或许一切皆有可能……
我们希望这个版块可以很好的适配Web时代，期待更好的互联网技术能够使得MFC技术框架得以重现活力，……

试试用AI创作助手写篇文章吧

+ 用AI写文章

需要根据url下载大量文件 下载地址url的存放问题

需要根据url下载大量文件下载地址url的存放问题