通过URL大批量下载文件时，偶尔出现不无法解析的包

不知取啥名 2015-04-28 08:57:45

使用HttpURLConnection通过URL链接从应用市场批量下载APK，下载时发现部分APK下载不完整。
有两种情况，一种下载的大小比服务器端小，这种通过文件大小对比，可以直接排除。
但有另外一种情况，本地下载的APK大小与服务器端大小一模一样，但是本地无法解析，这种情况是怎么回事，有大神知道吗？求指教谢谢！

我想要解决的问题就是：怎样通过URL判断本地下载的文件是完整的。

...全文

148 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

不知取啥名 2015-05-06

打赏
举报

回复

沉了……有木有大神有办法解决？求帮忙，谢谢

不知取啥名 2015-04-29

打赏
举报

回复

引用 1 楼 slwsss 的回复:

验证下hash

度娘了一下，hash就是MD5码验证。那么怎样通过URL批量获取服务器端的MD5码？然后又怎样批量获取本地已经下的文件MD5码？比如我已经将以下安卓市场的url下载到本地了，怎么得到MD5码？天天酷跑##http://apk.hiapk.com/appdown/com.tencent.pao 我的世界##http://apk.hiapk.com/appdown/com.mojang.minecraftpe 七圣争霸天下##http://apk.hiapk.com/appdown/com.vikings.kingdoms.BD 上吧小乔##http://apk.hiapk.com/appdown/com.brother.xiaoqiao.baidu 三国杀杀杀##http://apk.hiapk.com/appdown/com.hummingbird.wuhujiang.QiTianBaiDuWuHuJiang.baidu 天剑奇缘##http://apk.hiapk.com/appdown/com.qdazzle.tjqy.wy

不知取啥名 2015-04-29

打赏
举报

回复

引用 1 楼 slwsss 的回复:

验证下hash

大大，刚学这块，可以解释详细点么？有具体示例更好，谢谢哈

slwsss 2015-04-28

打赏
举报

回复

验证下hash

主要介绍了Node爬取大批量文件的方法示例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

在当今信息爆炸的时代，数据的收集与整理变得越发重要。传统的单文件下载方式已经无法满足高效工作的需求。文件批量下载工具应运而生，它能够简化下载流程，提高工作效率。本章节将介绍此类工具的基本功能与优势。文件批量下载工具通常包含以下核心功能：URL解析：支持多种来源的URL输入，如网页链接、文档等，并从中提取需要下载的文件链接。多线程下载：为了提高下载速度，工具会使用多线程技术同时下载多个文件。文件管理：下载完成后，工具可以自动进行文件分类、重命名等管理操作。

本文叙述本文用于多个文件批量下载，提供两种下载方式（二者利弊自行考量） 1. 将文件文件全部下载到本地文件夹，之后将文件夹打包成zip最后输出到浏览器再删除文件夹跟zip文件利用本地磁盘作为过渡 2. 直接在代码中拿到全部文件的byte[]数组之后，将文件的byte[]数组全部装入zip文件流，最后将zip文件流输出到浏览器，全过程不产生实体文件到磁盘中。前端调用方式: 前端调用接口方式本文是直接通过 window.location.href 方式调用接口地址或通过以下js方式调用本文不做叙述自行了

一、功能性及非功能性需求：文件批量下载，支持断点续传。支持批量下载1000个文件。使用JS能够实现批量下载，能够提供接口从指定url中下载文件并保存在本地指定路径中。服务器不需要打包。支持大文件断点下载。比如下载10G的文件。 PC端全平台支持。Windows,macOS,Linux 全浏览器支持。ie6,ie7,ie8,ie9,ie10,ie11,edge,firefox,chrome,safari JavaWeb文件下载功能文件下载的实质就是文件拷贝，将文件从服务器端拷..

图片url解析正确，但爬虫无法下载图片解注释DOWNLOADER_MIDDLEWARES # Enable or disable downloader middlewares # See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html DOWNLOADER_MIDDLEWARES = { 'imgspider.middlewares.ImgspiderDownloaderMiddleware': 543, }

87,997

社区成员

224,693

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章