C#我自己做一个网站图片的抓取

2016-09-30 02:26:09 1.2k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

sinat_25186077 墨衍会员 · AI 创作全网分发关注 + 加入社区

抓取青果教务系统信息加上分析JS，测试程序以及期间遇到360误杀爷的EXCJS模块以及其他巴拉巴拉一堆问题，共耗时一天多一早晨的时间，爬下了青果公司为XX学校用C#开发的教务系统（我还是第一次爬C#写的网站，拿小本子记下来），这里只介绍课程表的抓取思路，其他的什么教师评价啊，什么选课啊都很简单了，都差不多的思路，有耐心的小伙伴可以去写个抢课系统或者其他上商业价值的软件。起初猜想开始猜测，XX学校的管理系统肯... 阅读详情

我自己做了一个网站图片的抓取, 感觉速度有点慢抓取4000张图片可能得用15分钟左右的时间,
我百度看用线程可以加快抓取,然后创建了5个线程抓取,但是 5个线程是同步执行同样的操作一个图片就抓取了5次,
代码应该怎么写才能让线程不抓取同样的内容呢

...全文

上汽CPMP开发流程与A、B、C、D样也叫验收样件或设计样件，是根据A样试制结果优化后的样件，外观、功能达到设计要求，B样可以是手工样件或者模具件，B样件的全维度产品功能和尺寸参数已经固化下来，并需要和最终的量产产品保持一致。为批量样件或生产样件、展示样件，是在A/B的基础上完善结果，此时的产品状态已经完全定型，并能够满足客户和市场提出的各类需求。预试生产（Pre-Production）----------------------------------------------------------------------→D样。阅读详情

sinat_25186077

C# 111,128 成员 642,536 内容

+ 关注 + 加入社区

切换为时间正序

greatbody 2016-10-09

打赏
举报

引用 3 楼 xuzuning 的回复:

若图片平均大小为 1M，那么 4000 / (15 * 60) = 4.44 M/s 也就是你这少需要 30M 线路带宽，已经很快了如果开宽还有富裕，是可以考虑用多线程的你可以设一个待抓取图片的队列，每个线程只从队首取出图片 url，这样就不会重复了如果抓取失败，还应将相应 url 重新入队

版主说的非常对，大家都要这样做，代码就会很稳定了。

江南小鱼 2016-10-08

打赏
举报

七天，不足以表达我对祖国母亲的热爱。经过这七天，我总是在深思，伟大的祖国母亲为什么不再过一个阴历生日呢？开工了，从今天起我才知道未来七天其实不短。

我叫小菜菜 2016-10-08

打赏
举报

引用 32 楼 sinat_25186077 的回复:

[quote=引用 30 楼 zhi_ai_yaya 的回复:] 我又回来了！！

怎么给代码你 ,没看到传文件的呀[/quote] 哟西，非常感谢~~ 把代码直接张贴上来就OK啦。如果是demo，包含解决方案，引用库之类的，可以上传到CSDN下载，让大家可以下载，然后张贴下载链接到帖子后面。讨论一个问题，最后得到一些解决办法，作为总结放到帖子最后，然后结贴。论坛本来就应该这样的

破碎的脸 2016-10-08

打赏
举报

用MD5码，可能会好一些，MD5码可以识别文件的不同。

sinat_25186077 2016-10-08

打赏
举报

http://down.51cto.com/data/2248694 最初版本的代码传上去了有需要的自己看看啊，csdn 上面的我传上去没显示没得办法，换了个网站传了

sinat_25186077 2016-10-08

打赏
举报

引用 33 楼 zhi_ai_yaya 的回复:

[quote=引用 32 楼 sinat_25186077 的回复:] [quote=引用 30 楼 zhi_ai_yaya 的回复:] 我又回来了！！

[/quote] - - 我电脑上只有最初版的，修改的不在我电脑上，不过我先传上去吧，你自己改改哈哈

sinat_25186077 2016-10-07

打赏
举报

引用 30 楼 zhi_ai_yaya 的回复:

我又回来了！！

怎么给代码你 ,没看到传文件的呀

泡泡龙 2016-10-06

打赏
举报

如果网站请求等待时间长的话，异步的好处就体现出来了，在等待网站返回的时间，可以发1000个请求了，然后慢慢等着回来

我叫小菜菜 2016-10-06

打赏
举报

我又回来了！！

sinat_25186077 2016-10-06

打赏
举报

引用 28 楼 liucqa 的回复:

我觉得异步会快些吧

异步还没用还没比较

泡泡龙 2016-10-06

打赏
举报

我觉得异步会快些吧

sinat_25186077 2016-10-06

打赏
举报

用了并行加线程处理以后速度快多了 O(∩_∩)O哈哈~

大然然 2016-10-01

打赏
举报

5个线程访问同样一个方法，还没有参数，5次调用都在干同样的事情当然重复下载了，你弄点参数进去，让第一个线程干1---5 ，第二个现场6-10 。。。。。。

摇撼大地 2016-09-30

打赏
举报

这个东西。我第一个想到的是Paralel。for。

sinat_25186077 2016-09-30

打赏
举报

引用 22 楼 crystal_lz 的回复:

[quote=引用 20 楼 sinat_25186077 的回复:] [quote=引用 17 楼 crystal_lz 的回复:]


private Queue<string> m_que_url = new Queue<string>();

private void DownLoadCallBack() {
    string strUrl = string.Empty;
    WebClient web = new WebClient();
    while (true) {
        lock (m_que_url) {
            if (m_que_url.Count == 0) break;
            strUrl = m_que_url.Dequeue();
        }
        try {
            web.DownloadFile(strUrl, "yourfilename");
        } catch (Exception ex) {
            Console.WriteLine(ex.Message);
        }
    }
}

//set m_que_url
int nThreadCount  = 50;
for (int i = 0; i < nThreadCount; i++) {
    new Thread(DownLoadCallBack) { IsBackground = true }.Start();
}

兄台你好眼熟啊 -- [/quote]

是不是在你梦里出现过。。[/quote]可能是看别的帖子的时候看到了你的发言了吧

crystal_lz 2016-09-30

打赏
举报

引用 20 楼 sinat_25186077 的回复:

[quote=引用 17 楼 crystal_lz 的回复:]


private Queue<string> m_que_url = new Queue<string>();

private void DownLoadCallBack() {
    string strUrl = string.Empty;
    WebClient web = new WebClient();
    while (true) {
        lock (m_que_url) {
            if (m_que_url.Count == 0) break;
            strUrl = m_que_url.Dequeue();
        }
        try {
            web.DownloadFile(strUrl, "yourfilename");
        } catch (Exception ex) {
            Console.WriteLine(ex.Message);
        }
    }
}

//set m_que_url
int nThreadCount  = 50;
for (int i = 0; i < nThreadCount; i++) {
    new Thread(DownLoadCallBack) { IsBackground = true }.Start();
}

兄台你好眼熟啊 -- [/quote]

是不是在你梦里出现过。。

sinat_25186077 2016-09-30

打赏
举报

引用 17 楼 crystal_lz 的回复:


private Queue<string> m_que_url = new Queue<string>();

private void DownLoadCallBack() {
    string strUrl = string.Empty;
    WebClient web = new WebClient();
    while (true) {
        lock (m_que_url) {
            if (m_que_url.Count == 0) break;
            strUrl = m_que_url.Dequeue();
        }
        try {
            web.DownloadFile(strUrl, "yourfilename");
        } catch (Exception ex) {
            Console.WriteLine(ex.Message);
        }
    }
}

//set m_que_url
int nThreadCount  = 50;
for (int i = 0; i < nThreadCount; i++) {
    new Thread(DownLoadCallBack) { IsBackground = true }.Start();
}

看起来不错

sinat_25186077 2016-09-30

打赏
举报

引用 17 楼 crystal_lz 的回复:


private Queue<string> m_que_url = new Queue<string>();

private void DownLoadCallBack() {
    string strUrl = string.Empty;
    WebClient web = new WebClient();
    while (true) {
        lock (m_que_url) {
            if (m_que_url.Count == 0) break;
            strUrl = m_que_url.Dequeue();
        }
        try {
            web.DownloadFile(strUrl, "yourfilename");
        } catch (Exception ex) {
            Console.WriteLine(ex.Message);
        }
    }
}

//set m_que_url
int nThreadCount  = 50;
for (int i = 0; i < nThreadCount; i++) {
    new Thread(DownLoadCallBack) { IsBackground = true }.Start();
}

兄台你好眼熟啊 --

sinat_25186077 2016-09-30