社区
C#
帖子详情
C# 能不能实现网速限制?怎么做?
ts230
2011-01-09 04:18:19
如题,请大家教我。
...全文
414
1
打赏
收藏
C# 能不能实现网速限制?怎么做?
如题,请大家教我。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
wuyq11
2011-01-09
打赏
举报
回复
硬件设置
下载速度
把连接超时设置到1S以上。
做计数器,记录每秒下载的字节数。
在下载线程中判断“当前秒”中下载的字节数是否超限。超限了就停止下载。
等到下一秒再开始新的下载。 Thread.Sleep(sleep);延迟
由
C#
编写的多线程异步抓取网页的网络爬虫控制台程序
描述:由
C#
编写的多线程异步抓取网页的网络爬虫控制台程序 功能:目前只能提取网络链接,所用的两个记录文件并不需要很大。网页文本、图片、视频和html代码暂时
不能
抓取,请见谅。 但需要注意,网页的数目是非常庞大的,如下代码理论上大概可以把整个互联网网页链接都抓下来。 但事实上,由于处理器功能和网络条件(主要是
网速
)
限制
,一般的家用电脑最多能胜任12个线程左右的抓取任务,抓取速度有限。可以抓取,但需要时间和耐心。 当然,这个程序把所有链接抓下来是可能的,因为链接占系统空间并不多,而且有记录文件的帮助,已抓取网页的数量可以堆积下去, 甚至可以把所有的互联网网络链接都存取下来,当然,最好是分批次。建议设置maxNum为500-1000左右,慢慢累积下去。 另外因为是控制台程序,有时候显示字符过多会系统会暂停显示,这时候只要点击控制台按下回车键就可以了。程序假死的时候,可以按回车键(Enter)试试。 /// 使用本程序,请确保已创建相应的记录文件,出于简化代码的考虑,本程序
做
的并不健壮,请见谅。 /// 默认的文件创建在E盘根目录“已抓取网址.txt”和“待抓取网址.txt”这两个文本文件中,使用者需要自行创建这两个文件,注意后缀名不要搞错。 这两个文件里面的链接基本都是有效链接,可以单独处理使用。 本爬虫程序的速度如下: 10线程最快大概500个链接每分钟 6-8线程最快大概400-500个链接每分钟 2-4线程最快大概200-400个链接每分钟 单线程最快大概70-100个链接每分钟 之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并
不能
带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。
c#
百度模拟搜索点击工具源码
功能介绍: 百度模拟点击工具是模拟用户输入关键字,模拟搜索,找到对应的网页,通过设置访问深度,随机对目标网站的页面进行访问,在不同页面停留一个随机的时间,最大程度上模拟人工搜索网页,提供网站的百度排名 本软件
实现
了以下功能: 1.完全模拟人工输入关键字 2.完全模拟用户点击搜索 3.每次输入到点击搜索时间都不一样,可以设置输入最短时间(inputT时间真实模拟) 4.每次访问网站IP都不一样 5.目标网站每次停留时间都不一样,每个页面停留时间也不一样,可以设置每个网页的最大,最小停留时间,设置整个网站一次完整访问的最大停留时间 6.根据
网速
与机器性能最大可以同时跑100个网站 7.可以设置拨号间隔时间 8.可以
实现
百度自动翻页查找目标网站,同时可以设置最多翻页次数 注意: 访问网站采用的是弹出方式,启动另一个附加程序,之所以这样
做
,是因为百度对自动提交数据有
限制
,自动提交数据百度不认为是有效点击(根据经验得出来,修改的)。 开发环境为Visual Studio 2010,数据库为xml
C#
开发CDR插件实战入门
在每一个课时中,凡是能用实际例子演示的,绝不只是口头带过,手把手编码教学,让学员不仅能看懂,而且能跟着讲师一起操作。 为了方便复制代码,大部分课程配备了对应的课件和工程源码,...
MyWebPage.rar
/// 描述:由
C#
编写的多线程异步抓取网页的网络爬虫控制台程序 /// 功能:目前只能提取网络链接,所用的两个记录文件并不需要很大。网页文本、图片、视频和html代码暂时
不能
抓取,请见谅。 /// 但需要注意,网页的数目是非常庞大的,如下代码理论上大概可以把整个互联网网页链接都抓下来。 /// 但事实上,由于处理器功能和网络条件(主要是
网速
)
限制
,一般的家用电脑最多能胜任12个线程左右的抓取任务,抓取速度有限。可以抓取,但需要时间和耐心。 /// 当然,这个程序把所有链接抓下来是可能的,因为链接占系统空间并不多,而且有记录文件的帮助,已抓取网页的数量可以堆积下去, /// 甚至可以把所有的互联网网络链接都存取下来,当然,最好是分批次。建议设置maxNum为500-1000左右,慢慢累积下去。 /// 另外因为是控制台程序,有时候显示字符过多会系统会暂停显示,这时候只要点击控制台按下回车键就可以了。程序假死的时候,可以按回车键(Enter)试试。 /// 使用本程序,请确保已创建相应的记录文件,出于简化代码的考虑,本程序
做
的并不健壮,请见谅。 /// 默认的文件创建在E盘根目录“已抓取网址.txt”和“待抓取网址.txt”这两个文本文件中,使用者需要自行创建这两个文件,注意后缀名不要搞错。 /// 这两个文件里面的链接基本都是有效链接,可以单独处理使用。 /// 本爬虫程序的速度如下: /// 10线程最快大概500个链接每分钟 /// 6-8线程最快大概400-500个链接每分钟 /// 2-4线程最快大概200-400个链接每分钟 /// 单线程最快大概70-100个链接每分钟
适用
C#
语言
实现
域名地址屏蔽
实现
屏蔽域名地址,具体看域名定义规则,有一些设计
实现
是需要带通配符支持的,但大体都需要分为至少两个步骤: 1、直接命中 2、分段命中 一个域名地址格式大致为:[A-Za-z][0-9A-Za-z-].[A-Za-z0-9],如:jd.cn 即一个有效的域名地址必须要有一个 “.” 分段,多个 “.” 是子级分段域名了,假设我们需要屏蔽所有jd.cn 的域名,那么只需要录入 jd.cn 域名就可以。 现在有一个 www.jd.cn,首先它无法直接命中,因为它是根域名,但分段一级一级往上退就能命中到 jd
C#
110,502
社区成员
642,567
社区内容
发帖
与我相关
我的任务
C#
.NET技术 C#
复制链接
扫一扫
分享
社区描述
.NET技术 C#
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
让您成为最强悍的C#开发者
试试用AI创作助手写篇文章吧
+ 用AI写文章