C#模拟浏览器多线程下载软件

Go 旅城通票 2017-08-07 09:52:06

加精

　　C#模拟浏览器多线程下载软件，有些网站判断了user-agent和来源地址时，使用迅雷，flashget无法下载图片。

　　使用本下载软件可以模拟浏览器请求头，添加来源地址和用户代理字符串（user-agent），突破服务器下载封锁．

　　C#模拟浏览器多线程下载软件操作界面如下

　　核心代码如下



        protected void DownLoad()

        {

            while (true)

            {

                string url = null;

                lock (locker)

                {

                    current++;

                    if (current >= jobNum)

                    {

                        threadEndNum++;

                        if (threadEndNum >= threadNum)

                        {

                            UpdateState("下载完毕，失败" + err + "个。", true);

                        }

                        break;

                    }

                    url = urls[current];

                }

                UpdateState("正在下载" + url, false);



                int tryNum = 0;

                while (true)

                {

                    HttpWebRequest request;

                    try

                    {

                        string fn = Path.GetFileName(url);

                        if (cbReplaceSame.Checked || !File.Exists(sSavePath + fn))

                        {

                            request = (HttpWebRequest)HttpWebRequest.Create(url);

                            if (!string.IsNullOrEmpty(sReferer)) request.Referer = sReferer;

                            else request.Referer = url;

                            if (!string.IsNullOrEmpty(sUserAgent)) request.UserAgent = sUserAgent;

                            request.Headers.Add("Upgrade-Insecure-Requests", "1");

                            request.Accept="text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8";

                            request.Headers.Add("Accept-Encoding", "gzip, deflate");

                            request.Headers.Add("Accept-Language", "zh-CN,zh;q=0.8");

                            HttpWebResponse response = (HttpWebResponse)request.GetResponse();



                            Stream sr = response.GetResponseStream();

                            FileStream fs = new FileStream(sSavePath + fn, FileMode.OpenOrCreate);



                            int buffer = 1024;

                            byte[] data = new byte[buffer];

                            int bytesRead = 0;

                            while ((bytesRead = sr.Read(data, 0, buffer)) != 0) fs.Write(data, 0, bytesRead);



                            sr.Close();

                            fs.Close();





                        }

                        break;

                    }

                    catch (Exception ex)

                    {

                        tryNum++;

                        if (tryNum >= tryNumMax)

                        {



                            lock (locker) { err++; sErr += "\n" + url + "(" + ex.Message + ")"; }

                            break;

                        }

                        Thread.CurrentThread.Join(1000);//停止1s再重试

                    }

                }

            }

        }

　　下载文件原本使用webclient的，但是碰到一个网站就是判断了user-agent，user-agent webclient已经设置，但是下载的时候还是出错，然后调试的时候执行到catche语句，监视webclient实例对象的user-agent尽然变为了null，晓不得虾米意思，所以直接改HttpWebRequest下载了。

　　需要VS工程文件的可以去下面地址下载哈，顺便推广下个人网站，版主手下留情，莫删，谢谢。。～

　　来源：C#模拟浏览器多线程下载软件

...全文