c#中如何执行javascript，执行爬取指定网页

2017-09-10 02:02:24 1k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

C#爬取动态网页一直在尝试用java来爬取网页，然而java总是无法处理动态网页，尤其是js产生的网页。而在如今的web2.0时代，许多的数据都涉及到js，比如新闻评论、微博等。java中htmlparser和htmlunit结合是可以处理静态网页、提交表单的，如爬取人人网，但对于新闻评论就没办法了。也有一些号称可以处理动态网页的开源项目，如jrex等一些开源的浏览器项目。但是我试过之后，总是不能很好的解决，有的阅读详情

我用程序访问指定网页，得到如下的html返回，大意是设置cook -test跳转指定页面。

<script type="text/javascript" src="http://newpowersky.ohday.cn/aes.js" ></script>

<script>

function toNumbers(d) {

    var e = [];

    d.replace(/(..)/g,

    function(d) {

        e.push(parseInt(d, 16))

    });

    return e

}

function toHex() {

    for (var d = [], d = 1 == arguments.length && arguments[0].constructor == Array ? arguments[0] : arguments, e = "", f = 0; f < d.length; f++) e += (16 > d[f] ? "0": "") + d[f].toString(16);

    return e.toLowerCase()

}

var a = toNumbers("f655ba9d09a112d4968c63579db590b4"),

b = toNumbers("98344c2eee86c3994890592585b49f80"),

c = toNumbers("e4c62ce17c9e3eff9de80186313b5a9c");

document.cookie = "__test=" + toHex(slowAES.decrypt(c, 2, a, b)) + "; expires=Thu, 31-Dec-37 23:55:55 GMT; path=/";

var i=1;<!-- location.href = "http://newpower.ohday.cn/?i=1";  -->

</script>

我如何在c#中模拟出来呢？(我用了jav)slowAES这个函数还是在网站上加载的。我要如何才可以得到cook呢？我在浏览器中执行这个javascript，得到的"__test=" 为空。不明白是为什么？我应该如何做呢？

...全文

Python动态网页的信息爬取目录一、Selenium自动化测试框架二、对网页进行自动化测试三、爬取指定网页[http://quotes.toscrape.com/js/](http://quotes.toscrape.com/js/)的名言参考资料一、Selenium自动化测试框架什么是自动化测试自动化测试指软件测试的自动化，在预设状态下运行应用程序或者系统，预设条件包括正常和异常，最后评估运行结果。总的概括即：将人为驱动的测试行为转化为机器执行的过程。进入今天的主角：selenium 学习功能测试自动化首选工具就是sele 阅读详情

newpowersky

C# 111,129 成员 642,540 内容

+ 关注 + 加入社区

切换为时间正序

橘子皮... 2017-09-13

打赏
举报

这有什么难的呢，你就用JS算出cookie值加进cookie里去get不就完了么

newpowersky 2017-09-13

打赏
举报

[quote=引用 10 楼 closurer 的回复:] 你面对的情况其实比较复杂，因为 V8 里面是没有 window、document、location 这些文档的内建对象的。如果你执行的脚本使用了这些对象，就会出错。如果你的需求不值得花太多时间去做，建议你还是用一个 Headless Browser[/quot] 其实我就是要模拟计算出一个__test的cook值。我再把这个值传给httphelper。也用不上windows.documetn.这些吧。你的意思是建议用PhantomJS。应该用这个的话可以取得到。只不过我想学习下脚本怎么用？谢谢大神

闭包客 2017-09-13

打赏
举报

Selenium、PhantomJS 这种 Headless Browser 的方案是现在比较流行的爬虫方案之一，兼容性高，可以抓取大部分网页，但是速度慢。自己调用脚本引擎的方式比较少人做，虽然速度快，但是难度大，如果兼容性做得高，其实已经在业界有技术领先优势。一般适合抓取特定的网页。

闭包客 2017-09-13

打赏
举报

你面对的情况其实比较复杂，因为 V8 里面是没有 window、document、location 这些文档的内建对象的。如果你执行的脚本使用了这些对象，就会出错。如果你的需求不值得花太多时间去做，建议你还是用一个 Headless Browser

闭包客 2017-09-13

打赏
举报

引用 8 楼 newpowersky 的回复:

[quote=引用 7 楼 closurer 的回复:] [quote=引用 4 楼 newpowersky 的回复:] [quote=引用 1 楼 closurer 的回复:] 你得使用一个 javascript 引擎。

有介绍的引擎吗？例子之类的有吗？想试试[/quote] 我以前是自己编译的 V8，现在看到 NuGet 上有了： https://www.nuget.org/packages/ClearScript.V8/ [/quote] 大神我在https://clearscript.codeplex.com/这看了例子，但是例子里没有<script type="text/javascript" src="http://newpowersky.ohday.cn/aes.js" ></script>这种的执行啊，我必须要先加载这个。slowAES.decrypt(c, 2, a, b))这个函数是这个aes.js里面的。是不是我要从aes.js里面把这个函数的代码取出来，然后再engine.Execute???? [/quote] 在浏览器中，标签的解析和请求的发出不是由脚本引擎做的，所以 V8 自然没有这个功能。在你这个例子中，你需要下载这个文件，交给 V8 去执行。

newpowersky 2017-09-13

打赏
举报

引用 7 楼 closurer 的回复:

[quote=引用 4 楼 newpowersky 的回复:] [quote=引用 1 楼 closurer 的回复:] 你得使用一个 javascript 引擎。

闭包客 2017-09-13

打赏
举报

引用 4 楼 newpowersky 的回复:

[quote=引用 1 楼 closurer 的回复:] 你得使用一个 javascript 引擎。

有介绍的引擎吗？例子之类的有吗？想试试[/quote] 我以前是自己编译的 V8，现在看到 NuGet 上有了： https://www.nuget.org/packages/ClearScript.V8/

newpowersky 2017-09-13

打赏
举报

引用 3 楼 wzk64657534 的回复:

[quote=引用楼主 newpowersky 的回复:] 我用程序访问指定网页，得到如下的html返回，大意是设置cook -test跳转指定页面。
<script type="text/javascript" src="http://newpowersky.ohday.cn/aes.js" ></script>
<script>
function toNumbers(d) {
    var e = [];
    d.replace(/(..)/g,
    function(d) {
        e.push(parseInt(d, 16))
    });
    return e
}
function toHex() {
    for (var d = [], d = 1 == arguments.length && arguments[0].constructor == Array ? arguments[0] : arguments, e = "", f = 0; f < d.length; f++) e += (16 > d[f] ? "0": "") + d[f].toString(16);
    return e.toLowerCase()
}
var a = toNumbers("f655ba9d09a112d4968c63579db590b4"),
b = toNumbers("98344c2eee86c3994890592585b49f80"),
c = toNumbers("e4c62ce17c9e3eff9de80186313b5a9c");
document.cookie = "__test=" + toHex(slowAES.decrypt(c, 2, a, b)) + "; expires=Thu, 31-Dec-37 23:55:55 GMT; path=/";
var i=1;
</script>
我如何在c#中模拟出来呢？(我用了jav)slowAES这个函数还是在网站上加载的。我要如何才可以得到cook呢？我在浏览器中执行这个javascript，得到的"__test=" 为空。不明白是为什么？我应该如何做呢？

用jquery的选择器就可以了，已经知道要什么了，只要写针对的代码就可以了[/quote] 命令行程序怎么用jquery的选择器，求讲解。

newpowersky 2017-09-13

打赏
举报

引用 2 楼 sx_lxh 的回复:

C# HttpWebRequest获取COOKIES byte[] bytes = Encoding.Default.GetBytes(_post); CookieContainer myCookieContainer = new CookieContainer(); try { //新建一个CookieContainer HttpWebRequest myHttpWebRequest = (HttpWebRequest)WebRequest.Create(_loginurl); //新建一个HttpWebRequest myHttpWebRequest.ContentType = "application/x-www-form-urlencoded"; myHttpWebRequest.AllowAutoRedirect = false; myHttpWebRequest.UserAgent = "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)"; myHttpWebRequest.Timeout = 60000; myHttpWebRequest.KeepAlive = true; myHttpWebRequest.ContentLength = bytes.Length; myHttpWebRequest.Method = "POST"; myHttpWebRequest.CookieContainer = myCookieContainer; //设置HttpWebRequest Stream myRequestStream = myHttpWebRequest.GetRequestStream(); myRequestStream.Write(bytes, 0, bytes.Length); myRequestStream.Close(); HttpWebResponse myHttpWebResponse = (HttpWebResponse)myHttpWebRequest.GetResponse(); foreach (Cookie ck in myHttpWebResponse.Cookies) { myCookieContainer.Add(ck); } myHttpWebResponse.Close(); } catch { MessageBox.show("获取COOKIES失败！"); return; }

大神我那个网站是直接get的。我用了httphelper后得到了上面的javascript..这个方法应该不行吧

newpowersky 2017-09-13

打赏
举报

引用 1 楼 closurer 的回复:

你得使用一个 javascript 引擎。

有介绍的引擎吗？例子之类的有吗？想试试

newpowersky 2017-09-13

打赏
举报

引用 15 楼 closurer 的回复:

[quote=引用 13 楼 wowfiowow 的回复:] 这有什么难的呢，你就用JS算出cookie值加进cookie里去get不就完了么

如果是一般的脚本不难的，难的是做图灵测试的脚本。图灵的脚本很鸡贼，会在你的文档里面生成元素，检查是否被正确解析，还可以通过一些 offset 属性检查是否被正确排版。 [/quote] 我访问的这个网站应该没有这么高级！！

newpowersky 2017-09-13

打赏
举报

引用 13 楼 wowfiowow 的回复:

这有什么难的呢，你就用JS算出cookie值加进cookie里去get不就完了么

就是不知道怎么算啊。他那slowace又看不明白。

闭包客 2017-09-13

打赏
举报

引用 13 楼 wowfiowow 的回复:

这有什么难的呢，你就用JS算出cookie值加进cookie里去get不就完了么

如果是一般的脚本不难的，难的是做图灵测试的脚本。图灵的脚本很鸡贼，会在你的文档里面生成元素，检查是否被正确解析，还可以通过一些 offset 属性检查是否被正确排版。

闭包客 2017-09-13

打赏
举报

引用 12 楼 newpowersky 的回复:

[quote=引用 10 楼 closurer 的回复:] 你面对的情况其实比较复杂，因为 V8 里面是没有 window、document、location 这些文档的内建对象的。如果你执行的脚本使用了这些对象，就会出错。如果你的需求不值得花太多时间去做，建议你还是用一个 Headless Browser[/quot] 其实我就是要模拟计算出一个__test的cook值。我再把这个值传给httphelper。也用不上windows.documetn.这些吧。你的意思是建议用PhantomJS。应该用这个的话可以取得到。只不过我想学习下脚本怎么用？谢谢大神

你可以试一下用 V8 去执行一下脚本。能不能实现你的需求，要看这段脚本的目的，有些图灵测试的脚本是专门防爬虫的，没有那么容易顺利执行。

大麦芽糖 2017-09-11

打赏
举报

引用楼主 newpowersky 的回复:

我用程序访问指定网页，得到如下的html返回，大意是设置cook -test跳转指定页面。
<script type="text/javascript" src="http://newpowersky.ohday.cn/aes.js" ></script>
<script>
function toNumbers(d) {
    var e = [];
    d.replace(/(..)/g,
    function(d) {
        e.push(parseInt(d, 16))
    });
    return e
}
function toHex() {
    for (var d = [], d = 1 == arguments.length && arguments[0].constructor == Array ? arguments[0] : arguments, e = "", f = 0; f < d.length; f++) e += (16 > d[f] ? "0": "") + d[f].toString(16);
    return e.toLowerCase()
}
var a = toNumbers("f655ba9d09a112d4968c63579db590b4"),
b = toNumbers("98344c2eee86c3994890592585b49f80"),
c = toNumbers("e4c62ce17c9e3eff9de80186313b5a9c");
document.cookie = "__test=" + toHex(slowAES.decrypt(c, 2, a, b)) + "; expires=Thu, 31-Dec-37 23:55:55 GMT; path=/";
var i=1;
</script>
我如何在c#中模拟出来呢？(我用了jav)slowAES这个函数还是在网站上加载的。我要如何才可以得到cook呢？我在浏览器中执行这个javascript，得到的"__test=" 为空。不明白是为什么？我应该如何做呢？

用jquery的选择器就可以了，已经知道要什么了，只要写针对的代码就可以了

sx_lxh 2017-09-11

打赏
举报

C# HttpWebRequest获取COOKIES byte[] bytes = Encoding.Default.GetBytes(_post); CookieContainer myCookieContainer = new CookieContainer(); try { //新建一个CookieContainer HttpWebRequest myHttpWebRequest = (HttpWebRequest)WebRequest.Create(_loginurl); //新建一个HttpWebRequest myHttpWebRequest.ContentType = "application/x-www-form-urlencoded"; myHttpWebRequest.AllowAutoRedirect = false; myHttpWebRequest.UserAgent = "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)"; myHttpWebRequest.Timeout = 60000; myHttpWebRequest.KeepAlive = true; myHttpWebRequest.ContentLength = bytes.Length; myHttpWebRequest.Method = "POST"; myHttpWebRequest.CookieContainer = myCookieContainer; //设置HttpWebRequest Stream myRequestStream = myHttpWebRequest.GetRequestStream(); myRequestStream.Write(bytes, 0, bytes.Length); myRequestStream.Close(); HttpWebResponse myHttpWebResponse = (HttpWebResponse)myHttpWebRequest.GetResponse(); foreach (Cookie ck in myHttpWebResponse.Cookies) { myCookieContainer.Add(ck); } myHttpWebResponse.Close(); } catch { MessageBox.show("获取COOKIES失败！"); return; }

闭包客 2017-09-10

打赏
举报

你得使用一个 javascript 引擎。

c#中如何执行javascript，执行爬取指定网页

相关推荐