1.5w+
社区成员
如何获得动态网页的全部内容？
在我的程序中，输入一个关键字然后到网易或者其他网站的搜索引擎中进行检索，
在程序中显示出所要检索的网页内容，问题就是如何获得该网页的内容（文本表示）
在程序中显示出所要检索的网页内容，问题就是如何获得该网页的内容（文本表示）
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
ExitWindows 2001-07-31
up
ExitWindows 2001-07-31
up
OUYAN 2001-07-30
用WINSOCK得到网页的源文件，然后在对源文件进行字符处理。
把结果提取出来。
把结果提取出来。
蒋晟 2001-07-30
<IFrame src=...
111222 2001-07-30
POST或者GET
例如：
#include "winsock2.h"
WSADATA wsaData;
WSAStartup(MAKEWORD(1, 1), &wsaData);
char rbuff[2000];
SOCKET sockfd;
SOCKADDR_IN addr;
sockfd = socket(AF_INET, SOCK_STREAM, 0);
addr.sin_family = AF_INET;
addr.sin_port = htons(80);
addr.sin_addr.s_addr = inet_addr("211.101.228.186");
connect(sockfd,(struct sockaddr *) &addr, sizeof(addr));
send(sockfd,"GET expert/topicview.asp?id=215255 HTTP/1.0 \r\n",sizeof("GET expert/topicview.asp?id=215255 HTTP/1.0 \r\n"),0);
Sleep(1000);
recv(sockfd,rbuff,sizeof(rbuff),0);
//rbuff里面就是这页了
WSACleanup();
例如：
#include "winsock2.h"
WSADATA wsaData;
WSAStartup(MAKEWORD(1, 1), &wsaData);
char rbuff[2000];
SOCKET sockfd;
SOCKADDR_IN addr;
sockfd = socket(AF_INET, SOCK_STREAM, 0);
addr.sin_family = AF_INET;
addr.sin_port = htons(80);
addr.sin_addr.s_addr = inet_addr("211.101.228.186");
connect(sockfd,(struct sockaddr *) &addr, sizeof(addr));
send(sockfd,"GET expert/topicview.asp?id=215255 HTTP/1.0 \r\n",sizeof("GET expert/topicview.asp?id=215255 HTTP/1.0 \r\n"),0);
Sleep(1000);
recv(sockfd,rbuff,sizeof(rbuff),0);
//rbuff里面就是这页了
WSACleanup();
111222 2001-07-30
POST
111222 2001-07-30
recv()
kingdom1 2001-07-30
用http协议 openURL()获取
Python实现爬取网页中动态加载的数据 在使用python爬虫技术采集数据信息时，经常会遇到在返回的网页信息中，无法抓取动态加载的可用数据。例如，获取某网页中，商品价格时就会出现此类现象。如下图所示。本文将实现爬取网页中类似的动态加载的数据。 1...
如何爬取动态网页的数据？Python实战案例 前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作...动态网页具有减少工作量、内容更新快、可完成功能多等特点，被很多公司所采用，比如狗东、某
web程序设计-动态网页技术?06 主要介绍目前主流的动态网页技术。动态网页技术是在传统的静态网页技术的基础上发展而来的，尤其适合现代人们对网络信息的获取速度和用户体验的要求。 介绍了目前的三种动态网页技术：JSP、ASP.NET和PHP。分别介绍了...
Python如何爬取动态网页内容 根据权威机构发布的全球互联网可访问性审计报告，全球约有四分之三的网站其内容或部分内容是通过JavaScript动态生成的，这就意味着在浏览器窗口中“查看网页源代码”时无法在HTML代码中找到这些内容，也就是说我们...
动态网页和静态网页之间的区别？ 运行于客户端的程序、网页、插件、组件，属于静态网页， 静态网页和动态网页各有特点，网站采用动态网页还是静态网页主要取决于网站的功能需求和网站内容的多少，如果网站功能比较简单，内容更新量不是很大，采用纯...
如何实现动态网页 所谓“动态”，并不是指放在网页上的GIF图片，动态网页技术有以下几个特点： 1. "交互性"，即网页会根据用户的要求和选择而动态改变和响应,将浏览器作为客户端界面,这将是今后WEB发展的大势所趋. 2. &...
C#获取动态网页中的数据 C#获取动态网页中的数据 在实际工作需求中，编辑的文档需要获取历史地震的信息，所以利用计算机语言获取是一个简化人工操作的必要过程，本文分享一下自己第一次获取交互信息的爬虫经历！ 操作流程 我要获取的信息如...
nodejs 爬取动态网页 npm install request -save 注意因为头条是动态网页，所以无法用 cheerio 来分析网页，所以只需要这一个包就足够了 创建文件 创建一个 image 文件夹用于保存图片数据。 创建一个 js 文件用来写程序。比如 ...
提取网页中动态加载的内容 网页源代码与用chrome审查内容不同，查看网页源代码，发现浏览器对源代码动态渲染加载过得到我们所见的网页。与很多爬虫教学视频不同，这个网址有以下几个问题： 1、查找后左边这个文件的response中有我需要的网址...
Python动态网页爬取 前面所讲的都是对静态网页进行抓取，本...针对不同的动态网页爬取方法，将分别用具体实例进行介绍。本博客主要是直接利用Ajax来获取数据。 页面分析 本博客以MTime电影网为例，主要爬取电影的评分票房等信息。首...
如何爬取动态网页信息① 关于静态和动态网页的区别， 小马夫 https://www.cnblogs.com/bluesungz/p/5955170.html 这篇文章已经讲得很清楚了。简单来说，要获取静态网页的网页数据只需要给服务器发送该网页url地址就行，而动态网页的数据因为...
手把手教你利用爬虫爬网页（Python代码） 从待抓取URL队列中读取待抓取队列的URL，解析DNS，并且得到主机的IP，并将URL对应的网页下载下来，存储进已下载网页库中。此外，将这些URL放进已抓取URL队列。 分析已抓取URL队列中的URL，从已下载的网页数据中分析...
静态网页与动态网页的区别 动态网站也可以采用静动结合的原则，适合采用动态网页的地方用动态网页，如果必要使用静态网页，则可以考虑用静态网页的方法来实现，在同一个网站上，动态网页内容和静态网页内容同时存在也是很常见的事情。...
怎么区分静态网页和动态网页 静态网页是网站建设的基础，静态网页和动态网页之间也并不矛盾，为了网站适应搜索引擎检索的需要，即使采用动态网站技术，也可以将网页内容转化为静态网页发布。 一、静态web页面，一般指html： 1、在静态Web程序中...
Web前端开发学习2：动态网页 一动态网页概述 动态网页是与静态网页相对应的，也就是说，网页 URL的后缀不是htm、html、shtml、xml等静态网页的常见形 式，而是以·aspx、.asp、.jsp、.php、.perl、.cgi等形式为后缀，并且在动态网页网址中有一...
ASP动态网页教程下载 所谓“静态”指的就是网站的网页内容“固定不变”，当用户浏览器通过互联网的HTTP（Hypertext Transport Pr otocol）协议向WEB服务器请求提供网页内容时，服务器仅仅是将原已设计好的静态HTML文档传送给用户浏览器。...
静态网页和动态网页的区别 使用HTTP协议发起一个请求（Request），告诉服务器我现在需要得到哪个页面，所有的请求交给Web服务器，之后WEB服务器根据用户的需要，从文件系统（存放了所有静态页面的磁盘）取出内容。之后通过Web服务器返回给...
