1.5w+
社区成员
如何获得动态网页的全部内容？
在我的程序中，输入一个关键字然后到网易或者其他网站的搜索引擎中进行检索，
在程序中显示出所要检索的网页内容，问题就是如何获得该网页的内容（文本表示）
在程序中显示出所要检索的网页内容，问题就是如何获得该网页的内容（文本表示）
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
ExitWindows 2001-07-31
up
ExitWindows 2001-07-31
up
OUYAN 2001-07-30
用WINSOCK得到网页的源文件，然后在对源文件进行字符处理。
把结果提取出来。
把结果提取出来。
蒋晟 2001-07-30
<IFrame src=...
111222 2001-07-30
POST或者GET
例如：
#include "winsock2.h"
WSADATA wsaData;
WSAStartup(MAKEWORD(1, 1), &wsaData);
char rbuff[2000];
SOCKET sockfd;
SOCKADDR_IN addr;
sockfd = socket(AF_INET, SOCK_STREAM, 0);
addr.sin_family = AF_INET;
addr.sin_port = htons(80);
addr.sin_addr.s_addr = inet_addr("211.101.228.186");
connect(sockfd,(struct sockaddr *) &addr, sizeof(addr));
send(sockfd,"GET expert/topicview.asp?id=215255 HTTP/1.0 \r\n",sizeof("GET expert/topicview.asp?id=215255 HTTP/1.0 \r\n"),0);
Sleep(1000);
recv(sockfd,rbuff,sizeof(rbuff),0);
//rbuff里面就是这页了
WSACleanup();
例如：
#include "winsock2.h"
WSADATA wsaData;
WSAStartup(MAKEWORD(1, 1), &wsaData);
char rbuff[2000];
SOCKET sockfd;
SOCKADDR_IN addr;
sockfd = socket(AF_INET, SOCK_STREAM, 0);
addr.sin_family = AF_INET;
addr.sin_port = htons(80);
addr.sin_addr.s_addr = inet_addr("211.101.228.186");
connect(sockfd,(struct sockaddr *) &addr, sizeof(addr));
send(sockfd,"GET expert/topicview.asp?id=215255 HTTP/1.0 \r\n",sizeof("GET expert/topicview.asp?id=215255 HTTP/1.0 \r\n"),0);
Sleep(1000);
recv(sockfd,rbuff,sizeof(rbuff),0);
//rbuff里面就是这页了
WSACleanup();
111222 2001-07-30
POST
111222 2001-07-30
recv()
kingdom1 2001-07-30
用http协议 openURL()获取
Python实现爬取网页中动态加载的数据 在使用python爬虫技术采集数据信息时，经常会遇到在返回的网页信息中，无法抓取动态加载的可用数据。例如，获取某网页中，商品价格时就会出现此类现象。如下图所示。本文将实现爬取网页中类似的动态加载的数据。 1...
web程序设计-动态网页技术?06 主要介绍目前主流的动态网页技术。动态网页技术是在传统的静态网页技术的基础上发展而来的，尤其适合现代人们对网络信息的获取速度和用户体验的要求。 介绍了目前的三种动态网页技术：JSP、ASP.NET和PHP。分别介绍了...
如何爬取动态网页的数据？Python实战案例 前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作...动态网页具有减少工作量、内容更新快、可完成功能多等特点，被很多公司所采用，比如狗东、某
动态网页和静态网页之间的区别？ 运行于客户端的程序、网页、插件、组件，属于静态网页， 静态网页和动态网页各有特点，网站采用动态网页还是静态网页主要取决于网站的功能需求和网站内容的多少，如果网站功能比较简单，内容更新量不是很大，采用纯...
Python如何爬取动态网页内容 根据权威机构发布的全球互联网可访问性审计报告，全球约有四分之三的网站其内容或部分内容是通过JavaScript动态生成的，这就意味着在浏览器窗口中“查看网页源代码”时无法在HTML代码中找到这些内容，也就是说我们...
静态网页与动态网页的区别 动态网站也可以采用静动结合的原则，适合采用动态网页的地方用动态网页，如果必要使用静态网页，则可以考虑用静态网页的方法来实现，在同一个网站上，动态网页内容和静态网页内容同时存在也是很常见的事情。...
Android中获取网页中的指定内容源码 得到网页中的代码，再通过jsoup进行解析和遍历以得到指定的内容。 里面包含了jsoup-1.7.2.jar。该程序是基于android4.0下编写的。欢迎大家提出建议。
如何爬取动态网页信息① 关于静态和动态网页的区别， 小马夫 https://www.cnblogs.com/bluesungz/p/5955170.html 这篇文章已经讲得很清楚了。简单来说，要获取静态网页的网页数据只需要给服务器发送该网页url地址就行，而动态网页的数据因为...
如何实现动态网页 所谓“动态”，并不是指放在网页上的GIF图片，动态网页技术有以下几个特点： 1. "交互性"，即网页会根据用户的要求和选择而动态改变和响应,将浏览器作为客户端界面,这将是今后WEB发展的大势所趋. 2. &...
手把手教你利用爬虫爬网页（Python代码） 从待抓取URL队列中读取待抓取队列的URL，解析DNS，并且得到主机的IP，并将URL对应的网页下载下来，存储进已下载网页库中。此外，将这些URL放进已抓取URL队列。 分析已抓取URL队列中的URL，从已下载的网页数据中分析...
静态网页和动态网页的区别 使用HTTP协议发起一个请求（Request），告诉服务器我现在需要得到哪个页面，所有的请求交给Web服务器，之后WEB服务器根据用户的需要，从文件系统（存放了所有静态页面的磁盘）取出内容。之后通过Web服务器返回给...
C#获取动态网页中的数据 C#获取动态网页中的数据 在实际工作需求中，编辑的文档需要获取历史地震的信息，所以利用计算机语言获取是一个简化人工操作的必要过程，本文分享一下自己第一次获取交互信息的爬虫经历！ 操作流程 我要获取的信息如...
提取网页中动态加载的内容 网页源代码与用chrome审查内容不同，查看网页源代码，发现浏览器对源代码动态渲染加载过得到我们所见的网页。与很多爬虫教学视频不同，这个网址有以下几个问题： 1、查找后左边这个文件的response中有我需要的网址...
爬虫学习----动态网页爬取 一、动态网页爬取介绍 在许多网站中，都使用javascript编写网站，很多内容不会出现在HTML源代码中，所以不能使用之前爬取静态网页的方法。有一种异步技术叫AJAX，它的价值在于通过后台与服务器进行少量数据变换就...
怎么区分静态网页和动态网页 静态网页是网站建设的基础，静态网页和动态网页之间也并不矛盾，为了网站适应搜索引擎检索的需要，即使采用动态网站技术，也可以将网页内容转化为静态网页发布。 一、静态web页面，一般指html： 1、在静态Web程序中...
Python3网络爬虫：requests爬取动态网页内容 这次抓取的动态网页是个壁纸网站,上面有精美的壁纸,我们的目的就是通过爬虫,把该网站上的壁纸原图下载到本地 网站url: https://unsplash.com/ 已知该网站是动态网站,那就需要通过抓取网站的js包来分析,它是...
Web前端开发学习2：动态网页 一动态网页概述 动态网页是与静态网页相对应的，也就是说，网页 URL的后缀不是htm、html、shtml、xml等静态网页的常见形 式，而是以·aspx、.asp、.jsp、.php、.perl、.cgi等形式为后缀，并且在动态网页网址中有一...
