帮忙调试，一小段抓取网页的C程序！

2009-12-16 10:20:06 197 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

Python网页抓取教程 — Python网页抓取教程:循序渐进 — 抓取网页入门其实挺简单的。在之前的文章中我们介绍了怎么用C#和JAVA两种方法来抓取网页，这一期给大家介绍一种更容易，也是使用最广泛的一种抓取方法，那就是Python。说起Python，大家应该并不陌生，它是目前入门最简单的一种方法了，因为它是一种面向对象的语言。Python的类和对象比任何其他语言都更容易使用。此外，Python存在许多库，因而在Python中构建用于网页抓取的工具轻而易举。在这篇Python网络抓取教程中，我们将分步骤讲解如何利.. 阅读详情

从网上抄的一段代码，
用于抓取指定的网页。
代码如下：

#include <stdio.h>

#include <stdlib.h>

#include <string.h>



//#ifndef _WIN32

#include <sys/socket.h>

#include <netinet/in.h>

#include <arpa/inet.h>

#include <netdb.h>

//#endif



char* host = "www.baidu.com";  //指定为抓取www.baidu.com页面

int port = 80;



int main(void)

{

        char buffer[4096];

        int isock;

        struct sockaddr_in pin;

        struct hostent * remoteHost;

        char message[512];

        int done = 0;

        int chars = 0;

        int l = 0;



        if( (remoteHost = gethostbyname(host)) == 0 )

        {

                printf("Error resolving host\n");

                exit(1);

        }



        bzero(message,sizeof(message));

        bzero(&pin,sizeof(pin));

        pin.sin_family = AF_INET;

        pin.sin_port = htons(port);

        pin.sin_addr.s_addr = ( (struct in_addr *)(remoteHost->h_addr) )->s_addr;



        if( (isock = socket(AF_INET, SOCK_STREAM, 0)) == -1)

        {

                printf("Error opening socket!\n");

                exit(1);

        }

        sprintf(message, "GET / HTTP/1.1\r\n");

        strcat(message, "Host:www.baidu.com\r\n");

        strcat(message, "Accept: */*\r\n");

        strcat(message, "User-Agent: Mozilla/4.0(compatible)\r\n");

        strcat(message, "connection:Keep-Alive\r\n");

        strcat(message, "\r\n\r\n");



        printf("%s",message);



        if( connect(isock, /*(void *)*/ (const sockaddr*)&pin, sizeof(pin)) == -1 )

        {

                printf("Error connecting to socket\n");

                exit(1);

        }



        if( send(isock, message, strlen(message), 0) == -1)

        {

                printf("Error in send\n");

                exit(1);

        }



        while(done == 0)

        {

                l = recv(isock, buffer, 1, 0);

                if( l < 0 )

                        done = 1;

                switch(*buffer)

                {

                case '\r':

                        break;

                case '\n':

                        if(chars == 0)

                                done = 1;

                        chars = 0;

                        break;

                default:

                        chars++;

                        break;

                }

                printf("%c",*buffer);

        }



        printf("begin to crawling page\n");



        do

        {

                l = recv(isock, buffer, sizeof(buffer) - 1, 0);

                if( l < 0 )

                        break;

                *(buffer + l) = 0;

                fputs(buffer, stdout);

        }while( l > 0 );



//      close(isock);

        shutdown(isock, SHUT_RDWR);

        return 0;

}