-
等级
本版专家分：531结帖率 93.88% -
目前正在做网络爬虫，环境是windows下的，在抓取网页时打算选择非阻塞单线程的方式抓取网页，请问利用socket编程如何实现？展开阅读全文
-
等级
本版专家分：269 -
非阻塞模式下，通常需要提供一回调函数，当操作系统“告诉你你向系统请求的操作已经完成了”的方式就是调用你的回调函数。说简单点，就是你实现将我要如何处理事情的结果制定好，然后告诉系统，系统会在合适的时候执行。
-
等级
本版专家分：8962 -
很多方式。 看看socket的五种模式吧。
-
等级
本版专家分：531
-
这是我在网上下的非阻塞连接的代码，但是连接时说函数没定义，我的编译环境是code::blocks gcc编译器，请问还需加什么头文件么？
#include <winsock.h>
#include <stdio.h>
#include <conio.h>
#include <sys/types.h>
#include <sys/timeb.h>
#include <iostream>
#pragma comment(lib, "ws2_32")
using namespace std;
int main()
{
WSADATA wsd;
SOCKET cClient;
string url = "www.sina.com.cn";
int send_time = 6000;
int recv_time = 6000;
int ret;
struct sockaddr_in server;
hostent *host=NULL;
if(WSAStartup(MAKEWORD(2,0),&wsd))
{
cerr<<"WSAStartup error";
return 0;
}
cClient=socket(AF_INET,SOCK_STREAM,IPPROTO_TCP);
if (cClient==INVALID_SOCKET)
{
cerr<<"socket error";
return 0;
}
//set Recv and Send time out
if (::setsockopt(cClient,SOL_SOCKET,SO_SNDTIMEO,(char *)&send_time,sizeof(send_time))==SOCKET_ERROR)
{
cerr<<"setsockopt error";
return 0;
}
if (::setsockopt(cClient,SOL_SOCKET,SO_RCVTIMEO,(char *)&recv_time,sizeof(recv_time))==SOCKET_ERROR)
{
cerr<<"setsockopt error";
return 0;
}
//设置非阻塞方式连接
unsigned long ul = 1;
ret = ioctlsocket(cClient, FIONBIO, (unsigned long*)&ul);
if (ret==SOCKET_ERROR)return -1;
//连接
if ((host = gethostbyname(url.c_str())) == NULL)
{
cout<<"gethostbyname error";
exit(-1);
}
server.sin_family = AF_INET;
memcpy(&server.sin_addr,host->h_addr,host->h_length);
printf("%s",inet_ntoa(server.sin_addr));
connect(cClient,(const struct sockaddr *)&server,sizeof(server));
//select 模型，即设置超时
struct timeval timeout ;
fd_set r;
FD_ZERO(&r);
FD_SET(cClient, &r);
timeout.tv_sec = 15; //连接超时15秒
timeout.tv_usec =0;
ret = select(0, 0, &r, 0, &timeout);
if ( ret <= 0 )
{
::closesocket(cClient);
return 0;
}
//一般非锁定模式套接比较难控制，可以根据实际情况考虑 再设回阻塞模式
unsigned long ul1= 0 ;
ret = ioctlsocket(cClient, FIONBIO, (unsigned long*)&ul1);
if (ret==SOCKET_ERROR)
{
::closesocket (cClient);
return 0;
}
}
-
等级
本版专家分：8962
-
LZ 你下的是Windows的，在Liunx下编 行不行啊。。。
-
等级
本版专家分：42492勋章
-
-
红花
2010年7月 C/C++大版内专家分月排行榜第一
2010年6月 C/C++大版内专家分月排行榜第一
2010年4月 C/C++大版内专家分月排行榜第一
-
-
蓝花
2010年5月 C/C++大版内专家分月排行榜第三
2010年3月 C/C++大版内专家分月排行榜第三
2010年1月 C/C++大版内专家分月排行榜第三
-
-
code blocks编译可能需要配置链接dll吧。google一下如果配置环境吧。
- 在Windows下用VS编程多线程
Windows.h> #include <iostream> #define THREAD_NUM 10 using namespace std; static int times = 0; DWORD WINAPI Thread_Test(void* plgram) { int tmp = *(int*)plgram; printf_s("...
- Winsocket入门教程二:非阻塞式服务器和客户端程序(TCP)
上次为大家介绍了阻塞式多线程服务端程序和阻塞式客户端程序的设计方法，但是在上文的最后也提到过，服务器程序会因为建立连接和关闭连接而频繁的创建和关闭线程会产生大量的内存碎片，从而导致服务端程序不能保证...
- Windows Socket 非阻塞模式开发
转载自：http://blog.csdn.net/ithzhang/article/details/8274596 非阻塞套接字 ... 非阻塞模式是指：套接字在执行操作时，调用的函数不管操作是否完成都会立即返回的工作模式。
- 非阻塞模式 多线程 《客户端与服务器算数运算》 TCP/IP通信 之一 客户端实现
代码来源于 》》》》》》》》》》》》》》》》》》》》》 Windows Sockets网络开发VC++ 这本书 在stdafx.h 中添加 #pragma comment(lib,"ws2_32.lib") //funtiondec.h #include "winsock2.h&...
- 基于非阻塞socket的多线程服务器的实现------一个服务器如何与多个客户端进行通信？
我们首先来看服务端（涉及非阻塞socket和多线程）： #include #include #include #pragma comment(lib, "ws2_32.lib") #define BUF_SIZE 100 sockaddr_in addrClient; // 为了让通信线程获取ip // 通信线程 ...
- Java基础知识面试题（2020最新版）
文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性？原理是什么Java语言有哪些特点什么是字节码？采用字节码的最大好处是什么什么是Java程序的主类？应用程序和小程序的...
- Qt：Qt实现Winsock网络编程—非阻塞模式下的简单远程控制的开发（WSAAsyncSelect）
Qt实现Winsock网络编程—非阻塞模式下的简单远程控制的开发（单线程） 前言 这边博客应该是 Qt实现Winsock网络编程—TCP服务端和客户端通信（多线程） 的姐妹篇，上篇博客中的socket通信中所用的Windows api函数 ...
- Java面试题大全（2020版）
发现网上很多Java面试题都没有答案，所以花了很长时间搜集整理出来了这套Java面试题大全，...JDK：Java Development Kit 的简称，java 开发工具包，提供了 java 的开发环境和运行环境。 JRE：Java Runtime Environ...
- Netty：一个非阻塞的客户端/服务器框架
Netty：一个非阻塞的客户端/服务器框架作者：chszs，转载需注明。博客主页：http://blog.csdn.net/chszsNetty是一个异步事件驱动的网络应用框架，为Java网络应用的开发带来了一些新活力。Netty由协议服务器和客户端...
- 2020最新Java面试题，常见面试题及答案汇总
发现网上很多Java面试题都没有答案，所以花了很长时间...JDK：Java Development Kit 的简称，java 开发工具包，提供了 java 的开发环境和运行环境。 JRE：Java Runtime Environment 的简称，java 运行环境，为 jav...
- 服务器模型——从单线程阻塞到多线程非阻塞（上）
* 单线程非阻塞I/O模型 * 多线程非阻塞I/O模型，Reactor及其改进前言这里探讨的服务器模型主要指的是服务器端对I/O的处理模型。从不同维度可以有不同的分类，这里从I/O的阻塞与非阻塞、I/O处理的单线程与多线程角度...
- 非阻塞模式WinSock编程入门
使用WinSock的非阻塞模式进行网络编程。
- NIO实现非阻塞Socket编程
基于阿里面试时，面试官问我，我做的聊天项目里，考虑过性能没有，是怎么解决程序卡顿现象的，针对客户端，当在发送文件时，如果卡顿，怎么办，同时想聊天，当时程序我是基于多线程实现的，在客户端里，聊天时启动...
- SpringCloud面试题(一)
说下开发项目中遇到的坑? 优点: 1.每个服务直接足够内聚，代码容易理解 2.开发效率高，一个服务只做一件事，适合小团队开发 3.松耦合，有功能意义的服务。 4.可以用不同语言开发，面向接口编程。 5.易于第三方集成 6...
- 网络编程中阻塞与非阻塞、同步与异步、I/O模型的理解
程序员12月书讯，写书评领书啦~ ...
- 史上最全面Java面试汇总（面试题+答案）
JAVA面试精选【Java算法与编程一】 JAVA面试精选【Java算法与编程二】 Java高级工程师—面试(1) Java高级工程师—面试(2) Java高级工程师—面试(3) BAT/网易等面试心得 阿里历年面试题 Java中高级面试题 ...
- 单线程、事件驱动、异步非阻塞的nginx
nginx（发音"engine x"）是俄罗斯软件工程师Igor Sysoev开发的免费开源web服务器软件。nginx于2004年发布，聚焦于高性能，高并发和低内存消耗问题。并且具有多种web服务器功能特性：负载均衡，缓存，访问控制，带宽...
- Python网络编程基础笔记-poll实现非阻塞socket
非阻塞socket的使用(此程序在ubuntu linux上测试,Windows没有select.poll) 监控socket的三个状态:IN/ERR/HUP 程序以5000ms的时间长度为间隔,如果有客户端的请求,接收连接并进行显示;如果没有的话, 每
- java socket通信I/O阻塞>多线程实现非阻塞通信
简单的java socket通信，多个客户端同时连接，功能可在此基础上进行扩展。效果如图：server：package com.lb.LB_Socket;import java.io.BufferedReader; import java.io.IOException; import java.io....
- 服务器模型——从单线程阻塞到多线程非阻塞（上）
该系列分成三部分：单线程/多线程阻塞I/O模型单线程非阻塞I/O模型多线程非阻塞I/O模型，Reactor及其改进前言 这里探讨的服务器模型主要指的是服务器端对I/O的处理模型。从不同维度可以有不同的分类，这里从I/O的...
- Linux下套接字详解（八）----select模式下服务器（非阻塞，单进程+多进程+多线程）
前言首先让我们回顾一下子我们之前都讲了那些最开始我们将了一下子Linux下套接字详解（一）—-TCP/UDP的区别与联系其中简要提到了三次握手与四次挥手，但是不是很详尽，于是我转载了一篇 Linux下套接字详解（补充）...
- 【PHP基础学习】—PHP异步非阻塞的实现方法
由于PHP本身是一种单进程的语言，每次请求在apache都是一个进程，在Nginx和fastCGI里面每个请求时一个单独的worker线程，而且在各个服务器里面的请求都是阻塞的，所以有些大批量的复杂逻辑或文本处理会导致请求响应...
- Redis面试题集
Redis为什么是单线程的？2. Redis 支持的数据类型有哪些？合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右...
- 前端面试题
你做的页面在哪些流览器测试过？这些浏览器的内核分别是什么? 21 每个HTML文件里开头都有个很重要的东西，Doctype，知道这是干什么的吗？ 21 Quirks模式是什么？它和Standards模式有什么区别 21 div+css的布局较...
- js面试题
JavaScript 的组成 JavaScript 由以下三部分组成： ECMAScript（核心）：JavaScript 语言基础 ...BOM（浏览器对象模型）：提供了浏览器窗口之间进行交互的对象和方法 JS 的基本数据类型和引用数据类型 ...
- Socket编程总结—Android手机服务器与多个Android手机客户端之间的通信(非阻塞)
根据前两周写的关于Socket编程的网络通信的代码，现在对有关知识和注意事项进行总结如下： ...1.首先说下Android NIO中有关Socket编程的类： 1）ServerSocketChannel类：服务器套接字通道相当于传统I
- 用多线程枝术实现Winsock编程
作者：王广伟 李维钊一、Windsock简介 Winsock(Windows Sockets)是微软的窗口系统结构(WOSA)的一部分。它是基于UNIX上的 Ber Keley Software
- 一起来写web server 06 -- 单线程非阻塞IO版本
非阻塞IO的读写在谈到非阻塞IO之前,必须先谈一谈阻塞IO,在网络编程中,我们假设有一个监听套接字的sockfd,这个sockfd是你调用了socket,listen, bind这一大票的函数得到的一个文件描述符.其实它默认就是阻塞的,具体的...
- TCP-IP学习笔记三：NIO的网络编程-单线程实例
单线程实例标签（空格分隔）：NIO 网络编程NIO网络编程-单线程 对于BIO的网络编程存在一些问题，NIO的出现就是对BIO的完善，在学习NIO之前要了解NIO的整体设计，也就是要知道为什么NIO能够做到不阻塞？如何做到的不...
- Node.js 是什么？Node.js与JavaScript的区别是什么？
Node.js是一个Javascript运行环境(runtime)。Node.js与JavaScript的区别是什么？本质： Javascript是一种web前端语言，主要用于web开发中，由浏览器解析执行 Node....