非阻塞socket 爬虫代码

[qq675927952]

要爬http://feeds.delicious.com/v2/rss/tag/%E8%80%90%E5%85%8B?count=100这个页面,
如何用非阻塞的 socket来 爬,求高手指点..最好有解释...

import java.io.IOException;
import java.net.InetSocketAddress;
import java.net.Socket;
import java.nio.ByteBuffer;
import java.nio.channels.SelectionKey;
import java.nio.channels.Selector;
import java.nio.channels.SocketChannel;

public class SocketNonBlock {
	public static SocketChannel createSocketChannel(String hostName, int port)
			throws IOException {
		SocketChannel sChannel = SocketChannel.open();
		sChannel.configureBlocking(false);
		sChannel.connect(new InetSocketAddress(hostName, port));
		sChannel.finishConnect();
		return sChannel;
	}

	public static void main(String[] args) {
		try {
			
			// 创建链接
			SocketChannel sChannel = createSocketChannel("feeds.delicious.com", 80);
			ByteBuffer buffer = ByteBuffer.allocate(8 * 1024);   
			// 可以通过判断是否连接，在链接成功建立前做一些其它的事情
			while (!sChannel.finishConnect()) {
				System.out.println("等待非阻塞连接建立....");
				try {
					Thread.sleep(10);
				} catch (InterruptedException e) {
					e.printStackTrace();
				}
			}
			System.out.println(sChannel.isConnected());
		
		
		} catch (Exception e1) {
		}
	}
}

上述代码 就是只能 connect不知道 怎么获取 该网页内容.求好心人帮忙.....

[fly_cool]

帮忙顶一下，我最近也在看socket

[lvhongfen]

既然能连接上，就可以获取网页的内容。
我们总监也在做爬虫，听他说好像是根据网页源码的标签来抓取内容的……

要不你分析一下它的标签，试试看

[火龙果被占用了]

如果你这样弄的话，那你要做的不是怎么写爬虫，而是怎么去实现 HTTP 协议客户端！

[xiaozhuzai0823]

lz解决了吗，我也遇到这个问题，求解啊 [e-mail] 谢！！