想用C++写一个网络爬虫

[d-o]

为了学习网络协议，数据库，我想到一个小项目：用C++写一个爬虫程序，把某个网站爬下来，放入数据库，再进行分析。不知道这个想法可行性怎么样，大家有什么建议？如果可行，会遇到哪些问题？

[ArdourCareful]

兄台在达内培训？？

[mxway]

可以，但个人觉得把网站爬下来的内容放到数据库有些不妥，每个网页的内容很多。后期进行查询时会很浪费，何不把爬下来的内容直接存入到文件中。 可能会遇到的问题： 1.解析出每个页面内容中的超链接。 2.判断页面是否已经访问过。

[d-o]

引用 1 楼 mxway 的回复:

可以，但个人觉得把网站爬下来的内容放到数据库有些不妥，每个网页的内容很多。后期进行查询时会很浪费，何不把爬下来的内容直接存入到文件中。 可能会遇到的问题： 1.解析出每个页面内容中的超链接。 2.判断页面是否已经访问过。

哦，本来想练数据库操作来着。这样的话，就把网页的一些重要信息保存在数据库就行了。比如吧访问过的网页的URL放进去，遇到新链接的时候查询下是不是有存档了。解析超链接的话，应该是先解析出字符串来，发送一个新的请求。这么一想，可能需要多线程，又牵扯到数据同步，需要搞的东西好多啊。