python爬虫的若干问题

[mails2008]

写在用paython写一个爬虫相对简单了很多，用requests, beautifulsoup，在懂点正则和网络知识，基本上就能简单爬取一个网站了。
但是现实中遇到很多问题，比如字体编码，网站限制，客户端重定向，验证码,ajax等问题。每个网站的结构不同,正则也不同。
或许只能广泛的搜索和保存连接和标题？
有没有好的方法，在网络上采集关键字内容呢？
互联网海洋的水太深了，大海捞针，想法美好，现实残酷。

[从此不换网名]

虽然我不懂，但我帮你顶起来！！希望有一天我能帮你！顺便问一下楼主，python好学习吗？go语言可以写爬虫吗？