Bingbot抓取中文乱码问题

竹贤侄 2016-07-06 11:51:19
页面的链接是这样的:
list.html?city=%E5%8C%97%E4%BA%AC
用浏览器直接打开或其它搜索引擎都能正常访问到:
list.html?city=北京


但是bingbot 进来的却是:
list.html?city=å<U+008C><U+0097>京

HTTP/1.1" 200 29927 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bi
ng.com/bingbot.htm)" "40.77.167.104"

网站编码没问题,UTF-8的

网站是用的nodejs写的,求大神支招怎么翻译?服务器用的aws 负载均衡再走nginx然后用forever启动nodejs
...全文
799 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
竹贤侄 2016-07-06
  • 打赏
  • 举报
回复
大神在哪里?

2,760

社区成员

发帖
与我相关
我的任务
社区描述
搜索引擎的服务器通过网络搜索软件或网络登录等方式,将Internet上大量网站的页面信息收集到本地,经过加工处理建立信息数据库和索引数据库。
社区管理员
  • 搜索引擎技术社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧