【请教】为什么百度爬虫请求UTF-8网站的网站URL里的中文参数是乱码?

anoxia 2010-09-13 03:18:08
如题:
网页request和response都设成了UTF-8

网页中有很多链接如下所示:
http://localhost:3255/keywords/%e9%85%b76.html
http://localhost:3255/keywords/%e6%b1%9f%e5%8d%97%e6%98%a5.html
http://localhost:3255/keywords/%e8%bf%aa%e5%a3%ab%e5%b0%bc.html
在站内统计时看到百度请求的地址是类似:
http://localhost:3255/keywords/閲戝北姣掗湼.html
http://localhost:3255/keywords/浼犲獟.html
因此记录关键字keywords被访问的情况时,就都成了乱码
查站内访问统计时间,出现乱码的时候都是百度爬虫(我日了)
Baiduspider+(+http://www.baidu.com/search/spider.htm)

目的:
希望在任何访问http://localhost:3255/keywords/******.html页面的时候将******记录,且保证记录的时候不是乱码。
PS:不要建议我屏蔽百度爬虫,谢谢!
...全文
347 10 打赏 收藏 转发到动态 举报
写回复
用AI写文章
10 条回复
切换为时间正序
请发表友善的回复…
发表回复
Dhoopu 2011-04-19
  • 打赏
  • 举报
回复
gb2312 ?
自然框架 2011-04-19
  • 打赏
  • 举报
回复
/%e9%85%b76.html
这个是编码

閲戝北姣掗湼.html
这个是解码解错了。
blue999ice 2011-04-18
  • 打赏
  • 举报
回复
网结构里尽量避免中文目录和中文文件名
子夜__ 2011-04-18
  • 打赏
  • 举报
回复
编码要统一
mianmian2323 2011-04-18
  • 打赏
  • 举报
回复
百度乱码很严重的问题。。。
Canny 2010-09-13
  • 打赏
  • 举报
回复
你如果选用中文 最好不要用url
lishuai1030 2010-09-13
  • 打赏
  • 举报
回复
嘿嘿 帮顶 应该是编码的问题了
ruiandli 2010-09-13
  • 打赏
  • 举报
回复
应该是编码的问题,最好把带有中文的URL进行下编码
wwfgu00ing 2010-09-13
  • 打赏
  • 举报
回复
是不是编码的问题
jshi123 2010-09-13
  • 打赏
  • 举报
回复
最好不要用中文url,如果是百度过来的请求,可以用Encoding.UTF8.GetString(Encoding.GetEncoding("gb2312").GetBytes(url))转换编码
代码下载地址: https://pan.quark.cn/s/ee8627e4e6d7 ABAP调试器是一种功能强大的工具,可用于在执行期间对ABAP代码进行检验。除了常规的核心功能(例如逐行运行代码以及检验变量、字段符号和引用的值)之外,它还提供了一些辅助性的特性,能够简化并压缩调试会话的时长。并非所有使用者都熟悉这些辅助特性。SAP ABAP调试器是处理和优化ABAP代码开发与维护工作的核心资源,它配备了多样的功能来协助开发人员在运行状态下进行检验和排除故障。此资源着重阐述了ABAP调试器的一些高级特性,涵盖了深入分析调用堆栈、系统级调试、更新会话调试以及提升调试效率的方法。 1. **深入分析调用堆栈**:除了常规的应用程序调试,开发人员有时需要对调用堆栈的内部层级进行深入调试,特别是在错误出现在异步执行的更新处理或系统级程序时。通过启用**系统级调试**,可以访问通常不公开的系统代码,但这也会导致调用堆栈的显著增加,因此需要审慎操作。 2. **系统级调试**:对于不含业务逻辑的系统级程序,开发人员通常无需进行调试。然而,在特定情形下,例如进行错误追踪时,可能需要进入系统代码。借助调试器的“系统调试启用/禁用”选项,可以赋予对系统程序的调试权限。 3. **更新会话调试**:在处理异步更新任务,例如持久化业务数据时,错误可能发生在更新任务内部。激活**更新会话调试**,在更新任务完成后,调试器将自动启动,展示执行路径。比如,在变更成本中心后,通过输入调试指令 "/h" 启动调试,保存后能够看到更新过程中的错误。 4. **分析调用堆栈**:在进行深入调试时,调用堆栈是至关重要的。通过分析调用堆栈,能够定位到引发问题的具体位置,如在VB_V2_NORMAL...
内容概要:本文档为一项关于“价格型需求响应”背景下配电网供电能力综合评估的硕士论文复现资源,采用Python语言实现核心算法与模型。内容系统涵盖了需求侧响应机制建模、基于电价引导的负荷调整策略、配电网供电能力的量化评估方法,并通过编程仿真对实际配电系统进行分析,重点复现了原论文中的数学模型、优化求解流程及关键结果,旨在提升配电网运行效率与供电可靠性,同时为相关研究提供可复用的代码基础。; 适合人群:具备一定电力系统基础知识和Python编程能力的研究生、科研人员及从事智能电网、需求响应、配电网规划等相关工作的技术人员。; 使用场景及目标:①复现并深入理解硕士论文中关于价格型需求响应与供电能力评估的理论模型与实现方法;②应用于学术研究、课程设计或科研项目,开展需求响应策略仿真与配电网承载力分析;③作为科研参考,支撑高水平论文撰写、课题申报及算法二次开发。; 阅读建议:建议结合文档中的代码逐行调试,深入理解优化模型的构建逻辑与求解过程,同时可对比相关Matlab版本实现,以全面掌握不同编程环境下算法实现的异同,进而深化对技术细节与工程应用的理解。

62,271

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术交流专区
javascript云原生 企业社区
社区管理员
  • ASP.NET
  • .Net开发者社区
  • R小R
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见,支持健康理性的辩论和互动,反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧