golang 中 http.Get 判断获取的内容是不是跳转得到的

weixin_38067813 2019-09-20 10:38:53

有时候，爬虫抓取网页的时候，得到的内容是跳转域名后得到的内容。我想要判断出是不是经过域名跳转，用http.get抓取的时候。这个怎么办，请高手指点迷津。

...全文

118 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38095150 2019-09-20

打赏
举报

回复

在http.Client中的CheckRedirect 有你想要的东西，一般人我不告诉他

weixin_38102396 2019-09-20

打赏
举报

回复

谢谢

golang基础教程-go语言快速入门

中科院 Go 中的极简 CAS 服务器。这里目前有效：基本工作流程（/login、/validate、/serviceValidate）信任身份验证（默认禁用） /logout（暂时没有 SLO）准确的服务主机的简单白名单（通配符可能有一天会出现） REST API CAS代理简单实现中间件系统失败的登录尝试限制（目前非常原生） GoCAS 需要 MongoDB 服务可用。可用的身份验证器是：虚拟（用户名应等于密码，用于测试目的） LDAP 半径此外，还支持以下服务器协议： CAS（废话！） OAuth2 配置可以在gocas.yaml.example 中找到详尽的配置示例。配置文件的位置可以通过开关-config给出。构建并运行 $ cd $GOPATH $ go get -u github.com/apognu/gocas $ go i

这两天在开发项目的时候遇到了一个问题，请求了一个URL，它会302到另一个地址，本意上只是想检查这个URL是否会做3XX的redirect跳转，结果每次reqeust都会返回最后一跳的结果。后来就看了下源码，了解下请求跳转的机制实现代码看下实现的简单代码 func main() { client := &http.Client{} url := "http://www.qq.com" reqest, err := http.NewRequest("GET", url, nil) if err != nil { panic(err) } response, _ := cli

用于在linux开发golang的整套vim插件包之goprojects

手撕Go语言v1.1.pdf

其他技术讨论专区

476

社区成员

791,036

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章