，愁...有没有人有个例子可以给我参考下啊
-
等级
本版专家分：0结帖率 100% -
最近 刚来个需求 ，写爬虫 爬取公司系统里的数据，爬虫以前都没有接触过啊.....，刚写了几个例子 模拟登陆的都不成功，愁...有没有人有个例子可以给我参考下啊
展开阅读全文
-
等级
本版专家分：32802勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
-
黄花
2020年5月 Java大版内专家分月排行榜第二
2020年4月 Java大版内专家分月排行榜第二
2017年11月 Java大版内专家分月排行榜第二
2017年9月 Java大版内专家分月排行榜第二
-
-
蓝花
2020年8月 Java大版内专家分月排行榜第三
2020年6月 Java大版内专家分月排行榜第三
2019年8月 Java大版内专家分月排行榜第三
2017年8月 Java大版内专家分月排行榜第三
2017年4月 Java大版内专家分月排行榜第三
2016年3月 Java大版内专家分月排行榜第三
-
-
你的目标网站什么？不同的网站有不同的登陆处理
-
等级
本版专家分：0
-
类似 于登录csdn的吧，是不是需要模拟登陆一遍 拿到登录信息 带这个去打开 需要爬取的数据的连接？
自己试没成功过。
public static void main(String[] args) throws Exception{
String username = "******";
String password = "******";
String session = getsessionInfo(username, password);
// spiderWebsite(session, "****");
}
//获取sessionId data("loginname", username,"agentpwd",pwd)
private static String getsessionInfo(String username , String pwd) throws Exception{
//登录网站
Connection.Response res =Jsoup.connect("https://passport.csdn.net/account/verify")
.userAgent("Mozilla/5.0 (Windows NT 6.1; W…) Gecko/20100101 Firefox/58.0")
.data("username", username,"password",pwd)
.method(Connection.Method.POST)
.timeout(10000)
.execute();
System.out.println("返回得状态吗"+res.statusCode());
//获取session id
String session = res.cookie("JSESSIONID");
return session;
}
//爬取目标网站
// private static void spiderWebsite(String sessionid,String url) throws Exception{
//
// //爬取
// Document doc = Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.1; W…) Gecko/20100101 Firefox/58.0")
// .cookie("JSESSIONID", sessionid).timeout(10000).post();
// System.out.println(doc);
//
//
// }
-
版主
等级
本版专家分：12106勋章
-
-
榜眼
2009年 总版技术专家分年内排行榜第二
2005年 总版技术专家分年内排行榜第二
-
- 进士 2018年总版新获得的技术专家分排名前十
-
-
银牌
2009年7月 总版技术专家分月排行榜第二
2009年3月 总版技术专家分月排行榜第二
2009年1月 总版技术专家分月排行榜第二
2005年7月 总版技术专家分月排行榜第二
2005年5月 总版技术专家分月排行榜第二
2005年3月 总版技术专家分月排行榜第二
-
-
优秀版主
优秀小版主
2015年8月优秀小版主
2015年9月优秀小版主
2015年5月优秀小版主
2015年2月论坛优秀版主
-
-
需要先登陆。不然很多link没法访问
-
等级
本版专家分：5307勋章
-
- 红花 2018年3月 Java大版内专家分月排行榜第一
-
- 黄花 2018年2月 Java大版内专家分月排行榜第二
-
-
这东西还是百度吧~~
-
等级
本版专家分：6589
-
就怕有烦人的验证码 ocr识别
httpclient 做模拟登陆http https
jsoup爬取内容或对内容操作
搜索关键字找资料
另外都是公司的系统不能从dblink下手?
-
等级
本版专家分：0
-
登陆之后 ，还要一个页面一个页面的跳转下去吗。。直到自己想取数据的页面？ 我试了登录之后直接打开目标url不行，中间主页面还要启动一个network connect什么的 不启动打不开后续的页面.........好恶心 对了项目是部署到国外得
-
等级
本版专家分：0
-
爬虫目前进度到这 遇到这种问题有没有人见过
需要打开这个Network connect才能继续访问下面的页面，不知道在爬虫中怎么打开执行这个程序 ，头疼
，本来想用Java执行js方法试试可是不能识别window对象 ，报错
- 新人求助，BeautifulSoup库未写明解析器警告，这个问题该如何解决
一运行就显示这样， GuessedAtParserWarning: No parser was explicitly specified, so I'm using the best available HTML parser for this system ("lxml"). This usually isn't a problem, but if you run this ...
- Python入门新人，求助
在《利用Python进行数据分析》当中，编程环境是：控制台 Ipython 进入 pylab模式，再继续之后的编程工作，我不太明白这样做的优点是什么？之前看的《Python：从入门到实践》，一直是在文本编辑器中编写程序，再运行...
- 系统运行窗口提示错误：找不到符号
程序代码：错误：这是怎么回事，新人求助
- 《Python编程：从入门到实践》第16章收盘价周日均值作图问题？
新人求助，按照书上的步骤写的代码，为啥周别又会重新回到个位数？ 照着网上的代码超了运行之后，还是会出现这个问题，实在找不到问题在哪里？求大神指点。在这里插入图片描述]...
- 新人求助，关于c语言程序运行结果的问题
 为什么我的程序输入同样的数字，运行结果第一次是错的，后面都是对的
- 新人求助 为什么运行不显示 感觉没问题啊
``` #include #include #include #define Maxsize 50 typedef struct { int data[Maxsize]; int length; }Sqlist; void ListInsert(Sqlist *l,int i,int e) { int j;...
- 新人求助：这个函数运行不了是为什么
# coding:utf-8 __author__ = 'Helen' ''' description:driver配置 ''' from appium import webdriver class driver_configure(): @property def get_driver(self): '''获取driver''' ... self.desir.
- 新人求助！怎么让wince的控制台程序后台运行？
把一个wince的测试程序移植到自己的wince程序上后，自己的程序运行的时候也会运行控制台程序，怎么在运行自己程序的时候让控制台程序后台运行
- 求助！找不到run窗口，运行了没有结果
idea新人，不是很懂，能不能有大佬帮我解决一下这个问题，程序能够运行，但是找不到运行的结果，菜单栏里面也找不到run的按键
- 【新人求助】tensorflow在运行inference出现error
这是错误信息，希望大佬帮忙解答 ERROR:tensorflow:================================== Object was never used (type <class 'tensorflow.python.framework.ops.Operation'>): <tf.Operation 'input/...
- 环境变量配置没有问题，程序运行一半到tomcat就会闪退！！新人求助
![这个是正常启动的tomcat，应该说明环境变量没有问题吧，情况是这样的，没有往webapps里面添加war包，tomcat可以正常运行和启动，往里面添加war包后，启动成功后，没有启动完成就会闪退]...!...!...难道是war包有问题？...
- 新人求助，添加监听器后程序停止运行
刚开始学习安卓，看着教程添加了一个button监听器，结果一直报停止运行，代码贴在下边求大神帮助 package com.example.firstandroidapp; import android.support.v7.app.ActionBarActivity; import android....
- 新人求助c++。。上交文件的时候测评出运行时间过长
``` #include using namespace std; int Max (int *p,int l,int r){//分左右两部分分别求最大值，最后比较。总思路递归 int maxl,maxr; if (l == r) return *(p+l); else { maxl = Max(p,l,(l+r)/2)...```
- 新人求助，git中无法使用go
git环境和go语言都安装好了，cmd里面可以使用go，为什么在git里无法使用go
- 新人求助！程序运行时发现错误，报错在注释栏
 如图所示，大佬们，为啥注释这里也会报错啊？ （大佬们，悬赏的那玩意俺没了，觉得这种东西都不会的大佬们也求轻喷）
- 新人求助debain屏幕黑屏问题
大家好，我今天刚安装了debain系统9.6.0，安装了图形界面，锁屏后直接按了关机，重启后显示屏黑屏，主机仍运行。请问是什么原因，怎么解决？
- 【新人求助】python在geany编辑好后执行没结果
同样的代码在命令提示符中就会出现结果，请问这是为什么?
- 新人求助 java for循环生成多个文件，执行到一半卡住不执行的问题
新人求助 java 使用for循环生成多个文件，数量较多已经过千了，方法执行的到一半就卡住了， 数量较少的话完全可以生成完，该关闭的流都已经关闭了，求问解决办法
- 新人求助！！！
什么都不会就照着抖音上的大佬抄了一段代码试试 结果运行之后显示N啊么Error：name ‘infoPrt’ is not defing
- 新人求助各路大神，cocos EditBox 旋转之后无法输入的问题
我现在的情况是在浏览器里面运行游戏，手机不横屏，EditBox没法输入，手机横屏，没有问题，求助各路大神
- 新人求助，刚刚自学c语言就遇见了个问题
要上大学学计算机专业，想要暑假自学一点c语言，结果就这些最简单的代码，我输入进去后编译再运行，就出现图中那种错误。尝试用vc6.0和vs2019都是这样，我觉得我的代码没有打错啊，不知道问题在哪，自己百度也没看...
- 求助！求助！关爱新人！
求助，请问下面代码为什么一运行就死掉了。。。。。#include "stdafx.h"#include#include #include#include using namespace std;#define INIT_LIST_SIZE 20#define ADATION 10#define ERROR 0#define OK 1#...
- 新人求助！Mac已安装jieba库，但是python运行jieba库一直出错，也没有结果输出，看了好多帖子都找不到答案...
Mac已安装jieba库，但是python运行jieba库一直出错，也没有结果输出，见图1，图2. 和词云结合也是输出错误，生成图3.不知道是哪里出现了问题 ![图片说明]...
- 新人求助，%s出错，恳请大佬指点
#include int main() ...VC2017运行以上程序时，键入任意字符后，只要一回车就出错并停止运行。 Ubuntu下（将scanf_s替换成scanf）运行则无任何问题。 在codeblocks下也可以正常运行。 求大神指点。
- 新人求助，c语言问题。
发现当输入字符串超过5个时程序会停止运行，恳请哪位大神帮我看下代码有什么问题。 代码如下： #include #include #include #define BUF_LEN 100 #define COUNT 5 int main(void) { char buf[BUF_LEN]; size_t str_...
- 新人打包apk报错，求助！
如图，程序正常运行，一打包就报错。gradle.properties,已经加入android.enableAapt2=falseappt2已禁用
- 电路布线问题C++程序代码求助,新人求救
 在别处找不到，有的根本不能运行，改了也不成，只能在这里求助了
- 新人求助：关于IOS APP向下兼容的问题
同事的iphone4 系统是4.5的，就运行不了，开发的软件！如何让我的软件向下兼容那个而又不彻底重构代码的情况下，解决这个问题呢？ 小弟我刚学IOS才一个月，希望各位大师指点迷津！不胜感激
- 新人求助，是关于Android主线程和子线程的问题
在编一个百度地图校园导航的程序，程序有时候能运行，有时候不能运行，不能运行时会报这个： android.view.ViewRootImpl$CalledFromWrongThreadException: Only the original thread that created a view hierarchy ...
- 新人菜鸟eclipse求助！！急急急！！！
新人菜鸟，目前在学习安卓开发 然后今天因为不知怎么回事 File Explore显示不出文件。 然后我就百度，结果坑爹了 ... 然后弹出的页面里选择Target ...然后又选择了Always prompt...之后就我所有之前能运行的程序都不能