c#网页数据抓取

rongjhi 2016-03-27 09:04:03

菜鸟求教高手从http://ichart.yahoo.com/table.csv?s=600000.SS&a=08&b=25&c=2010&d=09&e=8&f=2010&g=d个网址下载csv文件并解析处理到 oracle 数据库的c#代码范例。包括用到的命名空间等。

...全文

257 7 打赏收藏转发到动态举报

写回复

用AI写文章

7 条回复

切换为时间正序

请发表友善的回复…

发表回复

shaohanqiao064 2016-03-28

打赏
举报

同意5楼。。

rongjhi 2016-03-28

打赏
举报

我是菜鸟，麻烦大哥给个代码好吗？

by_封爱版主 2016-03-28

打赏
举报

不是很难吧..因为你这本身就是文件..所以先用webclient.downloadfile就可把文件下载到本地. 然后通过npoi读到内存中然后在批量执行insert就行了...

Justin-Liu 2016-03-28

打赏
举报

这不就是一个csv文件么，直接webclient下载就可以

rongjhi 2016-03-28

打赏
举报

String line; String[] split = null; StreamReader sr = new StreamReader(pCsvPath, System.Text.Encoding.Default); 就这一句不支持url是怎么回事？

rongjhi 2016-03-28

打赏
举报

pCsvPath = "http://ichart.yahoo.com/table.csv?s=600000.SS";能不能给个处理这个网站上csv数据的例子。

乐百川 2016-03-27

打赏
举报

你这问题好复杂啊爬虫解析入库代码量可小不了

这两天学习了爬虫的基础，这里简单总结一下。抓取到的网页商品数据，存入Excel表格，效果如下：使用的是 Jumony Core这个引擎，非常强大，近乎完美的HTML解析引擎，支持css3选择器，直接抓取网页文档分析，并根据HTTP头自动识别。抓取博客园站点导航顶端信息示例： var documents = new JumonyParser().LoadDocument("

首先要了解对方网页的运行机制，这可以用httpwacth或者httplook来看一下http发送和接收的数据。这两个工具应该说是比较简单易懂的。这里就不再介绍了。主要关注的内容是header和post的内容。一般会包括cookie，Referer页面和其他一些乱其八糟可能看不懂的变量，还有就是正常交互的参数，比如需要post或者get的querystring所包含的东西。 httplook和h

首先将网页内容整个抓取下来，数据放在byte[]中（网络上传输时形式是byte），进一步转化为String，以便于对其操作，实例如下：private static string GetPageData(string url){ if (url == null || url.Trim() == "") return null; WebClient wc = new WebClient();／／定义 wc.Credentials = CredentialCache.Default

主要方法： public List<string> datasearch() { List<string> list = new List<string>(); string url = @""+txtUrl.Text.Trim().ToString(); ...

首先将网页内容整个抓取下来，数据放在byte[]中（网络上传输时形式是byte），进一步转化为String，以便于对其操作，实例如下： private static string GetPageData(string url){ if (url == null || url.Trim() == "") return null; WebClient wc = new We...

111,129

社区成员

642,532

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧

+ 用AI写文章