有源码更好,发送到邮箱lwp1493@sina.com不胜感激！
-
等级
本版专家分：3458结帖率 100% -
求信息采集程序开发思路！
有源码更好,发送到邮箱lwp1493@sina.com不胜感激！
展开阅读全文
-
等级
本版专家分：7997 -
发送请求到要采集的页面
返回HTML代码
处理HTML代码
处理完的HTML写入数据库
-
等级
本版专家分：13040 -
顶顶你把。
-
等级
本版专家分：3458
-
源码片段也可！
分不够可以另开一贴！
-
等级
本版专家分：6309
-
引用System.Net 空间
for(int i=1;i<=106;i++)
{
string strUrl = "http://****************/listall.asp?"+i+"&order=id&ifgood=&stype=txt";
WebClient client = new System.Net.WebClient();
byte[] page=client.DownloadData(strUrl);
string strInputHtml = Encoding.Default.GetString(page);
foreach(Match m in Regex.Matches(strInputHtml,@"(.*)"))
{
try
{
string strRegexResault = m.Groups[1].Value.ToString();
string strName = m.Groups[3].Value.ToString();
//Response.Write(strName);
//Response.Write("
");
strRegexResault = strRegexResault.Insert(0,"http://********8/");
string strSql = "INSERT T_LeasePerson(SubName,FileName) VALUES ('"+strName.Trim()+"','"+strRegexResault.Trim()+"')";
SqlHelper.ExecuteNonQuery(this.ConnStr,CommandType.Text,strSql);
}
catch
{
continue;
}
}
}
正则表达式有待改进：
@"(.*)")
另一个下载文件页面
string strSql = "select ID,SubName,FileName From T_LeasePerson";
SqlDataReader dtrHtml = SqlHelper.ExecuteReader(this.ConnStr,CommandType.Text,strSql);
while (dtrHtml.Read())
{
try
{
WebClient myWebClient = new System.Net.WebClient();
myWebClient.DownloadFile(dtrHtml[2].ToString(),@"E:\douwn\"+dtrHtml[1].ToString()+dtrHtml[0].ToString()+".html");
}
catch
{
continue;
}
}
1：下页面；
2：用正则解析；
3：保存相关内容
-
等级
本版专家分：14207勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
-
主要就两个难点，一个是被采集的页面的编码判断，一个是正则匹配，别的，好像没什么复杂的了。
-
等级
本版专家分：6309
-
自己在网上下东西时常用的
网上有些蜘蛛，爬虫等程序可以参考
-
等级
本版专家分：3458
-
如果被采集的页面有图片或是其他附件。这个图片、附件如何处理？
-
等级
本版专家分：3659
-
RMB就帮你写！
远程网址
{
网址可以访问(编码问题，源代码获取异常？怎么样处理源代码，如过滤掉所有的html标记，去除所有的\n之类的。。。。。)
网址不可以访问(访问过快，使服务器端暂时关闭？网址不存在？被重定向等)
}
编写正则(string strHtml)
{
//正则编写错误
//正则获取不到结构
//如何编写最优正则
//获取正则结果
}
//很多方面的因素，比如说你要抓取一个大网站的数据，该网站某个资料有分页，有10页，你抓取了几页后断电了，你如何下次运行程序的时候自动续上
-
等级
本版专家分：1816 -
看来我只有顶了。
- 网络神采 - 最专业的网络信息采集... 采集软件_网站采集器_采集程序_新闻采集系统_网络信息采集_文章采集...
网络神采 - 最专业的网络信息采集系统! 采集软件_网站采集器_采集程序_新闻采集系统_网络信息采集_文章采集 http://www.sensite.cn/ po...
- 全自动采集阿里巴巴信息采集软件
全自动采集阿里巴巴所有会员资料；采集内容可按省份、关键词、行业分类自动...使用阿里巴巴会员信息采集软件的优点： 1、按需定制数据采集任务（1）：可输入””关键词””、选择””省份””/””城市””分地区...
- 信息采集系统开发第一版
最近写了一个小的软件项目，主要目的是为了采集部分传感器的数据信息，并进行数据存储等工作。将开发的过程和一些感想写成博文，以供学习。 1：完成的主要功能 （1）：完成串口的通信，数据接收 （2）：对接受的...
- 采集程序原理,信息采集技术的原理
采集程序的主要步骤如下： 一、获取被采集的页面的内容 二、从获取代码中提取所有用的数据 一、获取被采集的页面的内容 我目前所掌握的ASP常用获取被采集的页面的内容方法： 1、用serverXMLHTTP组件获取数据 以下...
- 小程序用户行为数据采集器讲解
进入大数据时代后，很多公司都建立起了自己的大数据分析平台，公司有能力通过海量数据分析用户行为，建立用户画像。这些数据很大一部分来源于采集公司自家的应用客户端。当前小程序兴起，给公司带来了大量的用户，...
- 软件License认证方案的设计思路
销售license是商业软件的贯用商业模式。用户向商家购买软件安装盘搭载license许可，才可以使用该软件。我们作为软件开发者，为了保护自身的权益，在软件开发过程中也不可避免的会设计license管控机制。下面就讲一下...
- 室内定位指纹采集系统-Android WIFI版本
本文主要介绍了物联网室内定位中，指纹定位系统研究过程中需要的软件开发思路，目前完成的有Android端WIFI信号的获取与划定采集区域采集WIFI信号指纹库等功能。 声明： 本系统涉及软件只用于学术研究，切乎用于其它...
- 软件开发的基本内容（1）——数据采集
软件开发的基本内容（1）——数据采集 做了快三年的软件了，总想着我到底做了些什么，做得怎么样，现在抽空写些自己的开发心得，一是为自己树理树理思路，二是给新人一个参考；这些都是本人的个人心得，若有不同...
- python爬虫-美团商家信息采集
由于工作需要，要获取美团商家的机构信息，包括名称，电话，地址等，存为excel格式 二、网页分析 参考 https://blog.csdn.net/xing851483876/article/details/81842329 经验。直接用手机版美团 电脑版的美团获取手机...
- 数据采集，大数据互联网时代
营销思路： 钱=流量 x 转化 x 毛利润 如何解决流量问题： 数据采集获取精准客户资源 采集软件的作用是提供数据资源，将采集到的电话、QQ或者微信号码导入到精控系统中自动添加微信号好友。我们这边选取两款常用的...
- 爬虫---如何抓取app的思路和方案
然而伴随着智能手机的普及，应用软件（APP）取代网页，成为主流的技术。由于APP的内容一度无法被搜索引擎抓取到，人们惊呼，移动互联网将带来一场搜索引擎的生存危机。 不过，通过和应用软件开发商的合作，谷歌(微博...
- 拼多多电商玩家如何利用软件机器人快速采集平台数据
作为电商卖家，选款是一件很重要...目标：抓取拼多多某类商品的列表页面信息，以“学生文具用品笔”为例，采集商品名称、价格。 方法一 python编写爬虫程序 A、思路分析 1）参数寻找 首先说明：图下这个url如果按照 ...
- 供应链信息系统建设思路
在整个供应链全面实施信息化之前，各环节处于信息孤岛状态，或者仍采取原始的手工编制与信息传递手段。如此冏状要想实现“快速响应、低成本运营、高质量”的精益运营目标基本上是缘木求鱼。 一般人想到信息化...
- 软件测试--概念篇
本文介绍下软件测试的基本概念，以使大家对软件测试行业有一个基本的了解。 主要分三部分介绍：发展综述、职业发展、核心技能。 第一部分：发展综述 1、BUG/Defect的由来 “Bug”的创始人赫柏的报告格蕾丝.郝柏...
- 软件开发工作总结
软件开发工作总结 1、分享第一条经验：“学历代表过去、能力代表现在、学习力代表未来。”其实这是一个来自国外教育领域的一个研究结果。相信工作过几年、十几年的朋友对这个道理有些体会吧。但我相信这一点也很...
- 关于互联网信息采集的思考
<html xmlns:v="urn:schemas-microsoft-com:vml"xmlns:o="urn:schemas-microsoft-com:office:office"xmlns:w="urn:schemas-microsoft-com:office:word"xmlns="http://www.w3.org/TR/REC-html40">
- 【采集百度地图、腾讯地图等地图上的商家的要点】
最近一客户要求在地图上采集全国高校的信息，包括电话、地址、经纬度等，还要包括分校区的地址经纬度等。 找了几个地图采集软件，都是软件一旦退出后，要重新开始采集，这个太麻烦又浪费时间。于是决定自己写个...
- WEB网页监控系统的设计框架思路详解
提示:也可以直接在LCD上显示摄像头数据，这个参考luvcview源码，设计思路思将YUV或者MJPEG格式的数据转换成RGB格式的数据,然后实现图片的缩放，图像缩放算法：点击这里！，然后写到frambuffer，就可以了。摄像头输出...
- Hybrid APP架构设计思路
关于Hybrid模式开发app的好处，网络上已有很多文章阐述了，这里不展开。 本文将从以下几个方面阐述Hybrid app架构设计的一些经验和思考。 原文及讨论请到 github issue 通讯 作为一种跨语言开发模式，...
- 我开发PLC数据采集、录波软件PLC-Recorder的心路历程
PLC-Recorder是个什么软件？请参考这篇文章，也可以参考网站里的介绍。 当一个软件出现在大家目前时，很多人看一眼，发现赶不上国外的，就觉得开发者很土。那些崇洋媚外者甚至开始恶语相向：你敢挑战老外的东西？太...
- 采集天眼查数据(根据已有的公司名称采集)
因为部分原因,需要用到天眼查的数据,虽然开了天眼...吐槽下,天眼查的反扒确实蛮多的,最早用软件采集,但是没有配置采集频率,结果两分钟左右就爬了100个页面就会跳出验证码界面,验证码的图片有点也很讨厌,看到眼睛很花...
- 个人软件过程(Personal Software Process)
个人软件过程(Personal Software Process，PSP)是一种可用于控制、管理和改进个人工作方式的自我持续改进过程，是一个包括软件开发表格、指南和规程的结构化框架。PSP与具体的技术（程序设计语言、工具或者设计方法...
- 2009年系统架构师考试题详解
考试科目一：综合知识计算机系统中硬件层之上的软件通常按照三层来划分，如下图所示，图中①②③分别表示（1）。(1)A.操作系统、应用软件和其他系统软件 B.操作系统、其他系统软件和应用软件 C.其他系统软件、操作...
- 信息安全保障体系建设的整体思路
信息安全保障体系建设的整体思路 [email]firstzhai@163.com[/email] 信息安全体系是企业业务持续性发展的保障，在一定程度上安全管理平台(SOC)的建设方式就体现了信息安全体系的搭建的思路，因为用户直接操作的、...
- 验证码的破解思路！
总结一下自己的思路过程！ 1.用PHP读取验证码图片上每个像素的色彩值！ 2.将验证码边框上的色彩变为白色 3.用循环方法，去除背景上的色彩杂点，将数字部分的颜色改为000000 接着就是对图像的读取了！ （1）...
- 五十款阿里开源软件说明介绍
通过写这篇文章从开源中国站上面看了很多，也从那里将开源软件的基本的介绍和下载地址拷贝到了文章当中，总体给我的一个感受就是阿里的开源实在太强大了，多到需要花大量的时间去了解。今天写这篇文章主要是对阿里...
- 第八章 软件项目团队管理
本章内容提纲8.1 软件项目团队管理概述8.2 项目组织的规划8.3 团队人员获取8.4 团队建设和日常管理8.5 沟通管理8.6 软件专业人员的非技术素养8.1 软件项目团队管理概述什么是软件项目团队？ 软件项目团队是由软件...
- 2020年7月最新，火车头批量采集微信公众号最近文章（包括实时更新）的方法及思路
火车头采集微信公众号，这是许多网站建设的小伙伴都想要的功能。这篇内容是我在2020年4月份写的，但今天到7月了，完全没有问题。费话不多说，直接上干货。 先说说我的需求： 抓取一批公众号，大概10个。监控最新...
- 基于NB-IoT的智慧路灯监控系统（NB-IoT专栏—实战篇2:硬件开发）
目录 1、设备选型 1.1、主控制器 1.2、NB-IoT无线通信模块和GPS模块 1.3、光照检测模块 1.4、输出控制模块 ...基于NB-IoT的智慧路灯监管系统在感知层可实现实时采集路灯节点的工作状态（亮灭状态）、...
- 软件项目投标书-技术部分
包括4份文档，基本涵盖软件项目技术应答部分，可以用于技术标书制作时参考。