htmlparse抓取网页里面的想要信息

JackmeiyouChen 2015-01-12 03:03:52

基于htmlpaser的大数据采集分析工具

用HTMLPASER 写插件，完成相关字段抓取，入库等。
例子页面
http://dr.eju.cn/member/1-page-1.html 全国城市都抓取

数据库：表结构
/*
Navicat MySQL Data Transfer

Source Server : localhost
Source Server Version : 50532
Source Host : localhost:3306
Source Database : eju

Target Server Type : MYSQL
Target Server Version : 50532
File Encoding : 65001

Date: 2015-01-07 20:41:57
*/

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------
-- Table structure for designer
-- ----------------------------
DROP TABLE IF EXISTS `designer`;
CREATE TABLE `designer` (
`id` int(11) DEFAULT NULL,
`name` varchar(100) DEFAULT NULL,
`jianjie` varchar(1000) DEFAULT NULL,
`website` varchar(500) DEFAULT NULL,
`tupian` int(11) DEFAULT NULL,
`fangwen` int(11) DEFAULT NULL,
`xiangmu` int(11) DEFAULT NULL,
`chengshi` varchar(50) DEFAULT NULL
) ENGINE=MyISAM DEFAULT CHARSET=gbk;

-- ----------------------------
-- Records of designer
-- ----------------------------
这个题目，抓取到设计师的姓名简介等相关信息，我抓取到几个文件，最接近的是
2.室内设计师大全-中国室内设计师网-中国室内设计师联盟
加载中..
我的易居
用户名：
密码：
新浪微博
图库检索
商场酒店客厅卧室厨房
展会酒吧别墅银行餐厅
首页
找设计师
家庭装修
工程装修
设计日志
装饰建材
装修咨询
装修图库
装修论坛
设计日志
北京-北京雷雨明
毕业于中央美术学院十余年室内设计工作经...
http://leiyu26.eju.cn
图片：1160 访问：50595 项目：45
北京-北京于海峰
艺林公社是以各大知名艺术院校美术系(央美...
http://ylgongshe.eju.cn
图片：715 访问：11140 项目：14
北京-北京周树金
设计源于生活，设计服务生活，只有真正...
http://zhoushujin.eju.cn
图片：411 访问：46677 项目：68
北京-北京李龙
酒吧、KTV、夜总会等娱乐场所...
http://clubled.eju.cn
图片：371 访问：29659 项目：24
北京-北京王栋
Muse . Center 空间设 ...
http://wangdong.eju.cn
图片：363 访问：24764 项目：43
北京-北京国安欧派雕塑厂
我们的联系电话13810506109(王...
http://gaoupai.eju.cn
图片：300 访问：14304 项目：18
北京-北京苗东坡
毕业于山东艺术学院,工作经历五年...
http://han-yang.eju.cn
图片：285 访问：39690 项目：33
北京-北京侯飞
...
http://jifang11867.eju.cn
图片：218 访问：11123 项目：5
北京-北京尹舍
设计师不是单方面的体现自我设计。而是要把...
http://yinshe.eju.cn
图片：212 访问：10367 项目：12
北京-北京锐图
锐图效果图工作室 QQ ：2869092...
http://ruitusheji.eju.cn
图片：208 访问：4805 项目：8
北京-北京刘晓全
自信阳光，给你不一样的家~...
http://liuxiaoquan.eju.cn
图片：193 访问：12411 项目：16
北京-北京杜仲钰
过去只是过去，并不代表什么自此愿做对社...
http://ysyyyy.eju.cn
图片：177 访问：7240 项目：8
上一页1 2 3 4 5 6 7 8 9 10 11 下一页
快速检索
所在地区
北京安徽福建甘肃广东广西河南黑龙江湖北湖南吉林江苏江西辽宁内蒙古宁夏青海山东山西陕西上海四川天津西藏新疆云南浙江重庆海南河北贵州香港澳门台湾
会员服务：会员注册 | 会员登陆 | 申请推荐会员 | 圈子
装修图库：客厅 | 卧室 | 卫生间 | 别墅 | 复式 | 实景图
新手上路：如何发布作品 | 如果在作品中标注 | 我的作品显示在项目展示中

我只想的到关于设计师具体信息部分，有人会吗，听说使用正则表达式过滤，求大神帮做
最终结果是把设计师的信息保存到数据库，城市，作者，简介，图片，浏览次数等等吧，求大神帮忙

...全文