网页模块、内容自动提取

[songguozhi]

想实现如下目标：

对指定的域名的所有内容进行提取，识别出网站内的各级模块、以及模块的层级关系；识别出所有的网页文章、发表的内容等，以及其所归属的模块；识别出所有文章的发表标题、发表日期、作者、文章内容等；统计出所有死链、坏链


谢谢！