关于大数据分析的网络日志标准问题
even 2013-05-04 12:24:47 大数据技术现在风头正劲,其中重要的功能是对非结构化的网络日志数据做分析,典型是web访问日志,连hadoop的demo程序里都放两个web日志片段作为样本数据。
web访问数据很普遍,大家也很熟悉,也似乎有Apache和IIS的基本标准的格式。
然后对一个大型网络来说,网络日志数据应该有防火墙日志、NAT转换日志、路由器日志、web日志、行为审计日志等,而不仅仅是由外向内访问的web日志,除了web日志外,其他的几种日志似乎都五花八门,没有相对统一的日志格式和规范,而就大数据分析而言,其他日志有时也许才是重点,比如行为审计日志;
我的问题是,除了web日志外,其他日志是否有相对的标准和规范?哪里可以查询?还是不同公司产品各异?其他几种日志间有无某种联系(比如行为审计日志实质上包含了NAT、路由器等设备日志)?
请熟悉的大虾指点