系统维护与使用区
关于大数据分析的网络日志标准问题
墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网
我也要 关注 + 加入社区大数据技术现在风头正劲，其中重要的功能是对非结构化的网络日志数据做分析，典型是web访问日志，连hadoop的demo程序里都放两个web日志片段作为样本数据。
web访问数据很普遍，大家也很熟悉，也似乎有Apache和IIS的基本标准的格式。
然而对一个大型网络来说，网络日志数据应该有防火墙日志、NAT转换日志、路由器日志、web日志、行为审计日志等，而不仅仅是由外向内访问的web日志，除了web日志外，其他的几种日志似乎都五花八门，没有相对统一的日志格式和规范，而就大数据分析而言，其他日志有时也许才是重点，比如行为审计日志；
我的问题是，除了web日志外，其他日志是否有相对的标准和规范？哪里可以查询？还是不同公司产品各异？其他几种日志间有无某种联系（比如行为审计日志实质上包含了NAT、路由器等设备日志）？
请熟悉的大虾指点
web访问数据很普遍，大家也很熟悉，也似乎有Apache和IIS的基本标准的格式。
然而对一个大型网络来说，网络日志数据应该有防火墙日志、NAT转换日志、路由器日志、web日志、行为审计日志等，而不仅仅是由外向内访问的web日志，除了web日志外，其他的几种日志似乎都五花八门，没有相对统一的日志格式和规范，而就大数据分析而言，其他日志有时也许才是重点，比如行为审计日志；
我的问题是，除了web日志外，其他日志是否有相对的标准和规范？哪里可以查询？还是不同公司产品各异？其他几种日志间有无某种联系（比如行为审计日志实质上包含了NAT、路由器等设备日志）？
请熟悉的大虾指点
...全文
相关推荐
基于Spark的分布式网络日志处理系统的设计与实现.pdf
需求分析部分强调了日志数据的规范化处理的重要性，由于日志类型多样、格式复杂，需要统一处理标准。文中以Web日志为例，Web日志记录了用户的访问行为，是网络日志分析的关键数据源。
5、大数据分析入门
本博客介绍了大数据的基本概念及其主要属性，包括体积、速度和多样性。讨论了大数据分析的生命周期、好处以及其在智能电网中的应用。此外，还列举了常用的大数据分析工具，帮助读者理解大数据如何提升客户关系、商业智能和决策支持。适用于对大数据分析入门感兴趣的读者。
大数据分析与挖掘实战
数据清洗主要是处理缺失值、异常值和重复值；数据转换则涉及数据格式的统一和标准化；数据集成则需要解决来自不同源的数据融合问题。书中会分享如何在Hadoop环境中高效地进行这些操作。
大数据应用案例分析模板范本.pdf
在网络安全方面，大数据分析同样发挥着至关重要的角色。安全专家利用大数据来预测和防止恶意攻击，通过收集和分析大量的网络日志，找出潜在的威胁和异常行为。
数据服务 电子科技大学：一体化大数据提供师生精准画像 (2).docx
通过接入校内外的各类数据，如业务系统数据、资源使用数据、网络日志数据以及互联网数据，平台在确保数据治理和隐私保护的前提下，进行了数据标准化处理，并通过API接口实现数据安全共享。
