大数据处理思路---大神们求给思路
这是一道面试的时候技术主管问我的问题,他说是目前团队遇到的瓶颈,而且我也接到他们公司的office了,准备去他们公司上班,所以想跟各位大大谈一下这个问题的思路,到新公司可以有些准备。
问题如下:
WPF框架用Socket通讯,每次读取到PLC DB块的5M数据,而且每次读的间隔为1S左右。
现在出现的问题是,这次读的还没有解析完,下次就读过来了。问有好的方法可以准确,实时的读到DB块更新的数据?。
1.我自己考虑的一个方法是 拆分DB块,设置线程对每个DB块相对固定的地址区域读写,可避免重复读到大量无用数据(因为大部分时间数据都不会变化,只有小部分的值随机变化的)。(这种思路在面试的时候说过,但是面试主管说这种方法有测试过但是没有通过)。
2.今天过来问了一个做PLC的同事,他有给建议是,该通讯方法或该硬件提高通讯效率或通过中间程序处理数据在发送有效数据给我方(可在PLC与我方中间使用通讯协议完成大数据解析,我方值需取有效数据即可)。(我感觉这个没法行得通呀,改硬件的方法基本不要考虑,该通讯方法我之前也有跟主管说用OPC Server来做,但OPC对做5M级别的数据压力也很大呀!)
3.或者有什么好的对大数据块的处理方案?求大神指点。
问题如下:
WPF框架用Socket通讯,每次读取到PLC DB块的5M数据,而且每次读的间隔为1S左右。
现在出现的问题是,这次读的还没有解析完,下次就读过来了。问有好的方法可以准确,实时的读到DB块更新的数据?。
1.我自己考虑的一个方法是 拆分DB块,设置线程对每个DB块相对固定的地址区域读写,可避免重复读到大量无用数据(因为大部分时间数据都不会变化,只有小部分的值随机变化的)。(这种思路在面试的时候说过,但是面试主管说这种方法有测试过但是没有通过)。
2.今天过来问了一个做PLC的同事,他有给建议是,该通讯方法或该硬件提高通讯效率或通过中间程序处理数据在发送有效数据给我方(可在PLC与我方中间使用通讯协议完成大数据解析,我方值需取有效数据即可)。(我感觉这个没法行得通呀,改硬件的方法基本不要考虑,该通讯方法我之前也有跟主管说用OPC Server来做,但OPC对做5M级别的数据压力也很大呀!)
3.或者有什么好的对大数据块的处理方案?求大神指点。
...全文
相关推荐
基于偏序约简的智能电网大数据处理.pdf
#资源达人分享计划#
大数据处理 - 双层桶划分
其实本质上还是分而治之的思想,重在“分”的技巧上!适用范围: 第k大,中位数,不重复或重复的数字基本原理及要点: 因为元素范围很大,不能利用直接寻址表,所以通过多次划分,逐步确定范围,然后最后在一个可以接受的范围内进行。
Kappa架构的挑战与突破:大数据处理新思路
本文旨在为大数据工程师、架构师和技术决策者提供关于Kappa架构的全面技术指南。我们将覆盖从基础概念到高级优化策略的全部内容,特别聚焦于Kappa架构在实际应用中面临的挑战及其突破性解决方案。文章首先介绍Kappa架构的基本概念,然后深入分析其技术挑战和解决方案。随后通过实际代码示例展示实现细节,最后讨论未来发展趋势。Kappa架构:一种仅使用流处理系统来处理所有数据的大数据架构模式事件溯源:将系统状态变化记录为一系列不可变事件的设计模式流处理:对无界数据流进行连续处理的计算范式趋势统一批流接口。
大数据处理技术的总结与分析.doc
大数据处理技术的总结与分析.doc
求最大数的简单程序设计(源码)
本文主要介绍了求最大数的简单程序设计(源码)


