大数据处理思路---大神们求给思路

大湿级 大湿级 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
这是一道面试的时候技术主管问我的问题,他说是目前团队遇到的瓶颈,而且我也接到他们公司的office了,准备去他们公司上班,所以想跟各位大大谈一下这个问题的思路,到新公司可以有些准备。
问题如下:
WPF框架用Socket通讯,每次读取到PLC DB块的5M数据,而且每次读的间隔为1S左右。
现在出现的问题是,这次读的还没有解析完,下次就读过来了。问有好的方法可以准确,实时的读到DB块更新的数据?。


1.我自己考虑的一个方法是 拆分DB块,设置线程对每个DB块相对固定的地址区域读写,可避免重复读到大量无用数据(因为大部分时间数据都不会变化,只有小部分的值随机变化的)。(这种思路在面试的时候说过,但是面试主管说这种方法有测试过但是没有通过)。
2.今天过来问了一个做PLC的同事,他有给建议是,该通讯方法或该硬件提高通讯效率或通过中间程序处理数据在发送有效数据给我方(可在PLC与我方中间使用通讯协议完成大数据解析,我方值需取有效数据即可)。(我感觉这个没法行得通呀,改硬件的方法基本不要考虑,该通讯方法我之前也有跟主管说用OPC Server来做,但OPC对做5M级别的数据压力也很大呀!)
3.或者有什么好的对大数据块的处理方案?求大神指点。
...全文

相关推荐

评论 21
收藏 已收藏
分享
返回顶部
大湿级
C# 111,130 成员 642,540 内容