线程间传数据(从数据采集线程传到处理线程)

[ussthamcn]

我要实现一个数据采集线程,把采集到的数据传给数据处理线程,存放和处理.怎么传数据?
我的数据量很大,如果放在内存中会占用很多内存.如果要写道临时文件该怎么做?或还有
别的什么方法?有做过类似软件的朋友吗?能讨论一下吗?

MSN: [e-mail]
QQ: 235311174

[noneone]

使用内存映射文件共享数据，访问的时候加互斥

[noneone]

另外你的数据并不多，我曾经做过一个采集系统一秒种就产生数M文件，你的24小时才5M，挺小的

[java76ren]

使用持久化数据，作成线程通知

[ussthamcn]

一秒钟1M多数据你怎么处理的?

使用持久化数据,作线程通知?能说具体点吗?

[yzhouen]

那要看你采集的目的，保存方式可以多种多样，文件，数据库都可以，数据量到也不算大

[jjiaming]

数据量很大是什么概念,几M还是几十M?
写临时文件是很费时的,而数据采集的程序对实时性有要求吧.

[ussthamcn]

采样频率最高60HZ,最多要连续采集24小时,那么需要的数组的大小为:
24*60*60*60=5184000,这么大的数组不要写临时文件吗?而且如果采集的过程中出现意外,
不写临时文件的话就会出现所以的数据都丢失了.

[noneone]

是linux下的系统，数据在本机就处理了，但是原始数据要保存下来，格式就是文本文件，1分钟一个文件，如果是进程内处理数据的话，直接处理或用线程都可以，如果是采集和处理不在一个进程，需要使用进程间通信，linux下可以使用共享内存，windows下的进程间通信我不熟，不过我觉得内存映射文件应该可以解决，理论上内存映射文件等同于共享内存