解决一个1.89兆次的数据交集的效率方式方法-CSDN论坛

解决一个1.89兆次的数据交集的效率方式方法

C/C++ > C++ 语言

收藏回复

[问题点数：40分，结帖人Siimon]

⋅解决一个1.89兆次的数据交集的效率方式方法 ⋅Silverlight DataGrid 绑定到值后不能被选中而且选中事件也不能用 ⋅关于一个子窗体向父窗体传值的问题 更多帖子 关注私信空间博客 西蒙君霸占阿花 等级 本版专家分：2 结帖率 97.78%: 小弟最近在用C#做一个数据交集类的软件遇到了前所未有的麻烦,就不贴代码了,只是想问一下大神们怎么解决效率的问题

1,我有102个文件,每一个文件内有254100组数据每组数据 6个数
2,第一步,我需要将102个文件导入到软件类形成一种样式,就是类似与下图

3,第二步就是最恼火的一个步骤了
    a,在数据中，我需要每每16条数据取交集，请注意是每每16条
    b,也就是说每每16条数据交集在102个文件中就有1.89兆次交集方式
    c,现在最好的方式就是每16条交集出来的时间是0.02秒，我需要一次计算每每16条的交集
    d,我也需要将这一次计算的这个时间效率每16条交集一次就是0.02秒，那么1.89兆*0.02我怕也是一个天文数字的时间

总结一下也求助一下：
我用C#写不出来更好的效率，我已经测试过用数据库，效率更慢，也试用过内存，占内存的很。

不知道有没有C++或者是C大神能够将这个算法给写出来呢？

酬谢酬谢酬谢！

2017-07-11 16:07:14

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅挑战全球各种Code Editors！ ⋅解决Win10下多个黑色cmd窗口层叠时，上层窗口的右边和下边在下层窗口上根本看不见问题。 ⋅为什么不让我在C/C++论坛发帖了？ 更多帖子 关注私信空间博客 赵4老师 等级 本版专家分：453079 勋章 状元 2017年总版技术专家分年内排行榜第一 榜眼 2014年总版技术专家分年内排行榜第二 探花 2013年总版技术专家分年内排行榜第三 进士 2018年总版新获得的技术专家分排名前十 2012年总版技术专家分年内排行榜第七

仅供参考：

#include <algorithm>

#include <iostream>

#include <functional>

#include <cstring>

using namespace std;

int main() {

    char *Alphabet = "abcdefghijklmnopqrstuvwxyz" ;

    char *Vowels   = "aeiou" ;

    char *AlphaNum = "0123456789abcdef" ;

    char result[45] ;

    char *last ;



    int lenA  = strlen(Alphabet) ;

    int lenV  = strlen(Vowels  ) ;

    int lenAN = strlen(AlphaNum) ;



    cout << "Alphabet = " << Alphabet << endl ;

    cout << "Vowels   = " << Vowels   << endl ;

    cout << "AlphaNum = " << AlphaNum << endl ;



    cout << "\nusing non-predicate versions" << endl ;



    //non-predicate set_difference

    last = set_difference(Alphabet, Alphabet+lenA,

                          AlphaNum, AlphaNum+lenAN,

                          result) ;

    *last = 0 ;

    cout << "set_difference(Alphabet, AlphaNum) =  " << result << endl ;



    //non-predicate set_intersection

    last = set_intersection(Alphabet, Alphabet+lenA,

                            AlphaNum, AlphaNum+lenAN,

                            result) ;

    *last = 0 ;

    cout << "set_intersection(Alphabet, AlphaNum) =  " << result << endl ;



    //non-predicate set_symmetric_difference

    last = set_symmetric_difference(Alphabet, Alphabet+lenA,

                                    Vowels  , Vowels  +lenV,

                                    result) ;

    *last = 0 ;

    cout << "set_symmetric_difference(Alphabet, Vowels) =  " << result << endl ;



    //non-predicate set_union

    last = set_union(Alphabet, Alphabet+lenA,

                     AlphaNum, AlphaNum+lenAN,

                     result) ;

    *last = 0 ;

    cout << "set_union(Alphabet, AlphaNum) =  " << result << endl ;



    cout << "\nusing predicate versions" << endl ;



    //predicate set_difference

    last = set_difference(Alphabet, Alphabet+lenA,

                          AlphaNum, AlphaNum+lenAN,

                          result  , less<char>()) ;

    *last = 0 ;

    cout << "set_difference(Alphabet, AlphaNum) =  " << result << endl ;



    //predicate set_intersection

    last = set_intersection(Alphabet, Alphabet+lenA,

                            AlphaNum, AlphaNum+lenAN,

                            result  , less<char>()) ;

    *last = 0 ;

    cout << "set_intersection(Alphabet, AlphaNum) =  " << result << endl ;



    //predicate set_symmetric_difference

    last = set_symmetric_difference(Alphabet, Alphabet+lenA,

                                    Vowels  , Vowels  +lenV,

                                    result  , less<char>()) ;

    *last = 0 ;

    cout << "set_symmetric_difference(Alphabet, Vowels) =  " << result << endl ;



    //predicate set_union

    last = set_union(Alphabet, Alphabet+lenA,

                     AlphaNum, AlphaNum+lenAN,

                     result  , less<char>()) ;

    *last = 0 ;

    cout << "set_union(Alphabet, AlphaNum) =  " << result << endl ;



    return 0 ;

}

system("dir /b /a-d c:\\*.* >d:\\allfiles.txt");
//读文件d:\\allfiles.txt的内容即C:\\下所有文件的名字
system("dir /b /a-d /s c:\\*.* >d:\\allfilesinsub.txt");
//读文件d:\\allfilesinsub.txt的内容即C:\\下所有文件的名字包含子目录
system("dir /b /ad c:\\*.* >d:\\alldirs.txt");
//读文件d:\\alldirs.txt的内容即C:\\下所有子目录的名字
请记住，能用shell命令获取文件、文件夹信息或者操作文件、文件夹最好用shell命令获取或者操作，而不要用各种API获取或者操作，因为当遇到非法文件夹名或非法文件名或非法文件长度、非法文件日期、压缩文件、链接文件、稀疏文件……等各种意料之外的情况时，API会处理的不全面或陷入死循环，而shell命令不会。
如果嫌system黑窗口一闪，将system("...")替换为WinExec("cmd /c ...",SW_HIDE);

2017-07-11 17:24:59

点赞只看TA 引用举报 #1得分 20

容量大小从小到大：栈≤全局数据≤堆≤文件≤硬盘≤磁盘阵列≤云存储
当程序需要使用比如2GB～1TB左右的存储时，最简单的办法恐怕得是用文件读写模拟内存读写了吧。windows参考_fseeki64函数，linux参考fseeko64函数。

FILE *fA;fA=fopen("A","rb+");_fseeki64(fA,10000000000i64*sizeof(int),SEEK_SET);fputc(fA,0);//int A[10000000000];

int B;

_fseeki64(fA,9999999999i64*sizeof(int),SEEK_SET);fread(&B,1,sizeof(int),fA);//B=A[9999999999];

_fseeki64(fA,9999999999i64*sizeof(int),SEEK_SET);fwrite(&B,1,sizeof(int),fA);//A[9999999999]=B;

fclose(fA);

2017-07-11 17:25:22

点赞只看TA 引用举报 #2得分 0

⋅怎么实现is_virtual_base_of啊 ⋅什么时候应该为强异常安全努力呢？ ⋅G++只部分支持0长数组？ 更多帖子 关注私信空间博客 ID870177103 等级 本版专家分：3144: 交集最快是bitset，然而要求数据区间小
否则的话先排序，每组只有6个
然后交替比较，两两数据项比较最坏是12次比较
每每16项就是，180次比较，这个时间应该远小于0.02s

2017-07-12 08:18:15

点赞只看TA 引用举报 #3得分 5

⋅怎么实现is_virtual_base_of啊 ⋅什么时候应该为强异常安全努力呢？ ⋅G++只部分支持0长数组？ 更多帖子 关注私信空间博客 ID870177103 等级 本版专家分：3144: 像这种大数据不适合用数据库，除非他能够直接给你结果，你肯定要分批处理的，算上io时间的话，肯定会花很多时间的

2017-07-12 08:25:24

点赞只看TA 引用举报 #4得分 5

⋅C++ 20 标准都发布了哪些重要特性？

⋅2020 C++及系统软件技术大会全套PPT

⋅非常荣幸，受邀参加全球C++及系统软件技术大会。

更多帖子

关注私信空间博客

版主

ztenv

等级

本版专家分：18185

勋章

签到王者 累计签到获取，不积跬步，无以至千里，继续坚持！

优秀版主 2016年10月优秀小版主
优秀小版主: 不能分布治之吗？利用多台电脑

2017-07-12 14:45:46

点赞只看TA 引用举报 #5得分 5

⋅解决一个1.89兆次的数据交集的效率方式方法 ⋅Silverlight DataGrid 绑定到值后不能被选中而且选中事件也不能用 ⋅关于一个子窗体向父窗体传值的问题 更多帖子 关注私信空间博客 西蒙君霸占阿花 等级 本版专家分：2

引用 2 楼 zhao4zhong1 的回复:

容量大小从小到大：栈≤全局数据≤堆≤文件≤硬盘≤磁盘阵列≤云存储
当程序需要使用比如2GB～1TB左右的存储时，最简单的办法恐怕得是用文件读写模拟内存读写了吧。windows参考_fseeki64函数，linux参考fseeko64函数。
FILE *fA;fA=fopen("A","rb+");_fseeki64(fA,10000000000i64*sizeof(int),SEEK_SET);fputc(fA,0);//int A[10000000000];

int B;

_fseeki64(fA,9999999999i64*sizeof(int),SEEK_SET);fread(&B,1,sizeof(int),fA);//B=A[9999999999];

_fseeki64(fA,9999999999i64*sizeof(int),SEEK_SET);fwrite(&B,1,sizeof(int),fA);//A[9999999999]=B;

fclose(fA);

虽然来说我看不太懂你的代码，但是我以C#的方式来做的话，确实做不出来，数据量太大了，我这边有个关于这个的小项目，有没有兴趣做一下呢？

2017-07-14 09:55:26

点赞只看TA 引用举报 #6得分 0

⋅解决一个1.89兆次的数据交集的效率方式方法 ⋅Silverlight DataGrid 绑定到值后不能被选中而且选中事件也不能用 ⋅关于一个子窗体向父窗体传值的问题 更多帖子 关注私信空间博客 西蒙君霸占阿花 等级 本版专家分：2: 引用 5 楼 lianshaohua 的回复:
不能分布治之吗？利用多台电脑

分布做的话，也需要很长时间呀，主要是计算数量摆在那里呢！

2017-07-14 09:55:53

点赞只看TA 引用举报 #7得分 0

⋅解决一个1.89兆次的数据交集的效率方式方法 ⋅Silverlight DataGrid 绑定到值后不能被选中而且选中事件也不能用 ⋅关于一个子窗体向父窗体传值的问题 更多帖子 关注私信空间博客 西蒙君霸占阿花 等级 本版专家分：2: 引用 3 楼 ID870177103 的回复:
交集最快是bitset，然而要求数据区间小
否则的话先排序，每组只有6个
然后交替比较，两两数据项比较最坏是12次比较
每每16项就是，180次比较，这个时间应该远小于0.02s

嗯嗯，这个方式我可以考虑一下看一下，主要是有 1.89兆次也是一个不小的时间呀

2017-07-14 09:56:56

点赞只看TA 引用举报 #8得分 0

⋅怎么实现is_virtual_base_of啊 ⋅什么时候应该为强异常安全努力呢？ ⋅G++只部分支持0长数组？ 更多帖子 关注私信空间博客 ID870177103 等级 本版专家分：3144: 可以分治，比如说16个项的交集分成15个项的交集，与剩余任意一项的交集
因此动态规划就是，先计算两两交集，再计算44交集，。。。
这种方法可以跳过前面交集就为空的情况

2017-07-14 10:53:14

点赞只看TA 引用举报 #9得分 0

⋅解决一个1.89兆次的数据交集的效率方式方法 ⋅Silverlight DataGrid 绑定到值后不能被选中而且选中事件也不能用 ⋅关于一个子窗体向父窗体传值的问题 更多帖子 关注私信空间博客 西蒙君霸占阿花 等级 本版专家分：2: 引用 4 楼 ID870177103 的回复:
像这种大数据不适合用数据库，除非他能够直接给你结果，你肯定要分批处理的，算上io时间的话，肯定会花很多时间的

就是要花的时间太长太长了。现在没有找到合适的解决方案

2017-07-14 11:00:53

点赞只看TA 引用举报 #10得分 0

1 2 3

收起

收藏回复

西蒙君霸占阿花

等级：

关注私信 TA的帖子

ping 不通。无法访问目标主机: ...如：正在 Ping 10.16.1.89 具有 32 字节的数据:来自 192.168.2.135 的回复: 无法访问目标主机。来自 192.168.2.135 的回复: 无法访问目标主机。来自 192....

python 二维数组及画图: 注：不管是二维数组，还是一维数组，数组里的数据类型要一模一样，即若是数值型，全为数值型 #二维数组 import numpy as np list1=[[1.73,1.68,1.71,1.89,1.78], [54.4,59.2,63.6,88.4,68.7]] list3=[1.73,1.68...

numpy之python二维数组及画图: 注：不管是二维数组，还是一维数组，数组里的数据类型要一模一样，即若是数值型，全为数值型 #二维数组 import numpy as np list1=[[1.73,1.68,1.71,1.89,1.78], [54.4,59.2,63.6,88.4,68.7]] list3=[1.73,1.68,...

c++ double类型的误差: 字符串为1.89转化为double类型为：1.8899999999999. 这是正常的。在c语言中头文件float.h中有如下定义： #define DBL_EPSILON 2.2204460492503131e-016 /*smallest such that 1.0+DBL_EPSILON != 1.0 */ 也就是...

Ubuntu18.04安装微信

postgreSQl 连接数据库时出现无法连接的现象就解决方法: 错误现象： org.postgresql.util.PSQLException: ...解决方法：用jdbc连接Postgresql数据库时经常出现这个错误，然而用pgAdmin III是可以正确连接的，表明用户名和密码都是正确的。这主要是由于用户密码认证方

mysql-5.6.28主从备份，异地容灾: 首先在两台MySQL服务器192.168.1.89(主)和192.168.1.90（备）上安装版本一样的mysql，大家可以参照着点击打开链接去安装安装好以后在192.168.1.89（主）上面的my.cnf文件上面加入以下参数 binlog_format = mixed ...

Linux性能检测常用的10个基本命令

ffmpeg 多线程测试结果

GeoServer + Openscales 的跨域问题: 1.问题描述 ...A —— geoserver 2.0.2 port：8080 IP:192.168.0.226B —— geoserver 2.2.2 port：8090 IP:192.168.1.89 症状：在 A 中使用openscales 2.2 可以正常访问 A 和 B 中的 Geoserver

Presto安装与配置: Presto是一个运行在多台服务器上的分布式系统。完整安装包括一个coordinator（调度节点）和多个worker。由客户端提交查询，从Presto命令行CLI提交到coordinator。 coordinator进行解析，分析并执行查询计划，然后...

Android 使用 adb命令远程安装apk: Android 使用 adb命令远程安装apk ..../adb connect 192.168.1.89 连接到该设备 ./adb logcat 启动logcat ./adb install -r /Users/streetpoet/Desktop/MytvPauselive.apk 将本地apk安装到远程

Matlab读取Excel数据: Matlab读取Excel数据exp10.xlsx中的内容 I/mA V(内接)/V V(外接)/V V(补偿)/V 20 0.12 0.10 0.10 40 0.60 0.58 0.58 50 0.98 0.90 0.95 60 1.35 1.30 1.32 70 1.89 1.80 1.88 80

Nginx之lua插件开发: 1，背景按照项目需求，搭建图片服务器FastDFS，但是，发现上传的图片文件名和需要再次请求的文件名不一致，这样需要重新刷新一下数据库，例如，上传1.jpg，FastDFS会返回a.jpg，然后需要将a.jpg保存到数据库，否则将...

中国地面国际交换站气候资料日值数据集(V3.0): "中国地面国际交换站气候资料日值数据集（V3.0）"包含了中国194个站点1951年1月以来本站气压、气温、降水量、蒸发量、相对湿度、风向风速、日照时数和0cm地温要素的日值数据。数据量为1.89GB。数据解读数据下载

Matlab 简单数据处理: 这里答主浅谈一下如何作出一个如下的图像，为了完成实验报告也是蛮拼的step1:输入x,y轴数据x=[1.82,1.89,1.97,2.03];y=[5.56,5.73,5.88,6.02];step2:c=polyfit(x,y,2); d=polyval(c,x,1); plot(x,y,'*'); //显示出...

xilinx 7系列FPGA之电源简介: 前几篇咱们说了FPGA内部逻辑，本篇咱们再聊一聊7系列FPGA的供电部分。首先咱们说spartan7系列，通常咱们需要使用以下电源轨： 1，VCCINT FPGA内部核心电压。其不损坏FPGA器件的范围为-0.5V~1.1V。对于-2和-1...

AD芯片的基准参考电压问题: 基准参考电压的精度一般非常高的！ AD芯片： AD9226的基准参考电压误差一般...我之前用万用表测量AD9226的参考电压大概是1.89V（这款AD的正确参考电压应该是2V），所以这款AD的参考电压有问题，需要更换AD芯片。

scikit-learn中PCA的使用方法: scikit-learn中PCA的使用方法 @author：wepon @blog：http://blog.csdn.net/u012162613/article/details/42192293 在前一篇文章主成分分析(PCA) 中，我基于python和numpy实现了PCA算法，主要是为了加深对...

dp和px的转化: 一、首先要认识下：屏幕密度ppi ppi pixles percent inch 每英寸的像素数 ppi = 水平方向的像素数 / 屏幕宽度例如：3.7in 480 x 800 3.7 * 3.7 = 3x*3x + 5x * 5x 宽度： 3 * 0.63 = 1.89 PPI ? ...

iptables工作原理及iptables命令行使用介绍

Hadoop HDFS 退役旧节点: 注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役。配置 dfs.hosts 在服务器白名单中删除hadoop105 [root@hadoop102 hadoop]# pwd /opt/module/hadoop-2.7.2/etc/hadoop ...

transform使用导致元素内字体出现模糊的坑~~~: 今天用了一款日历插件，结果在我的页面上出现字体模糊的现象，调了一下，也确认是transform导致的。具体结论是：当使用translate进行位移的时候，如果选择的值是不接近整数的小数（测试时，整数和接近整数的小数...

大学物理实验绪论笔记——关于物理实验的误差分析、处理与数据记录: 一、完整的测量结果表达式举例以钢丝的杨氏模量为例：测量结果为：E=(1.89±0.08)x (N/m2) 或 E=1.89x(1±4.3%) (N/m2) 应包括：测量量（代表符号）+测量量值+不确定度+测量值的单位二、测量直接测量...

Java和C++的性能对比: 但是正好我司有个模块在尝试java转C++，这就引来大家的一片质疑，后来我在网上找到这样一份数据，大多数情况下C++无论在运行速度还是内存占用，比Java有更大的优势。　最终，我们讨论的结论是，java这些年来在性能...

[Oracle] enq: TX - row lock contention 优化案例: 根据开发反馈，最近每天早上7:30应用会报警，应用的日志显示数据库连接池满了，新的连接被拒绝。首先，我做了ASH报告（报告区间：7:25 ~ 7:35），从ASH的等待事件发现enq: TX - row lock contention居然高达76.54%...

C#入门必看实力程序100个: C#入门必看含有100个例字,每个例子都是针对C#的学习关键知识点设计的,是学习C#必须知道的一些程序例子,分享给大家，需要的可以下载

c语言项目开发实例: 十个c语言案例（1）贪吃蛇（2）五子棋游戏（3）电话薄管理系统（4）计算器（5）万年历（6）电子表（7）客户端和服务器通信（8）潜艇大战游戏（9）鼠标器程序（10）手机通讯录系统

计算机网络复习笔记，共85页，史上最全面: 个人在学习该课程时候自己做的复习笔记，从物理层一直到应用层都有，一共85页，文字图片搭配合理

数据结构期末考试题目（10套含答案）: 数据结构10套考试题目+答案解析，我们的期末考试题目基本都是从里面出的，全部刷一遍保证85+，分享给学弟学妹们

相关热词 c#编译器学习 c#和其他语言相比 c# 什么是管道 c# 在ui线程中运行 c# panel边框 c#调用dll报错 c# 编写dll c# timer 多线程 c# 发送邮件带图片画笔c#