【亿级数据】求 A中不存在B 的区间高效算法-CSDN论坛

【亿级数据】求 A中不存在B 的区间高效算法

其他技术论坛 > 数据结构与算法

收藏回复

[问题点数：100分，结帖人zengzhan]

⋅150分求标点符号排列组合算法 ⋅【分享】二分逼近算法高效解析800万大数据之区域分布 ⋅【亿级数据】求 A中不存在B 的区间高效算法 更多帖子 关注私信空间博客 qqzeng-ip 等级 本版专家分：0 结帖率 100%: 闭区间排好序了的  递增

———————A———————————--
[2,10]
[11,30]
[35,48]
[49,50]
[54,70]
[73,100]
几十万个区间   [m,n]  n最大值为几十亿的了

———————B———————————--
[1,8]
[10,20]
[21,30]
[32,48]
[49,50]
[51,66]
[69,121]
几十万个区间   [m,n]  n最大值为几十亿的了

—————找 A中不存在B 的区间 ——结果如下：—————————————————---

[1,1]
[32,34]
[51,53]
[71,72]
[101,121]

注：如果几十亿一个个枚举的话 cpu 和内存不够！
    A B 区间各有几十万，区间数量不一定相等！

所以只能求高效算法

2013-09-04 12:53:10

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅请教一个二进制串查询的问题 ⋅满眼都是40分以下的帖子，怪不得C++版越来越不景气了 ⋅梭哈阿根廷 更多帖子 关注私信空间博客 dbhme 等级 本版专家分：0: 既然排好序了从小到大比较不就得了，O（N）的复杂度还不够？

2013-09-04 15:07:33

点赞只看TA 引用举报 #1得分 5

⋅请教一个二进制串查询的问题 ⋅满眼都是40分以下的帖子，怪不得C++版越来越不景气了 ⋅梭哈阿根廷 更多帖子 关注私信空间博客 dbhme 等级 本版专家分：0: 这个跟n的大小没关系啊，复杂度只跟区间个数有关

2013-09-04 15:11:57

点赞只看TA 引用举报 #2得分 5

⋅关于报表设计 ⋅XML问题 更多帖子 关注私信空间博客 soulx 等级 本版专家分：0: 如果数据量很大的话，不可能一次读到内存中。
可以一次读取一部分数据，而且区间是排好序，然后一个个计算A和B的区间不就可以了吗。

2013-09-04 17:41:30

点赞只看TA 引用举报 #3得分 5

⋅此用户还没有发表过任何帖子 关注私信空间博客 大尾巴猫 等级 本版专家分：0 勋章 蓝花 2013年8月 C/C++大版内专家分月排行榜第三: 读一行，判断一行的，不需要全部读进来。

2013-09-04 18:08:26

点赞只看TA 引用举报 #4得分 5

⋅此用户还没有发表过任何帖子 关注私信空间博客 大尾巴猫 等级 本版专家分：0 勋章 蓝花 2013年8月 C/C++大版内专家分月排行榜第三

数据放在A.txt和B.txt
结果写入C.txt

#include <iostream>

#include <fstream>



using std::pair;

using std::ifstream;

using std::ofstream;

typedef pair<unsigned int, unsigned int> Upair;



inline unsigned Min(unsigned int x, unsigned int y) {return x < y ? x : y;}

inline unsigned Max(unsigned int x, unsigned int y) {return x > y ? x : y;}

ifstream& getpairfromfile(ifstream& ifs, Upair& inoutpair);

Upair left(Upair& uall, const Upair& ua);



int main()

{

	ifstream inA("A.txt");

	ifstream inB("B.txt");

	ofstream outC("C.txt");

	

	Upair upa, upb(0, 0), upc, upall(1, -1);

	//设置b(0,0)是为了第一次去读b

	//c是当前处理的区间

	//all是整个正整数区间

	while (inB)

	{

		if (inA)  //A文件没读完，要分区，否则直接把剩余的区间作为当前区间

		{

			getpairfromfile(inA, upa);

			upc = left(upall, upa);

		}

		else

			upc = upall;

		

		while (inB && upc.second >= upb.second && upc.first <= upc.second)  

                //当前区间还有空间而且右边界比B区间大，否则去读A文件继续划分区间

		{	

			while(inB && upc.first > upb.second) //B区间在当前区间的左边

			{

				getpairfromfile(inB, upb);    //读取B区间

			}

			if (!inB)

				break;

			

			//计算当前区间和B区间重复的部分，并写入c文件

			unsigned int low, high;

			low = Max(upc.first, upb.first);

			high = Min(upc.second, upb.second);

			outC << '[' << low << ',' << high << ']' << std::endl;

			upc.first = high + 1; //当前区间左边界重新计算

		}

	}



	inA.close();

	inB.close();

	outC.close();

	printf("done.\n");

	return 0;

}



ifstream& getpairfromfile(ifstream& ifs, Upair& inoutpair)

{

	//读文件一行，取得区间

	char buff[128];

	ifs.getline(buff, 128);

	sscanf(buff, "[%u,%u]", &inoutpair.first, &inoutpair.second);

	return ifs;

}



Upair left(Upair& uall, const Upair& ua)

{

	//把整个区间根据A的区间分成2部分

	Upair ret;

	ret.first = uall.first;

	ret.second = ua.first - 1;

	uall.first = ua.second + 1;

	return ret;

}

A.txt

[2,10]

[11,30]

[35,48]

[49,50]

[54,70]

[73,100]

B.txt

[1,8]

[10,20]

[21,30]

[32,48]

[49,50]

[51,66]

[69,121]

处理结果 C.txt

[1,1]

[32,34]

[51,53]

[71,72]

[101,121]

2013-09-04 20:53:42

点赞只看TA 引用举报 #5得分 80

收起

收藏回复

qqzeng-ip

等级：

关注私信 TA的帖子

A、B两个整数集合，设计一个算法求他们的交集，尽可能的高效。: 　对集合A和集合B进行排序（升序，用快排，平均复杂度O(N*logN)），设置两个指针p和q，同时指向集合A和集合B的最小值，不相等的话移动*p和*q中较小值的指针，相等的话同时移动指针p和q，并且记下相等的数字，为交集...

A、B两个整数集合，设计一个算法求他们的交集，尽可能的高效: A、B两个整数集合，设计一个算法求他们的交集，尽可能的高效思路1：排序法　对集合A和集合B进行排序（升序，用快排，平均复杂度O(N*logN)），设置两个指针p和q，同时指向集合A和集合B的最小值，不...

MySQL 面试题: MySQL 面试题 MySQL 涉及的内容非常非常非常多，所以面试题也容易写的杂乱。当年，我们记着几个一定要掌握的重心：重点的题目添加了【重点】前缀。索引。 ...因为 MySQL 还会有部分内容和运维相关度比较高，所以...

【超全汇总】学习数据结构与算法，计算机基础知识，看这篇就够了: 由于文章有点多，并且发的文章也不是一个系列一个系列发的，不过我的文章大部分都是围绕着数据结构 + 算法 + 计算机网络 + 操作系统 + Linux + 数据库这几个方面发的，为了方便大家阅读，我整理了一波。...

数据结构与算法学习笔记: 本文是王争老师的《算法与数据结构之美》的学习笔记，详细内容请看王争的专栏。有不懂的地方指出来，我做修改。数据结构与算法思维导图数据结构指的是“一组数据的存储结构”，算法指的是“操作数据的一组...

数据结构–七大查找算法总结: 转数据结构–七大查找算法总结 2017年08月15日 21:06:17 阅读数：10610 ...

python——pandas数据分析(表格处理)工具实现Apriori算法: pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。主要应用于处理大型数据集。数据处理速度算是最大的特色，剩下的就是个python版的excel了吧。 API文档：...

数据结构与算法题目及C++解答: 推荐书籍《数据结构与算法分析--C++语言描述》第四版。本文中所有源代码及博客中其他文章的VS源代码均在github：https://github.com/AnkangH，根据名称检索即可。 1.排序算法 SortAlgorithm 排序算法的源码见...

快速入门数据结构和算法: 本文简要分享算法基础、常见的数据结构以及排序算法，给同学们带来一堂数据结构和算法的基础课。一前言1 为什么要学习算法和数据结构？解决特定问题。深度优化程序性能的基础。学习一种思想：如何把现实问题转化...

海量数据处理算法: 海量信息即大规模数据，随着互联网技术的发展，...在海量数据中提取信息，不同于常规量级数据中提取信息，在海量信息中提取有用数据，会存在以下几个方面的问题：（1）数据量过大，数据中什么情况都可能

浙大PTA数据结构与算法题目集（中文）题解集复习用: 7-1 最大子列和问题 (20分)（dp或贪心）给定K个整数组成的序列{ N1, N2, …, N**K }，“连续子列”被定义为{ N**i, N**i+1, …, ...本题旨在测试各种不同的算法在各种数据情况下的表现。各组测试数据特点如下：数据1

游戏开发中常用的数据结构和算法: 转载Loving_初衷前言    时间流逝，物是人非，就好像涌动的河流，永无终焉，幼稚的心智将变得高尚，青年的爱慕将变得深刻，清澈之水折射着成长。  &...&

Mysql数据结构及算法原理: 特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常...

sqrt()函数详解: 虽然有可能你平时没有想过这个问题，不过正所谓是“临阵磨枪，不快也光”，你“眉头一皱，计上心来”，这个不是太简单了嘛，用二分的方法，在一个区间中，每次拿中间数的平方来试验，如果大了，就再试左区间的中间数...

数据挖掘--“聚类”详解、K-means、K-平均值算法、K均值算法: 一. 什么是聚类二.... 三. 聚类算法有哪些 ...1 层次聚类算法 ...2 划分聚类算法 ...3 基于密度的聚类算法 ...4 基于网格的聚类算法 ...后来，信息技术快速发展，新数据的出现呈井喷趋势，其结构的复杂性和内容的多..

【数据结构】B树、B+树与B*树详解: B树1.B树的定义 B树（B-tree）是对2-3树数据结构的扩展，又称为多路平衡查找树，它的一个节点可以拥有多于2个子节点的二叉查找树。与自平衡二叉查找树不同， ...B树的算法减少定位记录时所经历的中间过程，从

机器学习笔记3：支持向量机的SMO高效优化算法: 机器学习笔记3：支持向量机的SMO高效优化算法

数据结构之七大查找算法: 七大查找算法一、顺序查找二、二分查找三、插值查找四、斐波那契查找五、树表查找5.1 最简单的树表查找算法——二叉树查找算法5.2 平衡查找树之2-3查找树（2-3 Tree）5.3 平衡查找树之红黑树（Red-Black Tree）5.4 B...

分布式服务框架: 第2 章分布式系统基础设施 chapter 第2 章分布式系统基础设施 │ 59 一个大型、稳健、成熟的分布式系统的背后，往往会涉及众多的支撑系统，我们将这些支撑系统称为分布式系统的基础设施。除了前面所介绍的分布式...

数据挖掘面试 150 道题（附答案）: 1. 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 2. 以下两种描述分别对应哪两种对分类算法的评价标准...

高效的数据结构和经典算法: 1 Bloom filter 2 跳跃表 3 trie树未完待遇，LZ会在随后将这些问题补上。

数据挖掘面试笔试题（附答案）: 1、( D )的目的缩小数据的取值范围，使其更适合于数据挖掘算法的需要，并且能够得到和原始数据相同的分析结果。 A.数据清洗 B.数据集成 C.数据变换 D.数据归约 2、某超市研究销售纪录数据后发现，买啤酒的人很...

游戏制作中的大宝剑---常用的数据结构与算法: 前言时间流逝，物是人非，就好像涌动的河流，永无终焉，幼稚的心智将变得高尚，青年的爱慕将变得深刻，清澈之水折射着成长。 ----------《塞尔塔传说》 PS：为了

C++高级数据结构算法 | Binary Search Tree（二叉查找树）: 二分查找算法、BST 树及其几条重要性质、BST 树的结构定义、BST树的插入、删除、查询（递归与非递归实现）、BST树的四种遍历（递归与非递归实现）、BST 树相关的典型题目

java 小程序自己学习: java 小程序自己学习

数据压缩算法—2无损压缩算法: 几个常见的编码算法（一）字典算法字典算法是最为简单的压缩算法之一。它是把文本中出现频率比较多的单词或词汇组合做成一个对应的字典列表，并用特殊代码来表示这个单词或词汇。例如：有字典列表： ...

经典数据挖掘算法（介绍了包括18大数据挖掘在内的多种经典数据挖掘算法）: 文章标题的两个概念也许对于许多同学们来说都相对比较陌生，都比较偏向于于理论方面的知识，但是这个算法非常的强大，在很多方面都会存在他的影子。2个概念，1个维特比算法，1个隐马尔可夫模型。你很难想象，输入法...

夜深人静写算法（四）- 最短路和差分约束: 差分约束系统：数形结合，将复杂代数问题不等式组（）转换为最短路求解

通俗易懂的AI算法原理: 写给产品经理的机器学习算法入门，在文章中会忽略一些细节以及算法本身具体的实现方式。我想尽量用直白的语言、较少的数学知识给各位产品经理讲清楚各个算法的原理是什么。机器学习的过程机器学习的过程从本质上...

算法应该怎么“玩”？: 市面上关于算法的书可谓琳琅满目，有经典但难啃的、也有简单入门的、更有独辟蹊径的，不过这些大多数都是偏理论的多、偏应用的少，很多读者啃完后，对各种排序、搜索、遍历等常用算法了如指掌，但是遇到实际问题时...

相关热词 c# 线程池自定义 c和c#调用效率 c#某个字符串后面的 c# 只能启动一个实例 c# 删除对象属性值 c#常用命令 c# 定时启动定时器 c#跳出本次循环 c# rar 解压 c# 单选框控件

【 亿级数据 】求 A中不存在B 的区间 高效算法

【亿级数据】求 A中不存在B 的区间高效算法