请问如何用c或c++对几十万行文本进行排序、删除重复行？

2007-07-19 04:34:58 1.7k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

C语言到C++过渡指南：掌握面向对象、STL与刷题技巧编程语言的学习往往离不开指针、内存管理和数据结构等基础概念。C语言以面向过程为核心，开发者需要手动管理内存、处理字符串和数组，这类操作在工程实践中较为繁琐。C++作为C语言的扩展，在保留底层操控能力的同时，引入了类、封装、继承与多态等面向对象特性，并提供了标准模板库（STL）来简化容器、算法和迭代器的使用。理解虚函数、智能指针和拷贝控制等机制，有助于写出更安全、高效的代码。在在线评测平台（如PTA、GESP）刷题时，掌握字符串逆序、快速排序等常见题型的C++写法，能显著提升解题效率。无论是嵌入式开发、游戏引阅读详情

方法有不少：
1－导入数据库，排序、删除重复行，输出；
2－用工具软件，如UE；
3－在linux下先sort后uniq；

但是现在需要集成到自己的程序里，希望大家能给出较详细的代码例子，谢谢！

...全文

C++高级设计模式与系统架构：从代码到架构的思维跃迁设计模式是软件工程中解决常见问题的可复用方案模板，其核心原理在于通过封装变化、解耦依赖来提升代码的灵活性和可维护性。在C++大型系统开发中，恰当运用设计模式的技术价值尤为显著，它能有效应对代码腐化、提升模块复用性，是构建健壮、可扩展系统的基石。从创建型模式如工厂方法和单例模式，到结构型模式如适配器和装饰器，再到行为型模式如策略和观察者，这些模式为管理对象生命周期、组合复杂结构和协调对象交互提供了系统化方法。在实际应用场景中，设计模式常与C++特有的泛型编程、模板元编程结合，通过编译期多态和策略模式等高级技术阅读详情

amo73

其它技术问题 3,881 成员 9,044 内容

+ 关注 + 加入社区

切换为时间正序

浪里个儿浪 2012-03-20

打赏
举报

楼主，求您的主函数呀！

sylvanaszm 2008-12-12

打赏
举报

mark

lnuzwy 2008-11-06

打赏
举报

上空飘过~

lann64 2008-10-26

打赏
举报

怎么看都是脚本语言最简单。

yjuufgef 2008-10-26

打赏
举报

[Quote=引用 18 楼 lbaby 的回复:]
推荐直接用sort
或者使用脚本，省时，省下的时间可以用来陪MM。

何乐而不为呢？
[/Quote]
laf~

iGarlic 2008-10-22

打赏
举报

用stl的map就行了吧

勇敢的天牛 2008-07-29

打赏
举报

以上方法，我保证比数据库快很多倍

勇敢的天牛 2008-07-29

打赏
举报

几十万行数据排序还是比较简单的，按100万算吧，一条256字节，极限消耗244M的内存，基本消耗和你文件大小一样
所以直接把数据读进内存就好了。
数据结构上用哈希表呗，好处是自动排重，同时节约内存。
取前四个字节，有456976中情况，对于100万数据，速度应该很理想，内存消耗不足2M
重复的时候使用strcmp排序，大概只比较两个串大小，应该很快，除非你的数据有规律
如果你的数据有规律比如都是http://这种开头，就要提前处理下，要不就死定了

qjyh 2008-06-29

打赏
举报

定义一个有序set，自己指定比较器，读取文件每一行，插入该set，输出该set。

liveforlov 2008-06-25

打赏
举报

用awk+脚本，速度比你的代码快多了

UltraBejing 2008-04-30

打赏
举报

不明LZ在说什么

Super.Jiju 2008-03-02

打赏
举报

用hash吧
Google他们就是用这样的方式来删除重复网址的吧
如果仅仅用hash似乎不能排序哎

可以做个参考：
http://blog.csdn.net/jiju8484/archive/2008/03/01/2137499.aspx

gunsand 2008-01-24

打赏
举报

用脚本。比较EASY。

jsphuang 2007-11-09

打赏
举报

用C/C++还是导入数据库比较容易处理

neversaydie518 2007-10-29

打赏
举报

晕的

lbaby 2007-10-10

打赏
举报

推荐直接用sort
或者使用脚本，省时，省下的时间可以用来陪MM。

何乐而不为呢？

waterfield 2007-09-17

打赏
举报

用范型sort 和unique 应该比较简单吧

loops 2007-09-13

打赏
举报

上面错了，请增加一个
bool pr2( const StringIndex::value_type &l, const StringIndex::value_type &r )
{
if( l.second!=r.second ){ return false; }
if( strcmp(l.first, r.first )==0 ){return true;}
return false;
}
并且将index.erase(unique(index.begin(),index.end(),pr1),index.end());改成
index.erase(unique(index.begin(),index.end(),pr2),index.end());

loops 2007-09-13

打赏
举报

#include <vector>
#include <fstream>
#include <iostream>
#include <algorithm>
#include <functional>
using namespace std;
#define LARGENUMBER 6293815
class CHashString
{
public:
CHashString(){ InitHash(); }
void InitHash()
{
index = 1;
sum = 0;
multiple = LARGENUMBER;
}
unsigned long ConsumeChar( char c )
{
sum+=multiple*index++*c;
multiple*=LARGENUMBER;
return sum;
}
unsigned long GetCurSum(){ return sum; }
public:
int index;
unsigned long sum;
unsigned long multiple;
};

typedef vector<pair<char*, unsigned long> > StringIndex;//first 是指针，second是hash值
class CreateStringIndex
{
public:
CreateStringIndex():buffer(NULL){}
~CreateStringIndex(){ delete []buffer; }
StringIndex & GetStringIndex(){ return index; }
bool Create(const char *pFileName )
{
size_t pInd=0;
CHashString hashString;
StringIndex::value_type temp;
ifstream infile( pFileName, ios::binary);
if( infile.fail() ){
return false;
}
infile.seekg(0,ios::end);
length=infile.tellg();
infile.seekg(0,ios::beg);
delete []buffer;
buffer = new char[length+1];
istreambuf_iterator<char> it(infile);
istreambuf_iterator<char> ed;
while( pInd < length )
{
if( *it == '\r' || *it == '\n' )
{
buffer[pInd++]=0;
++it;
if( temp.first )
{
temp.second = hashString.GetCurSum();
index.push_back( temp );
}
hashString.InitHash();
temp.first = NULL;
}else
{
hashString.ConsumeChar( *it );
if( temp.first== NULL )
{
temp.first = &buffer[pInd];
}
buffer[pInd++] = *it++;
}
}
if( temp.first ){//如果文件末尾不是以\n结束的
buffer[pInd]=0;
temp.second = hashString.GetCurSum();
index.push_back( temp );
}
return true;
}
private:
char *buffer;
size_t length;
StringIndex index;
};
bool pr1( const StringIndex::value_type &l, const StringIndex::value_type &r )
{
if( l.second == r.second )
{
return (strcmp(l.first, r.first )<0);
}else
{
return l.second<r.second;
}
}
int main()
{
CreateStringIndex createIndex;
if( !createIndex.Create("test.txt") ){return 0;}
StringIndex &index = createIndex.GetStringIndex();
sort(index.begin(),index.end(),pr1);
index.erase(unique(index.begin(),index.end(),pr1),index.end());
for( StringIndex::iterator it = index.begin(); it!=index.end(); it++ ){
cout<<it->first<<endl;
}
return 0;
}

wishfly 2007-09-13

打赏
举报

mark

加载更多回复（13）

请问如何用c或c++对几十万行文本进行排序、删除重复行？

相关推荐