C++ 写一段代码去除文本中的重复行 (各位帮忙)

2009-04-07 12:56:09 866 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

查找连续重复的单词并进行统计.cpp /******************************************* 作者： gnehoaix 功能：查找连续重复的单词并进行统计时间： 2019\4\24 ********************************************/ # include "stdafx.h" #include <iostream> #includ... 阅读详情

比如说:有一个文本d:\1.txt,
内容有N行:
1111
3333
1111
3333
2222……

写一段c++的代码可以将重复行去除,内容变为:
1111
3333
2222……

各位拜托了，我是菜鸟，越详细越好。

...全文

C++通用工具库cpp-utilities：告别重复造轮子，提升开发效率在C++开发中，字符串处理、文件操作、时间日期等基础功能是每个项目都绕不开的通用需求。这些看似简单的功能，若每次都从零实现或从网络拼凑，不仅效率低下，还会引入风格不一、质量参差不齐的代码，为项目埋下隐患。cpp-utilities正是为解决这一痛点而生的轻量级头文件库，它遵循现代C++标准，提供了一套经过充分测试、高效可靠的通用工具集。其核心价值在于通过模块化设计，将开发者从重复劳动中解放出来，让开发者能更专注于核心业务逻辑。无论是快速原型验证，还是需要长期维护的生产项目，cpp-utilities都能作为阅读详情

alargel

C++ 语言 65,214 成员 250,514 内容

+ 关注 + 加入社区

切换为时间正序

LittleJohny 2010-04-22

打赏
举报

mark....

f22fbi 2009-04-08

打赏
举报

set容器实现

fairchild811 2009-04-08

打赏
举报

[Quote=引用 27 楼 hairetz 的回复:]
引用 25 楼 fairchild811 的回复:
还有就是map也不允许重复的键值，如果尝试插入重复的键值会怎么样？

另外pair和map的区别是什么呢？

thanks a lot

这得看你map的second参数了,如果是普通的数据,估计就覆盖了.set的话,会继续插入到set里.当然,如果你插入一个键值存在,set里也存在的数据,那肯定不是不变吧(因为我觉得它会优化).
[/Quote]

uh, 如果插入到set里，且set已经有了正准备插入的数据，您的意思就是会覆盖掉原有的?

onlinewan 2009-04-07

打赏
举报

如五楼那样，容器应该只是起到判断的作用。

六楼的，可能会改变顺序。

onlinewan 2009-04-07

打赏
举报

用set或map，我觉得都应该考虑一个问题，不能改变原有文本的顺序。

猫已经找不回了 2009-04-07

打赏
举报

http://topic.csdn.net/u/20090407/13/cc6646a1-f96b-4956-8456-834bfc0c61ca.html
我在这里写过插入map<string ,set<string> >的.

猫已经找不回了 2009-04-07

打赏
举报

[Quote=引用 25 楼 fairchild811 的回复:]
还有就是map也不允许重复的键值，如果尝试插入重复的键值会怎么样？

另外pair和map的区别是什么呢？

thanks a lot
[/Quote]

这得看你map的second参数了,如果是普通的数据,估计就覆盖了.set的话,会继续插入到set里.当然,如果你插入一个键值存在,set里也存在的数据,那肯定不是不变吧(因为我觉得它会优化).

jakqigle 2009-04-07

打赏
举报

支持六楼的，看下STL中关于set的资料说明。插入到set容器的内容自动会剔除重复项并且排序。
另外那个用shell的话估计lz不一定是在linux下吧，Windows的shell吗？^_^

fairchild811 2009-04-07

打赏
举报

还有就是map也不允许重复的键值，如果尝试插入重复的键值会怎么样？

另外pair和map的区别是什么呢？

thanks a lot

fairchild811 2009-04-07

打赏
举报

5楼的应该用map就可以了吧，不一定要用hash_map吧

顺便问一下6楼的，set中的元素只允许出现一次，如果试图insert已经存在的元素，会自动不执行，就是不会把这个数据插入到set中，谢谢

liliangbao 2009-04-07

打赏
举报

[Quote=引用 6 楼 hairetz 的回复:]
C/C++ code
#include <iostream>
#include <fstream>
#include <set>

using namespace std;

ifstream& open_file(ifstream &in, const string &file)
{
in.close();
in.clear();
in.open(file.c_str());
return in;
}

int main()
{
set <string> ss;
set <string>::iterator iter;
ifstream infile;
ofstream ofile;
if ( !open_file(infile, "1.txt") )
…
[/Quote]

UP~

hjjdebug 2009-04-07

打赏
举报

是啊，所以纵使在windows 下，我也装上cygwin, 要在windows下使用linux下的
强大的东西。linux 下有很多好用的。
当然，就学习c++而言，还是多学习容器类。跟楼上大牛学学set 和 map.

猫已经找不回了 2009-04-07

打赏
举报

[Quote=引用 20 楼 hejinjing_tom_com 的回复:]
就解决该问题而言，最简单办法是script 语言。
linux 下bash 可如下书写：
cat 1.txt | sort |uniq

1.txt 就是文本内容，
该命令的意思是：将文件内容按行排序，然后消除重复行。
[/Quote]

可惜人家不是linux,shell脚本是很牛比

hjjdebug 2009-04-07

打赏
举报

就解决该问题而言，最简单办法是script 语言。
linux 下bash 可如下书写：
cat 1.txt | sort |uniq

1.txt 就是文本内容，
该命令的意思是：将文件内容按行排序，然后消除重复行。

fairchild811 2009-04-07

打赏
举报

[Quote=引用 16 楼 dizuo 的回复:]
C/C++ code一个笨办法：
使用个大的二维char数组存储，
每次读取一行，检查是否已经在数组中有相同元素。
存在就跳过，不存在就加进去。
最后输出这个二维数组。
[/Quote]

整个也太麻烦了吧

必成桂 2009-04-07

打赏
举报

用hashmap是最有效率的。

猫已经找不回了 2009-04-07

打赏
举报

[Quote=引用 14 楼 alargel 的回复:]
我用的VC6.0,有没有普通的方法可以实现以上功能呢?
[/Quote]

Vc6不支持C++?set都是C++的容器啊.

ryfdizuo 2009-04-07

打赏
举报



一个笨办法：

使用个大的二维char数组存储，

每次读取一行，检查是否已经在数组中有相同元素。

存在就跳过，不存在就加进去。

最后输出这个二维数组。

csgdseed 2009-04-07

打赏
举报

VC6.0普通的方法只能自己想算法了

alargel 2009-04-07

打赏
举报

我用的VC6.0,有没有普通的方法可以实现以上功能呢?

加载更多回复（13）

C++ 写一段代码去除文本中的重复行 (各位帮忙)

相关推荐