C#处理大文本文件，如何高效去重复？-CSDN论坛

C#处理大文本文件，如何高效去重复？

.NET技术 > C#

收藏回复

[问题点数：300分，结帖人hjq624779687]

⋅C#处理大文本文件，如何高效去重复？ ⋅session共享问题 ⋅MYSQL数据表更新 更多帖子 关注私信空间博客 夏天的枫 等级 本版专家分：1666 结帖率 100%: 现有一个2000W行的文本文件txt1，
又有一个400W行的文本文件txt2
txt1的数据格式如下
x,y,id
txt2的数据格式如下
id,address
2中的id都是可以在1中找到的。
现在的实现思路就是简单的加入内存list，并利用linq的firstordefault方法进行循环去重，无奈效率实在低下（我跑了一个小时才4W行左右）
现在目的一是想将txt1中id在txt2中出现的去除掉
目的二是想把txt2中数据重组弄成id,x,y,address这样的格式
如何更加高效的去做呢？

2017-11-12 17:11:14

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅问一个github和npm热度相反的问题？ ⋅mysql，1w多条记录的表，插入一条记录需要500ms以上，这正常吗？ ⋅EF的Local查询效率好低啊，真坑 更多帖子 关注私信空间博客 圣殿骑士18 等级 本版专家分：13347 勋章 黄花 2006年6月 PowerBuilder大版内专家分月排行榜第二 2006年5月 PowerBuilder大版内专家分月排行榜第二 蓝花 2006年7月 PowerBuilder大版内专家分月排行榜第三: 现在目的一是想将txt1中id在txt2中出现的去除掉-

-------
你的处理方式，应该是根据txt1的某记录，去查找txt2中是否有吧？ Dictionary比List效率高很多，你把txt2换成Dictionary。

2017-11-12 18:35:24

点赞只看TA 引用举报 #1得分 0

⋅问一个github和npm热度相反的问题？ ⋅mysql，1w多条记录的表，插入一条记录需要500ms以上，这正常吗？ ⋅EF的Local查询效率好低啊，真坑 更多帖子 关注私信空间博客 圣殿骑士18 等级 本版专家分：13347 勋章 黄花 2006年6月 PowerBuilder大版内专家分月排行榜第二 2006年5月 PowerBuilder大版内专家分月排行榜第二 蓝花 2006年7月 PowerBuilder大版内专家分月排行榜第三: 另外，在此基础上，你还可以使用多线程分段，现在的电脑都是多核的，多线程能发挥出更多性能。

2017-11-12 18:43:06

点赞只看TA 引用举报 #2得分 20

⋅C#处理大文本文件，如何高效去重复？ ⋅session共享问题 ⋅MYSQL数据表更新 更多帖子 关注私信空间博客 夏天的枫 等级 本版专家分：1666: 引用 2 楼 daixf_csdn 的回复:
另外，在此基础上，你还可以使用多线程分段，现在的电脑都是多核的，多线程能发挥出更多性能。

Dic有办法分段么。。。

2017-11-12 19:43:59

点赞只看TA 引用举报 #3得分 0

⋅真是傻到家了

⋅想要做什么

⋅你们能不能敬业一点

更多帖子

关注私信空间博客

版主

xuzuning

等级

本版专家分：70355

勋章

签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！

名人 2019年荣获名人称号

状元 2018年总版新获得的技术专家分排名第一

进士 2017年总版技术专家分年内排行榜第四
2014年总版技术专家分年内排行榜第四
2013年总版技术专家分年内排行榜第四
2012年总版技术专家分年内排行榜第六: 导入到数据库

2017-11-12 20:15:24

点赞只看TA 引用举报 #4得分 100

⋅问一个github和npm热度相反的问题？ ⋅mysql，1w多条记录的表，插入一条记录需要500ms以上，这正常吗？ ⋅EF的Local查询效率好低啊，真坑 更多帖子 关注私信空间博客 圣殿骑士18 等级 本版专家分：13347 勋章 黄花 2006年6月 PowerBuilder大版内专家分月排行榜第二 2006年5月 PowerBuilder大版内专家分月排行榜第二 蓝花 2006年7月 PowerBuilder大版内专家分月排行榜第三: 引用 3 楼 hjq624779687 的回复:
Quote: 引用 2 楼 daixf_csdn 的回复:

另外，在此基础上，你还可以使用多线程分段，现在的电脑都是多核的，多线程能发挥出更多性能。

Dic有办法分段么。。。

你先试试好么。dict搜索比list高几十倍，不用分段。你可以给txt1的list分段呀。

2017-11-12 21:04:08

点赞只看TA 引用举报 #5得分 0

⋅xamarin.IOS模拟器调试时，安装失败！ ⋅高二女生，该学习C#还是C++，用哪种IDE？ ⋅如何从sierra10.12.6升级到Catalina？ 更多帖子 关注私信空间博客 秋的红果实 等级 本版专家分：35406 勋章 银牌 2018年2月总版技术专家分月排行榜第二 红花 2018年2月 .NET技术大版内专家分月排行榜第一 黄花 2019年12月 .NET技术大版内专家分月排行榜第二 2019年5月 .NET技术大版内专家分月排行榜第二 2018年1月 .NET技术大版内专家分月排行榜第二 蓝花 2019年4月 .NET技术大版内专家分月排行榜第三: 你知道时间都去哪儿了吗？
那么大文本文件读取到内存，需要很长时间的，在内存里处理完，再写回去，更费劲
所以要提前将数据装入数据库，以提高用户的体验

应该用redis存储text2，text1也放到数据库表（table1）；新建数据库表(table2)，设计4个字段id,x,y,address，id和address从text2导入，x、y等待更新
程序中遍历text1表
foreach(var ID in table1.id)
{
    在redis中快速查找ID是否存在；
    if exist then
        update field x，y from table2；
        delete the row of table1；

    end if

}

应该可行

即使在内存里处理，建议用基本算法，for循环，而不是用linq
这么大数据量，要想有较好的执行效率，需要在算法上下功夫，如二叉排序树等

2017-11-12 21:46:59

点赞只看TA 引用举报 #6得分 50

⋅以 xn-- 开头的是什么域名表示方法？ ⋅讨论一下 SQL 解析器 ⋅博文编辑后，在文章列表中不见了 更多帖子 关注私信空间博客 闭包客 等级 本版专家分：7394: 做一个索引。

2017-11-12 22:06:54

点赞只看TA 引用举报 #7得分 0

⋅C#处理大文本文件，如何高效去重复？ ⋅session共享问题 ⋅MYSQL数据表更新 更多帖子 关注私信空间博客 夏天的枫 等级 本版专家分：1666: 引用 6 楼 From_TaiWan 的回复:
你知道时间都去哪儿了吗？
那么大文本文件读取到内存，需要很长时间的，在内存里处理完，再写回去，更费劲
所以要提前将数据装入数据库，以提高用户的体验

应该用redis存储text2，text1也放到数据库表（table1）；新建数据库表(table2)，设计4个字段id,x,y,address，id和address从text2导入，x、y等待更新
程序中遍历text1表
foreach(var ID in table1.id)
{
    在redis中快速查找ID是否存在；
    if exist then
        update field x，y from table2；
        delete the row of table1；

    end if

}

应该可行

即使在内存里处理，建议用基本算法，for循环，而不是用linq
这么大数据量，要想有较好的执行效率，需要在算法上下功夫，如二叉排序树等

时间还在后面还有一个两亿多的单表，读写数据库基本不可行

2017-11-13 10:29:04

点赞只看TA 引用举报 #8得分 0

⋅C#处理大文本文件，如何高效去重复？ ⋅session共享问题 ⋅MYSQL数据表更新 更多帖子 关注私信空间博客 夏天的枫 等级 本版专家分：1666: 引用 7 楼 closurer 的回复:
做一个索引。

数据库操作应该是不行了，现在两千万还算少的，后面还有个2亿的单表要处理。。。

2017-11-13 10:30:51

点赞只看TA 引用举报 #9得分 0

⋅C#处理大文本文件，如何高效去重复？ ⋅session共享问题 ⋅MYSQL数据表更新 更多帖子 关注私信空间博客 夏天的枫 等级 本版专家分：1666: 引用 5 楼 daixf_csdn 的回复:
Quote: 引用 3 楼 hjq624779687 的回复:

Quote: 引用 2 楼 daixf_csdn 的回复:

另外，在此基础上，你还可以使用多线程分段，现在的电脑都是多核的，多线程能发挥出更多性能。

Dic有办法分段么。。。

你先试试好么。dict搜索比list高几十倍，不用分段。你可以给txt1的list分段呀。

明白你的意思了，多线程分段处理原数据，这样来说应该时间会节约很多。

2017-11-13 10:32:19

点赞只看TA 引用举报 #10得分 0

1 2 3 ... 5

收起

收藏回复

夏天的枫

等级：

关注私信 TA的帖子

txt文本去重复亲测50G文本高效去重复: 链接: https://pan.baidu.com/s/15fzfFHCbNHF_Dc_V4Hb_xQ&shfl=shareset 提取码: r81d 下载地址

C#实现大数据量TXT文本数据快速高效去重: 对几千万的TXT文本数据进行去重处理，查找其中重复的数据，并移除。尝试了各种方法，下属方法是目前尝试到最快的方法。以下代码将重复和不重复数据进行分文件存放，提升效率的关键是用到了HashSet。 TextReader ...

c#字符串模糊匹配: 1、正则表达式简介 <br />　正则表达式提供了功能强大、灵活而又高效的方法来处理文本。正则表达式的全面模式匹配表示法可以快速地分析大量的文本以找到特定的字符模式；提取、编辑、替换或删除文本子...

C#中利用正则表达式实现字符串搜索: 　摘要：本文给出了在C#下利用正则表达式实现字符串搜索功能的方法，通过对.NET框架下的正则表达式的研究及实例分析，总结了正则表达式的元字符、规则、选项等。　关键字：正则表达式、元字符、字符串、匹配###adv#...

最佳文本编辑器: 原文：donationcoder.com　　译者：xbeta@善用佳软　说明：仅做翻译...不代表同意文中观点（xbeta认为最好的编辑器为VIM）。最佳文本编辑器当前，好用的文本编辑器比比皆是——无论商业软件还是免费软件。如果你用得

c# BlockingCollection ConcurrentQueue 内存队列的生产和消费: c# BlockingCollection ConcurrentQueue 内存队列的生产和消费

HtmlAgilityPack——解析html和采集网页的神兵利器: HtmlAgilityPack是一个基于.Net的、第三方免费开源的微型类库，主要用于在服务器端解析html文档（在B/S结构的程序中客户端可以用Javascript解析html）。...下载后解压缩后有3个文件，这里只需要将其中的HtmlAgil

T4实践简单的代码生成器: T4(Text Template Transformation Toolkit)在 Visual Studio 中，“T4 文本模板”是由一些文本块和控制逻辑组成的混合模板，它可以生成文本文件。在 Visual C# 或 Visual Basic 中，控制逻辑编写为程序代码的片段...

GIT开源优秀项目: （注：下面用 [$] 标注的表示收费工具，但部分收费工具针对开源软件的开发/部署/托管是免费的）目录 API 应用框架（Application ...程序集处理（Assembly Manipulation）资产（Assets）认证和授权（Aut

Protobuf3语言指南: 从.proto文件生成了什么？标量数值类型默认值枚举使用其他消息类型导入定义使用proto2消息类型嵌套类型更新一个消息类型 Any Oneof 使用Oneof Oneof 特性向后兼容性问题映射（Maps）向后兼容性问题包...

C#基础教程-c#实例教程，适合初学者: C#基础教程-c#实例教程，适合初学者。第一章 C#语言基础本章介绍C#语言的基础知识，希望具有C语言的读者能够基本掌握C#语言，并以此为基础，能够进一步学习用C#语言编写window应用程序和Web应用程序。当然仅靠一...

DotNet 资源大全中文版（Awesome最新版）: DotNet 资源大全中文版（Awesome最新版）

跨语言RPC框架Thrift详解: 一、概念Apache的Thrift软件框架，是用来进行可伸缩的、跨语言的服务开发，它通过一个代码生成引擎来构建高效、无缝的服务，这些服务能够实现跨语言调度，目前支持的语言有： C++, Java, Python, PHP, Ruby, Erlang...

各分词工具介绍: 是一套专门针对原始文本集进行处理和加工的软件，提供了中间件处理效果的可视化展示，也可以作为小规模数据的处理加工工具。用户可以使用该软件对自己的数据进行处理。关键词提取；同时支持用户词典。，可以可视...

Java常用类库以及简介，具体使用细节进行百度（爬虫爬取的数据）: Office文档的Java处理包 POI [推荐] Apache POI是一个开源的Java读写Excel、WORD等微软OLE2组件文档的项目。目前POI已经有了Ruby版本。结构： HSSF －提供读写Microsoft Excel XL... Java常用工具包 Jodd [推荐]...

各大主流编程语言-常用爬虫框架以及优劣分析: 关注微信公众号：(DT数据技术博文)，查看更多JAVA爬虫、大数据、人工智能技术. 本篇主要总结一下市场上主流的开发语言中有哪些主流的爬虫框架，以及爬虫框架的优劣；希望在对你在选择合适爬虫框架中有所帮助。

Enterprise Architect使用: EA是一个很好的CASE工具, 结合软件工程, 让程序员的工作变得高效. EA(Enterprise Architect "企业建筑师") ,主要特性: 　1 UML设计和构建；　2 使用案例，逻辑，动态和物理模型；　3 定制进程模型的...

十大热门编程语言的介绍: 小编给大家分享一篇关于现阶段十大热门编程语言的文章：经过流行的搜索引擎，如谷歌，必应，雅虎，维基百科，亚马逊，YouTube和百度，用于计算评级；得出十大热门编程语言排行榜的榜单：根据百度百科以及网上查阅...

编程语言介绍以及特点: 简介编程语言（programming language），它是用来定义计算机程序的形式语言，它是一种被标准化的交流技巧，用来向计算机发出指令。一种计算机语言让程序员能够准确地定义计算机所需要使用的数据，并精确地定义在...

常用的开源中文分词工具: 由于中文文本词与词之间没有像英文那样有空格分隔，因此很多时候中文文本操作都涉及切词，这里整理了一些中文分词工具。一般来说用CRF实现的分词工具的处理速度是比较慢的（训练CRF模型是非常耗时的），但是精度高，...

自然语言处理NLP开源软件工具包: 自然语言处理（NLP）开源软件工具包基础研究领域 1、文本分类 2、依存分析 3、命名实体 4、词性标注 5、中文分词 6、情感分析 7、信息抽取 8、文本摘要一、NLTK NLTLK官方文档地址：http://www.nltk.org/ ...

vim 的使用方法: Vim是Unix系统上的文本编辑软件（你该不会不知道什么是文本编辑软件吧！），在windows上也有移植的版本，方便了Windows上的用户。Vim的文本编辑功能非常强大，强大的有些让人吃惊！并且非常稳定，你的文档不用经常...

C#的GC机制: 第一个就是很多人用.Net写程序，会谈到托管这个概念。那么.Net所指的资源托管到底是什么意思，是相对于所有资源，还是只限于某一方面资源？很多人对此不是很了解，其实.Net所指的托管只是针对内存这一个方面，并不是...

Protocol Buffers 3.0 技术手册: 转载请标明出处：http://blog.csdn.net/shensky711/article/details/69696392 本文出自: 【HansChen的博客】简介 proto3语法定义一个 Message 定义多个 message 类型定义变量类型 ...如何引用其他 pro...

Visual Studio2010的技巧: 现在学习C#，用Visual Studio2010作为开发环境。为了更好、更方便、更高效的使用这个软件，使用一些技巧是在所免的。现在，我把我知道的一些技巧中总结出来，跟更多的人一起交流、学习。这些技巧没什么先后顺序，，...

WEB开发文档2 总结: http://blog.donews.com/lvjiyong/archive/2006/06/29/931071.aspx 怎样将后台生成的在内存中的图象显示到客户端 Microsoft IE WebControls下载地址如何在DATAGRID中使用JAVASCRIPT脚本控制 DataGrid中连接到...

hadoop面试100道收集（带答案）: 1.列出安装hadoop流程步骤 ...d) 修改host文件域名 e) 安装ssh 配置无密码登录 f) 解压hadoop g) 配置hadoop conf下面的配置文件 h) Hadoop namenode -format 格式化 i) Start 启动 2.列出had...

成为编程大牛很简单，把这些书看个八成就OK: 本文把程序员所需掌握的关键知识总结为三大类19个关键概念，然后给出了掌握每个关键概念所需的入门书籍，必读书籍，以及延伸阅读。旨在成为最好最全面的程序员必读书单。前言 Reading makes a full man;

Unity3D手游开发实践: 本文从以下10大点进行阐述：架构设计、原生插件/平台交互、版本与补丁、用脚本，还是不用？这是一个问题、资源管理、性能优化、异常与Crash、适配与兼容、调试及开发工具、项目运营。1.架构设计好的架构利用大规模...

索引服务器（全文索引）的使用: 修改SQL语句，将进行全文查询语句的内容加入查询条件中文件的存储方式：为了方便存储以及方便索引，我们将上传的文件存储到一个目录里面，为了保证上传的文件名不重复，采用GUID作为文件名，并且通过这个GUID于...

相关热词 c#等比例压缩图片大小 c# word 替换 c# mysql插入 c#窗体上的叉添加事件 c#打印图片文件 c#後台調前台js c#控制台美化 c#获取当前的农历日期 c# 构造函数重载 c#代码修改服务器时间