111,094
社区成员
发帖
与我相关
我的任务
分享CSV文件快速模糊查询
有2个输入CSV文件，其数据如下：
示例CSV文件＃1：（5万条记录）
=====================
full_name，公司
Josh Smith ， Google
Mark McCoy，GAP
Brad Gold，Microsoft
示例CSV文件＃2 ：（最多1000条记录）
=====================
full_name，公司
Josh Smith ，Google
Mark R. McCoy，GAP
Laura Carter，Trulia
Mr Brad Gold（Sales），Microsoft Corporation
James Wilson，McDonalds
Output（在CSV1上找不到CSV2上的唯一记录）：
============ ============
劳拉·卡特（Laura Carter），特鲁莉亚
·詹姆斯·威尔逊（Trulia James Wilson），麦当劳
大神们有没有什么好办法，能把查询优化只需几分钟
示例CSV文件＃1：（5万条记录）
=====================
full_name，公司
Josh Smith ， Google
Mark McCoy，GAP
Brad Gold，Microsoft
示例CSV文件＃2 ：（最多1000条记录）
=====================
full_name，公司
Josh Smith ，Google
Mark R. McCoy，GAP
Laura Carter，Trulia
Mr Brad Gold（Sales），Microsoft Corporation
James Wilson，McDonalds
Output（在CSV1上找不到CSV2上的唯一记录）：
============ ============
劳拉·卡特（Laura Carter），特鲁莉亚
·詹姆斯·威尔逊（Trulia James Wilson），麦当劳
大神们有没有什么好办法，能把查询优化只需几分钟
...全文
请发表友善的回复…
发表回复
by_封爱 版主 2020-02-17
- 打赏
- 举报
所谓的csv 就是txt加了点东西而已..
5W多条数据 用system.io.readalllines读取出来 应该很快吧?
然后跳过第一行skip 之后split(",") 在之后todict 就能拿到一个dict<string,string> 或者list<T> T is class 包含 string ,string
然后按照你的需求 (是不是 求2对1的差集) ? 一句话就能输出了..
这点数据 我觉得 用不了几分钟... 几秒估计都用不到.
至于你说 linq查询太慢了 那么请问 你代码是如何写的? 发出来看下.
具体有多慢? 你能说出来吗?
阿蒙Armon 2020-02-17
- 打赏
- 举报
代码先贴出来吧，看看可以优化的地方。
良朋 2020-02-17
- 打赏
- 举报
只需几分钟? 这太慢了吧，有点吓人
threenewbee 2020-02-16
- 打赏
- 举报
5万条或者1000条记录，放在内存里直接循环搜索，都几乎没有延迟
海会圣贤 2020-02-16
- 打赏
- 举报
速度太慢了。。。。
面向医学编程 2020-02-16
- 打赏
- 举报
用linq做起来还是很简单的吧
