有什么方法比 DataTable.Select()更高效

2011-03-31 05:05:23 6.4k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

Linux初级介绍之番外篇：Linux挂载windows中的共享目录挂载windows共享目录Windows端共享权限设定解禁Guest设置共享目录权限Linux挂载端扫描共享目录挂载共享目录遇到错误的解决方案 Windows端共享权限设定解禁Guest 右击我的电脑选择管理–>本地用户和组–>在用户项中双击Guest用户–>取消账号已禁用选项设置共享目录权限右击共享目录点属性–>在共享页面中点击共享选项–>下拉选择共享对象为Everyone–>点击共享按钮 3.设置本地策略打开命令框–>输入secpol.msc–&gt 阅读详情

我现有10万条数据在DataTable中，要快速找出符合条件的那条数据，使用DataTable.Select(）方法需要耗时100多毫秒，有没有什么方法能比Select（）方法更高效的，最好能把时间减少到几毫秒到10几毫秒。求各位大虾帮帮忙。

...全文

ESP32 Arduino学习篇 (一) 引脚和串口的基本使用简单来讲arduino就是通过源代码控制开发板的信号输入输出从而实现对一些电子元件的控制，例如LED灯，蜂鸣器，按键arduino程序首先来讲arduino程序是基于C语言，而实现类似对于LED灯和蜂鸣器的简单控制只需简单C语言知识即可实现。arduino程序是基于函数的，而在arduino的库有很多函数，我们只需要调用即可。arduino的程序主体是**setup()函数和loop()**函数以及其它在使用过程中需要构建的函数：setup()函数。阅读详情

LL891230

C# 111,128 成员 642,536 内容

+ 关注 + 加入社区

切换为时间正序

Vampire_D 2013-07-08

打赏
举报

可以看看这个帖子 http://www.cnblogs.com/AloneSword/articles/801989.html

Vampire_D 2013-07-08

打赏
举报

http://www.cnblogs.com/AloneSword/articles/801989.html

by_封爱版主 2013-06-26

打赏
举报

设计有问题 10W数据放在内存里? 难道没分页么? 在说了就算你有条件我从新查询数据库+条件然后在分页几百万也无压力真心不知道你这10W对你来说有什么意义.难道你把数据装入dt里就不需要时间了?

tcmakebest 2013-06-26

打赏
举报

楼主这要求也太高了，100毫秒，眨个眼的功夫，还嫌慢啊，那得让CPU和内存加速10倍。

jojoova 2013-06-25

打赏
举报

纯粹来学习的

王思明 2013-06-25

打赏
举报

数据量大的时候应该可以把DataTable 分割为几个，到优先可能存在的DataTable中去查找，如果找不到再找次优先，然后再。。。我自己先试一下，明天再回复！

nhxq_lzx 2012-03-08

打赏
举报

我原先也碰到过这种情况，
行业：环保监测
情景回放：
存在大量的客户端（约300-400个），都使用tcp连接连接到服务器，然后客户端平均约23秒左右就发送一条文本数（该数据包含大约30-60条不等的真是数据）据到服务器（就是平均1/20秒服务器就收到一个数据），服务器收到数据对数据的合格性进行校验，更新内存中的数据显示异常数据的信息及对应客户端的信息，并写入到数据库中。
其中因为需要检验数据的合格性，就等于约在300*40*20【客户*客户端的监测设备数量*监测因子】寻找对应的数据，然后调用内存中的数据对传入数据进行校验，判断出异常后还有进行异常显示，最后还要联同校验结果写入数据库
在如此大量的数据写入动作中，如果每次收到数据然后都去读数据库，显然是不现实的，所以都是在程序运行的初期就把设定的校验值数据读到内存中去，然后数据库只进行数据写入动作。
处理方法：
当时我的处理过程是这样的
1、对于tcp连接选择多线程处理（当然的事情），但我的选择方式有点不同，我选择的是一个线程负责几个tcp连接。
2、对校验数据进行多次读取，并加入复合主键（根据传入的数据）
就是20w行数据按照客户端的编号规则分成若干个（我选择的50个），然后在建立一个客户索引表（只有几个字段：客户端编号，内存校验数据datatable名称，真实存放表名称），然后把这些表都添加到dataset中
3、在把这个dataset复制到线程中，就是每个线程都有一个这个dataset的副本供线程本身使用
4、当有数据传入时，先查找客户端编号，然后再在对应的datatable中查找校验值数据，这样对于异常客户端（没有客户端编号，或客户端编号异常）的数据能达到最快校验的效果

wwttttww 2011-11-18

打赏
举报

100万笔数据
DataTable
查询只需10毫秒
条件是往DataTable填充数据之后要执行一次select（第一次速度有点慢）
以后查询速度会很快

stonespace 2011-11-11

打赏
举报

如果是我，会对Row用Dictionary建立索引，查找Dictionary速度比select快多了，

七对 2011-11-11

打赏
举报

做一次后，缓存。

idaydayup 2011-05-11

打赏
举报

10万多条数据放到Table中不会占用很大内存吗?估计占用100M以上了吧?

变成熊猫你就老实了是不 2011-05-11

打赏
举报

DataTable中要建立主键

hchxxzx 2011-04-06

打赏
举报

应该还是把数据插入到IList里面,然后使用linq查询来得快.
事实上,数据存储在内存中,按照现在的服务器的运算速度来看,对之查询速度非常之快,十几万条太小菜了.
唯一有问题的是,内存的消耗.只不过如果有这种业务需求的时候,再相对现在内存的价格以及操作系统64位的支持,这么一小点小小的内存支出完全不成问题.

而且,在内存中存储十几万条数据似乎也不是很消耗内存的事情(取决于存储什么东西,按楼主的情况来看,恐怕是存储一些数字而已,占用的内存估计不多)

hchxxzx 2011-04-06

打赏
举报

请看如下测试代码

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Data;

namespace ConsoleApplication2
{
class Program
{
static void Main(string[] args)
{
DataTable dt = GetTable();
Console.WriteLine("当前表总数量量＝" + dt.Rows.Count);
IList<Demo> lists = GetLists();

string sql = "sName like '%999%' and sCity like '%第9%'";

while (true)
{
Console.WriteLine("自行循环查询耗时＝" + searchByForeach(lists) + "毫秒");
Console.WriteLine("");
Console.WriteLine("以Linq查询耗时＝" + searchByLinq(lists) + "毫秒");
Console.WriteLine("");
Console.WriteLine("按select查询耗时＝" + searchBySelect(dt, sql) + "毫秒");
Console.WriteLine("");
Console.WriteLine("按Filter查询耗时＝" + searchByFilter(dt, sql) + "毫秒");
Console.WriteLine("");

string s = Console.ReadLine();
if (s == "exit")
{
return;
}
}
}

private static int searchBySelect(DataTable dt,string sql)
{
DateTime start = DateTime.Now;
DataRow[] drs = dt.Select(sql);
Console.WriteLine("求取的数据数量＝" + drs.Length);
//Console.WriteLine(start.ToString("mm:ss fff") + DateTime.Now.ToString("mm:ss fff"));
TimeSpan ts = DateTime.Now - start;

return ts.Milliseconds;
}

private static int searchByFilter(DataTable dt, string sql)
{
DateTime start = DateTime.Now;
dt.DefaultView.RowFilter = sql;
int count = dt.DefaultView.Count;
Console.WriteLine("求取的数据数量＝" + count);
TimeSpan ts = DateTime.Now - start;

return ts.Milliseconds;
}

private static int searchByLinq(IList<Demo> lists)
{
DateTime start = DateTime.Now;

var values = from obj in lists
where obj.Name.Contains("999")
&& obj.City.Contains("第9")
select obj;
int count = values.Count();

Console.WriteLine("求取的数据数量＝" + count);
TimeSpan ts = DateTime.Now - start;

return ts.Milliseconds;
}

private static int searchByForeach(IList<Demo> lists)
{
DateTime start = DateTime.Now;

int count = 0;
foreach (Demo info in lists)
{
if (info.Name.Contains("999") && info.City.Contains("第9"))
{
count++;
}
}

Console.WriteLine("求取的数据数量＝" + count);
TimeSpan ts = DateTime.Now - start;

return ts.Milliseconds;
}

private static DataTable GetTable()
{
DataTable dt = new DataTable();
dt.Columns.Add("sName", typeof(string));
dt.Columns.Add("sCity", typeof(string));
dt.Columns.Add("sId");

for (int i = 0; i < 100000; i++)
{
DataRow dr = dt.NewRow();
dr["sId"] = i.ToString();
dr["sName"] = "标准数据_" + i;
dr["sCity"] = "居住在第" + i + "城市";

dt.Rows.Add(dr);
}

return dt;
}

private static IList<Demo> GetLists()
{
IList<Demo> lists = new List<Demo>();
for (int i = 0; i < 100000; i++)
{
Demo info = new Demo();
info.Id = i.ToString();
info.Name = "标准数据_" + i;
info.City = "居住在第" + i + "城市";

lists.Add(info);
}

return lists;
}

public class Demo
{
public string Id = string.Empty;
public string Name = string.Empty;
public string City = string.Empty;
}
}
}

请叫我哥 2011-04-06

打赏
举报

放到队列里

csproj 2011-04-05

打赏
举报

乱说的，楼主参考下：
数据库索引去硬盘或者数据库的缓存查找。

程序也可以试试写算法给DataTable建索引啊。
按大小比较的就排序，按键值查询的就把相同键值的DataRow集合放到一个字典里去
比如Dictionary<String Key,List<DataRow>>之类的。
多个查找条件就弄几个字典。反正只是对DataRow的引用
还可以查查数据库索引的算法。