高分求助:两个数据结构相同,行记录数为50万的DataTable进行比较对比的问题
请教大家一个问题:
我现在有两个数据结构相同的DataTable,数据量大约是50万左右,现在就是要把两个DataTable进行对比,取出除主键列的其它任何一列不相同的记录.但是我现在碰到的情况是内存溢出,而且客户一定要一个这样的对比功能,要是DataTable的记录只有20万左右还可以接受,要是多了就出现内出溢出,我的代码大致是这样的。
不知道各位平时遇到这种情况是怎么解决的.
我现在有两个数据结构相同的DataTable,数据量大约是50万左右,现在就是要把两个DataTable进行对比,取出除主键列的其它任何一列不相同的记录.但是我现在碰到的情况是内存溢出,而且客户一定要一个这样的对比功能,要是DataTable的记录只有20万左右还可以接受,要是多了就出现内出溢出,我的代码大致是这样的。
Hashtable hashBefore = ToHashTable(dtBefore); //ToHashTable的方法在下面。
Hashtable hashAfter = ToHashTable(dtAfter);
for (int j = 0; j < dtAfter.Rows.Count; j++)
{
if (hashBefore[dtAfter.Rows[j][FieldName].ToString()] != null)
{
if (hashBefore[dtAfter.Rows[j][FieldName].ToString()].ToString() != hashAfter[dtAfter.Rows[j][FieldName].ToString()].ToString())
{
for (int k = 0; k < arrayBefore.Length; k++)
{
if (arrayBefore[k] != arrayAfter[k])
{
count++;
if (count < 36)
{
sqlFields += "para" + count.ToString() + ",para_start" + count.ToString() + ",para_end" + count.ToString() + ",";
sqlValues += "'" + arrayBefore[k].Split('@')[0] + "','" + arrayBefore[k].Split('@')[1] + "','" + arrayAfter[k].Split('@')[1] + "',";
}
}
}
//arrayBefore = null;
//arrayAfter = null;
DBBean.insertR("", "", "Table", sqlFields.Substring(0, sqlFields.Length - 1), sqlValues.Substring(0, sqlValues.Length - 1), "");
}
}
}
//先转成Hash。hash的结构是key是主键列,Value就是Columns的记录加起来。
protected Hashtable ToHashTable(DataTable dt)
{
Hashtable hash = new Hashtable();
DataTable dtTemp = dt;
for (int i = 0; i < dtTemp.Rows.Count; i++)
{
string str = string.Empty;
for (int j = 0; j < dtTemp.Columns.Count; j++)
{
str += dtTemp.Columns[j].ColumnName + "@" + dtTemp.Rows[i][j].ToString() + ",";
}
str = str.Substring(0, str.Length - 1);
if (!hash.ContainsKey(dtTemp.Rows[i][FieldName].ToString()))
{
hash.Add(dtTemp.Rows[i][FieldName].ToString(), str);
}
}
return hash;
}
不知道各位平时遇到这种情况是怎么解决的.
...全文
相关推荐
比较2个datatable内容是否相同的方法
主要介绍了比较2个datatable内容是否相同的方法,大家参考使用吧
C# 两个datatable中的数据快速比较返回交集 并集或差集
C# 两个datatable中的数据快速比较返回交集 并集或差集 网上的例子。但没有实例下载。新人有点难明白。对初学者还是有点难。完整源码。让新人学习。
两个Dataset或者两个DataTable 是否存在差异的比较函数
2个Dataset或者2个DataTable比较是否存在不同
合并两个Datatable
合并两个Datatable,适合从数据库读取出来的多个Datatable
asp.ent下合并两个结构相同的DataTable
写了个函数. 代码如下: /// <summary> /// 合并两个相同的DataTable,返回合并后的结果 /// </summary> /// <param name=”dt1″></param> /// <param name=”dt2″></param> /// <returns></returns> public DataTable CombineTheSameDatatable(DataTable dt1, DataTable dt2) { if (dt1.Rows.Count == 0 && dt2.Rows.Count == 0) { return new DataTab

