高分求助:两个数据结构相同,行记录数为50万的DataTable进行比较对比的问题

勇敢的心515 勇敢的心515 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
请教大家一个问题:
我现在有两个数据结构相同的DataTable,数据量大约是50万左右,现在就是要把两个DataTable进行对比,取出除主键列的其它任何一列不相同的记录.但是我现在碰到的情况是内存溢出,而且客户一定要一个这样的对比功能,要是DataTable的记录只有20万左右还可以接受,要是多了就出现内出溢出,我的代码大致是这样的。

Hashtable hashBefore = ToHashTable(dtBefore); //ToHashTable的方法在下面。
Hashtable hashAfter = ToHashTable(dtAfter);

for (int j = 0; j < dtAfter.Rows.Count; j++)
{
if (hashBefore[dtAfter.Rows[j][FieldName].ToString()] != null)
{
if (hashBefore[dtAfter.Rows[j][FieldName].ToString()].ToString() != hashAfter[dtAfter.Rows[j][FieldName].ToString()].ToString())
{
for (int k = 0; k < arrayBefore.Length; k++)
{

if (arrayBefore[k] != arrayAfter[k])
{
count++;
if (count < 36)
{
sqlFields += "para" + count.ToString() + ",para_start" + count.ToString() + ",para_end" + count.ToString() + ",";
sqlValues += "'" + arrayBefore[k].Split('@')[0] + "','" + arrayBefore[k].Split('@')[1] + "','" + arrayAfter[k].Split('@')[1] + "',";
}
}
}
//arrayBefore = null;
//arrayAfter = null;
DBBean.insertR("", "", "Table", sqlFields.Substring(0, sqlFields.Length - 1), sqlValues.Substring(0, sqlValues.Length - 1), "");
}
}
}

//先转成Hash。hash的结构是key是主键列,Value就是Columns的记录加起来。
protected Hashtable ToHashTable(DataTable dt)
{
Hashtable hash = new Hashtable();
DataTable dtTemp = dt;

for (int i = 0; i < dtTemp.Rows.Count; i++)
{
string str = string.Empty;
for (int j = 0; j < dtTemp.Columns.Count; j++)
{
str += dtTemp.Columns[j].ColumnName + "@" + dtTemp.Rows[i][j].ToString() + ",";
}

str = str.Substring(0, str.Length - 1);


if (!hash.ContainsKey(dtTemp.Rows[i][FieldName].ToString()))
{
hash.Add(dtTemp.Rows[i][FieldName].ToString(), str);
}

}

return hash;
}


不知道各位平时遇到这种情况是怎么解决的.


...全文

相关推荐

评论 13
收藏 已收藏
分享
返回顶部
勇敢的心515
C# 111,129 成员 642,540 内容