C#高效比较两个DataTable数据差异化的方法实现

假如有两个DataTable表格分别是dt1,dt2,dt2中有些数据跟dt1一样，现在想找出dt2的数据在dt1中不存在的数据集（换句话也可以说dt2删除已经存在于dt1中的数据），传统思想可能直接用循环找差异，这种是非常低效的做法，数据量少无所谓，数据量大，简直要了程序猿老命，既然直接循环查找不可取，那么有没有高效一点的做法呢（废话，凑数字用，当然是有了），C# linq 中IEnumerable 提供了Expect（差集）的方法，众所周知，DataTable提供了AsEnumerable()的转换方法，能把DataTable转成IEnumerable<DataRow>，这样我们就能linq 来处理DataTable了，如果dt1和dt2的结构相同，则可以直接dt2.AsEnumerable().Expect(dt1.AsEnumerable())来获得两个表格的差异，当然这个结果的返回是一个IEnumerable<DataRow>，如果想要一个DataTable结果，可以直接调用方法CopyToDataTable()(该方法调用之前需要判断结果集是否没有数据，没有数据会报错）

var list=dt2.AsEnumerable().Except(dt1.AsEnumerable());
DataTable resultDt;
if(list.Count()>0)
    resultDt=list.CopyToDataTable();
else
    resultDt=dt2.Clone();//克隆个结构；

如果dt1,dt2的结构不一样，那么就不能直接用Except方法来处理了，这里我的建议是用linq中的join方法，先把dt1,dt2两个表做一个内连接的关联处理，找出dt2跟dt1相同的部分，然后再利用dt2跟dt2于dt1相同的部分做一次差集处理，就能得出dt2和dt1的差集，直接上代码，代码演示用的是linqpad工具，其中的Dump方法是用来输出打印的，vs调试的话，请自行修改成Console，测试数据用了50w,60w如果单靠差集处理，是秒级别

void Main()
{
	Stopwatch sw = new Stopwatch();
	sw.Start();
	var dt1 = CreateDt(500000, 3);
	var dt2 = CreateDt(600000, 5);
	sw.Stop();
	sw.Elapsed.Dump("生成两个表的时间");
	
	sw.Restart();
	//dt2.AsEnumerable().Except(dt1.AsEnumerable());//如果表格表的结构相同，则直接差集处理得出结果
	var dt = dt2.AsEnumerable().Join(dt1.AsEnumerable(), p => p[0], p => p[0], (p, q) => p);//内连接，查询两个表格相同部分，再利用相同部分做差集处理得出结果就是dt2在dt1中的差集
	var result = dt2.AsEnumerable().Except(dt).ToList();
	sw.Stop();
	result.Count.Dump("差集结果条数");
	sw.Elapsed.Dump("查询差异的时间");
	sw.Restart();
	DataTable resultDt;
	if (result.Count() > 0)
	resultDt = result.CopyToDataTable();
	else
		resultDt = dt2.Clone();
	
	sw.Stop();
	sw.Elapsed.Dump("转成DataTable耗时：");
 
}
DataTable CreateDt(int row, int count)
{
	var dt = new DataTable();
	for (int i = 0; i < count; i++)
		dt.Columns.Add("col" + i);
	var rnd = new Random();
	for (int i = 0; i < row; i++)
	{
		var num = rnd.Next(0, row);
		dt.Rows.Add(dt.Columns.Cast<DataColumn>().Select(p => p.ColumnName + num).ToArray());
	}
	return dt;
}

 结果图：

从结果上看，关联和差异处理共耗时1秒左右，这个速度还是能接受的

到此这篇关于C#高效比较两个DataTable数据差异化的方法实现的文章就介绍到这了,更多相关C# 两个DataTable数据差异化内容请搜索自由互联以前的文章或继续浏览下面的相关文章希望大家以后多多支持自由互联！