求大神支招！-----跨节点并行处理的合并问题

[柠檬片-味道]

数据表分配在不同的站点，当用户输入一条复杂的查询sql语句，通过解析模块分成几个子语句，采用并行处理方式，让子语句到对应的各站点上去执行，提高处理的速度。代码如下：

//源sql（应用中复杂的sql包含十多张表）
string sql = "Select neflow.id,ne.depart from materialneedflow neflow left outer join materialneed ne on ne.id=neflow.applyid where ne.id=1 and neflow.id=1";
//解析成两条sql，分别去对应的站点执行
string sql11 = "select id,applyid from materialneedflow where id=1";
string sql12 = "select id,depart from materialneed where id=1";

DataSet dataset = new DataSet();
Dictionary<string, string[]> dict = new Dictionary<string, string[]>();
dict.Add("materialneedflow", new string[] { "Data Source=202.193.75.136/ORCL;User ID=site4;Password=123456", sql11 });
dict.Add("materialneed", new string[] { "Data Source=202.193.74.48/ORCL;User ID=site4;Password=123456", sql12 });
//并行地到两个站点去执行，问题1：并行方面能不能修改默认配置呢？
var tables = (from x in dict.AsParallel()
              select Query(x)).ToList();
Dictionary<string, DataTable> dict1 = new Dictionary<string, DataTable>();
for (int i = 0; i < tables.Count; i++)
{
    dict1.Add(tables[i].TableName, tables[i]);
}
//对查出来的两个结果集合并；问题2：这里字段我都转换了类型，但是要写成一个通用模块的话，希望能从Oracle数据库（用的Oracle）中获取类型自动转换c#中类型，该怎么实现啊？？？
var result = from neflow in dict1["materialneedflow"].AsEnumerable()
             join ne in dict1["materialneed"].AsEnumerable()
             on Convert.ToDecimal(IsDBNull(neflow["applyid"])) equals Convert.ToDecimal(ne["id"])
             select new
             {
                 status = Convert.ToDecimal(neflow["id"]),
                 orderdate = Convert.ToDecimal(IsDBNull(ne["depart"]))
             };

static DataTable Query(KeyValuePair<string, string[]> dict)
{
    string host = dict.Value[0];
    string sql = dict.Value[1];
    using (OracleConnection conn = new OracleConnection(host))
    {
        OracleDataAdapter da = new OracleDataAdapter(sql, conn);
        conn.Open();
        DataSet ds = new DataSet();
        da.Fill(ds);
        DataTable table = ds.Tables[0];
        table.TableName = dict.Key;
        return table;
    }
}
public static object IsDBNull(object value)
{
    if (value == DBNull.Value)
    {
        return null;
    }
    else
    {
        return value;
    }
}

问题1：并行方面能不能修改默认配置呢？
问题2：linq合并那，字段我都转换了类型，但是要写成一个通用模块的话，希望能从Oracle数据库（用的Oracle）中获取类型自动转换c#中类型，该怎么实现啊？？？

[娃都会打酱油了]

Parallel.For 分别取数据，最后合并

[柠檬片-味道]

引用 1 楼 starfd 的回复:

Parallel.For 分别取数据，最后合并

我是这样操作的，合并那需要把Object类型转换成相应的数据类型进行联接或查询，该怎么自动获取呢？

[娃都会打酱油了]

不要返回DataTable，而是应该返回一致的实体数据，否则你根本没办法处理

[threenewbee]

Parallel.For是内存中的并行，不是数据库查询的并行。 据我所知，sql server和my sql都有现成的群集功能，不需要自己写代码，也不好维护。oracle应该也有。

[柠檬片-味道]

刚才翻书琢磨后，还是不知道怎么实现，刚接触LInq没多久，望指教哈 具体该怎么实现？？前提是，查询的时候并不知道数据库有哪些表，没有也无法创建对应的实体

[柠檬片-味道]

引用 4 楼 caozhy 的回复:

Parallel.For是内存中的并行，不是数据库查询的并行。 据我所知，sql server和my sql都有现成的群集功能，不需要自己写代码，也不好维护。oracle应该也有。

dict.AsParallel()是站点的并行吗？？

[threenewbee]

不是，这都是内存的并行，也就是在内存中查询。

[柠檬片-味道]

引用 7 楼 caozhy 的回复:

不是，这都是内存的并行，也就是在内存中查询。

如果要实现站点并行处理，该怎么操作呢？

[以专业开发人员为伍]

假设你的查询写在这样的方法里

public static DataTable MyQuery(string DbConnection)
{
    ..........
}

并且你的数据库的连接串保存在这样的集合里

List<string> Connections

那么你可以这样写并发查询语句

var result = (from conn in Connections.AsParallel() select MyQuery(conn)).ToArray();

得到了DataTable的数组之后，你可以使用DataTable内置的合并方法将数据合并。

[以专业开发人员为伍]

引用 5 楼 u010816844 的回复:

刚才翻书琢磨后，还是不知道怎么实现，刚接触LInq没多久，望指教哈 具体该怎么实现？？前提是，查询的时候并不知道数据库有哪些表，没有也无法创建对应的实体

跟实体怎么发生关系呢？ 编程中使用“实体定义”是一种对象化的程序编程模式。数据库查询只不过是比较底层的编程概念，比实体定义低级。对于底层的东西，你要不要抽象它、结构化它、对象化它，那是另一个问题。跟你这个问题无关。

[柠檬片-味道]

引用 9 楼 sp1234 的回复:

假设你的查询写在这样的方法里

public static DataTable MyQuery(string DbConnection)
{
    ..........
}

并且你的数据库的连接串保存在这样的集合里

List<string> Connections

那么你可以这样写并发查询语句

var result = (from conn in Connections.AsParallel() select MyQuery(conn)).ToArray();

得到了DataTable的数组之后，你可以使用DataTable内置的合并方法将数据合并。

我是按照这种方法写的，Datatable的内置合并方法有实现join的功能吗？

[以专业开发人员为伍]

你所谓“第一个问题”，其实你已经写的差不多了。从配置文件中读取数据并且形成你的 dict，可以这样写

var dic = (from ConnectionStringSettings c in ConfigurationManager.ConnectionStrings
            select c).ToDictionary(c => c.Name, c => c.ConnectionString);

至于第二个问题，编程中直接根据业务实体进行查询就行了，不要耗费过多精力去搞什么“通用转换”。例如这里 http://bbs.csdn.net/topics/391025696 所述的方法就是一个通用的SQLHelper。一个SQLHelper只是工具，它方便于你直接了当地写一行 result =...... 那样的查询语句，就可以了。在 SQlHelper 之中没有必要自身过多写代码去执行什么“转换为c#对象”问题。

[以专业开发人员为伍]

引用 11 楼 u010816844 的回复:

我是按照这种方法写的，Datatable的内置合并方法有实现join的功能吗？

如果结构不一样，那就要使用 DataTAble 的 DataRelation 机制而不是 Merge 方法。