关于数据导入的解决方案设计

2013-06-23 03:21:36 305 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

java百万级别数据导入导出如何优化?【篇章一】【代码】java百万级别数据导入导出如何优化? 阅读详情

各位，最近要做一个数据采集和导入的系统，通常特定的数据导入相对比较简单，我这里的想法就是，我们能否设计一个中间的通用的数据库结构，我这里有一个初步的草稿，

首先，我要定义一个实体，比如说，一本书，一个学生，类似于这样，
然后，我为这个实体定义属性，比如，书有多少页，学生多大年龄这样

那么定义出来的表就成了这样



/****** 实体属性表 ******/

CREATE TABLE [dbo].[EntityProperty](

	[Id] [int] IDENTITY(1,1) NOT NULL,

	[EntityId] [int] NOT NULL,

	[Type] [int] NOT NULL,

	[Name] [nvarchar](60) NOT NULL,

	[Alias] [nvarchar](60) NULL,

	[Description] [nvarchar](200) NULL,

	[CreatedOn] [date] NOT NULL,

	[UpdatedOn] [date] NULL,

 CONSTRAINT [PK_EntityProperty] PRIMARY KEY CLUSTERED 

(

	[Id] ASC

)WITH (PAD_INDEX  = OFF, STATISTICS_NORECOMPUTE  = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON) ON [PRIMARY]

) ON [PRIMARY]

GO

/****** 实体表 ******/



CREATE TABLE [dbo].[Entity](

	[Id] [int] IDENTITY(1,1) NOT NULL,

	[Name] [nvarchar](60) NOT NULL,

	[Description] [nvarchar](200) NULL,

	[CreatedOn] [date] NOT NULL,

	[UpdatedOn] [date] NULL,

 CONSTRAINT [PK_Entity] PRIMARY KEY CLUSTERED 

(

	[Id] ASC

)WITH (PAD_INDEX  = OFF, STATISTICS_NORECOMPUTE  = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON) ON [PRIMARY]

) ON [PRIMARY]

GO



/****** 属性值表 ******/

CREATE TABLE [dbo].[PropertyValue](

	[Id] [int] IDENTITY(1,1) NOT NULL,

/****** 这个Identity是用来区分一个实体的标示符的，比如说，一个学生的ID，这样我就能取得所有该学生的所有属性 ******/

	[PropertyIdentity] [nvarchar](64) NOT NULL,

	[PropertyId] [int] NOT NULL,

	[Value] [nvarchar](4000) NOT NULL,

 CONSTRAINT [PK_PropertyValue] PRIMARY KEY CLUSTERED 

(

	[Id] ASC

)WITH (PAD_INDEX  = OFF, STATISTICS_NORECOMPUTE  = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON) ON [PRIMARY]

) ON [PRIMARY]

GO

这样的话就可以动态的定义列了，而不用每次新来一个实体，我们就要为之建立一个固定的表，但是这里也有一个问题，我们需要对实体进行查询，这个查询我就一下子不知道怎么弄了，因为现在的存储结构是一行一个属性，另外我这种设计，也比较好进行逻辑上的导入，比如我可以建立一个关系，某某属性，要导入到目标数据库表中的某某字段

因为我对数据库研究不多，请各位帮忙看看，这个解决方案的优点和缺点，另外，如果有更好的方案麻烦告知，分不够可另开贴给分，原则就是，动态（不用来了新的数据结构就要建表），方便导入目标数据库。

...全文