OLAP 存储引擎中存在错误: 处理时找不到以下属性键

dadado_wt 2013-02-06 01:17:49
使用SSAS,在部署时发生以下错误:
警告 3 OLAP 存储引擎中存在错误: 处理时找不到以下属性键: 表:“OLAP_T_FACT_FC_PLAN”,列:“UNIT_ID”,值:“9DC7133D00244E23BE3D7F790D96EDB7”。该属性为“UNIT ID”。 0 0
警告 4 OLAP 存储引擎中存在错误: 由于找不到属性键,导致其被转换为未知成员。属性 UNIT ID 所属维度 组织 源自: 数据库: OLAP_Test1,多维数据集: OLAP_DataSource,度量值组: T FACT FC PLAN,分区: T FACT FC PLAN,记录: 225672。 0 0

我查看了一下,在数据表OLAP_T_FACT_FC_PLAN存在上述UNIT_ID的数据,但是在Unit维度表中,
不存在这个UNIT_ID的数据,该如何解决这个问题?

尝试了一下,只要把数据表中的那条数据删除就能够正常部署,但是有没有其他方法解决?
请指教啊!
...全文
1735 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
lxljw1314 2014-12-18
  • 打赏
  • 举报
回复
我也发生了这种错误,但是之前每天都是ok的,设置里也设置了忽略错误的。。。到底怎么回事恩,出错log里就报了这个度量值出错,属于某个多维数据集,别的就没了
liangf215 2013-11-17
  • 打赏
  • 举报
回复
引用 4 楼 dadado_wt 的回复:
已解决,非常感谢
怎么解决的?
dadado_wt 2013-02-06
  • 打赏
  • 举报
回复
已解决,非常感谢
pgy8288 2013-02-06
  • 打赏
  • 举报
回复
在处理的时候可以设置选项,忽略类似错误或自动转成未知
dadado_wt 2013-02-06
  • 打赏
  • 举报
回复
SSAS有没有类似可以忽略事实表中的数据在维度表中不存在 这种错误?
pgy8288 2013-02-06
  • 打赏
  • 举报
回复
那就是Unit维度表里缺少UNIT_ID=9DC7133D00244E23BE3D7F790D96EDB7 的这条记录。需要补齐或者把事实表里的值为 9DC7133D00244E23BE3D7F790D96EDB7 的 UNIT_id 处理成在Unit表里能找到的记录。
SQL Server 2008商业智能完美解决方案 3/3 SQL Server 2008 2010 商业智能完美解决方案 作者:兰吉特(Lynn Langit) 出版社:人民邮电出版社; 第1版 (2010年8月1日) ISBN:7115231117, 9787115231116 页码:545 -------------------------------------------------------------------------------- 《SQL Server 2008商业智能完美解决方案》: 利用Microsoft SQL Server 2008实现灵活的商业智能解决方案使用Microsoft 完善的BI工具构建B0解决方案的必备指南,使用SQLServer 2008设计、开发和部署更有效的数据集成、报表、分析解决方案所需的权威操作指南。不论是商业智能(B0)编程的新手还是老手,都会从受益。通过专家团队的真实示例和高明见解,读者能够掌握构建商业智能解决方案的概念、工具和技术,从而真正提供客户所需的智能性商业价值。 《SQL Server 2008商业智能完美解决方案》研究如下内容: 管理开发生命周期,打造BI团队; 深入研究SQL Servet Analysis Services、Integration Services和 Reporting Services; 使用Business Intelligence Development Studio(BIDS); 编写对销售数据进行分级、排序和深化的查询; 开发提取、转换、加载(ETL)解决方案; 添加源代码控制系统; 通过加密和凭据保护部署的包; 用MDX和DMX查询设计器构建基于OLAP多维数据集和数据挖掘模 型的报表; 用NET代码建立并实现自定义对象; 在Microsoft Office Excel和Office SharePoint Server查看报表。 微软公司US-SQL Analysis Services 首席开发经理Donaod Farmer倾力作序 内容提要 -------------------------------------------------------------------------------- 《SQL Server 2008商业智能完美解决方案》介绍如何使用Microsoft SQL Server 2008开发商业智能(BI)解决方案。《SQL Server 2008商业智能完美解决方案》共分为4部分。第一部分阐述了商业智能基础、可视化商业智能结果、构建有效的商业智能流程、商业智能解决方案的物理架构、面向架构师的OLAP逻辑设计概念;第二部分面向Analysis Services开发人员,详细介绍了如何使用BIDS以及BIDS的所有功能,提供了使用SSAS构建OLAP多维数据集和数据挖掘模型的指南;第三部分面向Integration Services开发人员,详细介绍如何使用SSIS开发ETL软件包,利用ETL包加载OLAP多维数据集和数据挖掘结构;第四部分详细介绍了SSRS的架构,以及Excel、Visio或Office SharePoint Server 2007作为BI客户端的实现。 《SQL Server 2008商业智能完美解决方案》结合专家团队提供的实际示例和丰富经验进行介绍,让读者能够直观轻松地掌握构建商业智能(BI)解决方案的概念、工具和技术,是一本不可多得的商业智能开发参考指南。无论是商业智能(BI)编程新手还是经验丰富的老手,都可从《SQL Server 2008商业智能完美解决方案》获益。 目录 -------------------------------------------------------------------------------- 第一部分 面向商业决策者和架构师的商业智能 第1章 商业智能基础 3 1.1 商业智能和数据建模 3 1.2 OLTP和OLAP 4 1.2.1 联机事务处理 4 1.2.2 联机分析处理 6 1.3 常用BI术语 9 1.3.1 数据仓库 9 1.3.2 数据市场 10 1.3.3 多维数据集 11 1.3.4 决策支持系统 11 1.3.5 数据挖掘系统 11 1.3.6 提取、转换和加载系统 12 1.3.7 报表处理系统 12 1.3.8 关绩效指标 12 1.4 Microsoft BI解决方案的核心组件 12 1.4.1 SQL Server 2008 Analysis Services 13 1.4.2 SQL Server 2008 Reporting Services 15 1.4.3 SQL Server 2008 15 1.4.4 SQL Server 2008 Integration Services 15 1.5 Microsoft BI解决方案的可选组件 17 1.6 BI解决方案使用的查询语言 18 1.6.1 MDX 18 1.6.2 DMX 19 1.6.3 XMLA 19 1.6.4 RDL 19 1.7 小结 19 第2章 商业智能结果可视化 21 2.1 将业务案例与BI解决方案对应起来 21 2.1.1 BI范围十大问题 22 2.1.2 BI解决方案的组成部分 23 2.2 从用户的角度理解商业智能 26 2.2.1 用Excel 2007演示BI的功能 28 2.2.2 通过Excel外接程序了解数据挖掘 35 2.2.3 使用Excel 2007查看数据挖掘结构 36 2.3 完整BI解决方案的元素 39 2.3.1 报表——确定谁将使用解决方案 39 2.3.2 ETL——实现解决方案的基础 40 2.3.3 数据挖掘——不可或缺 40 2.4 常见的业务挑战和BI解决方案 42 2.5 衡量BI解决方案的ROI 43 2.6 小结 45 第3章 构建有效的商业智能流程 46 3.1 BI项目的软件开发生命周期 46 3.1.1 Microsoft Solution Framework 47 3.1.2 Microsoft Solution Framework for Agile Software Development 48 3.1.3 将MSF用于BI项目 49 3.1.4 Microsoft Solution Framework的阶段和可交付成果 49 3.2 BI项目需要的技能 53 3.2.1 必备技能 54 3.2.2 可选技能 55 3.3 建立团队 57 3.4 小结 62 第4章 商业智能解决方案的物理架构 63 4.1 物理基础结构更改的规划 63 4.1.1 创建准确的基线调查 63 4.1.2 评估当前的服务级别协议 64 4.2 确定服务器的最优数量和最佳位置 65 4.2.1 物理服务器的考虑 67 4.2.2 逻辑服务器和服务的考虑 68 4.3 理解安全需求 70 4.4 备份和还原 78 4.4.1 备份SSAS 78 4.4.2 备份SSIS 79 4.4.3 备份SSRS 79 4.5 审核与合规 79 4.6 源代码控制 82 4.7 小结 83 第5章 面向架构的OLAP逻辑设计概念 84 5.1 设计基本的OLAP多维数据集 84 5.1.1 星形架构 85 5.1.2 反规范化 91 5.1.3 回到星形 91 5.1.4 其他设计技巧 96 5.1.5 雪花维度建模 97 5.1.6 维度建模补充 100 5.1.7 理解事实(度量)建模 105 5.1.8 BI建模的其他考虑 107 5.2 小结 108 第二部分 Microsoft SQL Server 2008 Analysis Services开发人员指南 第6章 理解SSMS和SQL Server Profiler的SSAS 111 6.1 SQL Server Analysis Services的核心工具 111 6.1.1 基线服务配置 114 6.1.2 SSMS的SSAS 115 6.1.3 如何查询SSAS对象 124 6.1.4 使用MDX模板 127 6.1.5 使用DMX模板 130 6.1.6 使用XMLA模板 131 6.1.7 SSMS小结 132 6.2 小结 132 第7章 用BIDS设计OLAP多维数据集 133 7.1 使用BIDS 133 7.2 在“解决方案资源管理器”工作 135 7.2.1 Analysis Services的数据源 137 7.2.2 数据源视图 139 7.2.3 Analysis Services的角色 142 7.2.4 在Analysis Services对象上使用编译后的程序集 143 7.3 用BIDS构建OLAP多维数据集 144 7.4 理解维度 149 7.4.1 属性层次结构 150 7.4.2 属性关系 151 7.4.3 翻译 153 7.5 使用维度 154 7.5.1 度量值组 154 7.5.2 超越星形维度 157 7.6 构建第一个OLAP多维数据集 160 7.6.1 选择度量值组 160 7.6.2 增加维度 160 7.7 小结 164 第8章 优化多维数据集和维度 165 8.1 优化第一个OLAP多维数据集 165 8.1.1 翻译和透视 165 8.1.2 关绩效指标 167 8.1.3 操作 171 8.1.4 计算(MDX脚本或计算成员) 176 8.2 使用多维数据集和维度属性 179 8.2.1 间智能 181 8.2.2 SCOPE关字 181 8.2.3 账户智能和一元运算符定义 182 8.2.4 其他向导选项 185 8.2.5 货币换算 185 8.3 高级多维数据集和维度属性 188 8.4 小结 189 第9章 处理多维数据集和维度 190 9.1 构建、处理和部署OLAP多维数据集 190 9.1.1 区分数据和元数据 191 9.1.2 在断开环境下工作 191 9.1.3 在联机环境下工作 193 9.1.4 理解聚合 193 9.2 分区 194 9.2.1 选择存储模式:MOLAP、HOLAP和ROLAP 196 9.2.2 OLTP表的分区 198 9.2.3 其他OLAP分区配置 199 9.3 实现聚合 199 9.3.1 聚合设计向导 200 9.3.2 基于使用情况的优化向导 202 9.3.3 SQL Server Profiler 203 9.3.4 聚合设计器:高级视图 204 9.4 用MOLAP、HOLAP或ROLAP实现高级存储 205 9.5 主动缓存 206 9.5.1 主动缓存的通知设置 208 9.5.2 主动缓存调优 208 9.5.3 ROLAP维度 209 9.5.4 链接 210 9.5.5 写回 210 9.6 多维数据集和维度处理选项 212 9.7 小结 215 第10章 MDX简介 216 10.1 MDX的重要性 216 10.2 编写第一个MDX查询 217 10.2.1 MDX对象名称 218 10.2.2 MDX语法的其他元素 218 10.3 MDX核心函数 220 10.4 筛选MDX结果集 226 10.5 计算成员和命名集合 228 10.6 TopCount函数 230 10.7 Rank函数和组合 232 10.8 Head和Tail函数 235 10.9 MDX的层次结构函数 236 10.10 日期函数 239 10.10.1 结合使用聚合和日期函数 242 10.10.2 关于查询优化 243 10.11 小结 244 第11章 高级MDX 245 11.1 查询维度属性 245 11.2 从季节角度查看日期维度和MDX 248 11.3 创建持久计算成员 249 11.3.1 在BIDS创建持久计算成员 249 11.3.2 用MDX脚本创建计算成员 250 11.4 使用IIf 251 11.5 关于命名集 252 11.6 关于脚本 255 11.7 理解SOLVE_ORDER 257 11.8 创建关绩效指标 258 11.8.1 编程创建KPI 261 11.8.2 KPI的其他提示 262 11.9 在SSRS和PerformancePoint Server上使用MDX 262 11.9.1 在SSRS 2008使用MDX 262 11.9.2 在PerformancePoint Server 2007上使用MDX 264 11.10 小结 267 第12章 理解数据挖掘结构 268 12.1 审核业务场景 268 12.2 使用BIDS数据挖掘界面 271 12.2.1 理解数据类型和内容类型 272 12.2.2 设置高级数据属性 274 12.2.3 选择数据挖掘模型 275 12.2.4 选择最合适的挖掘模型查看器 278 12.2.5 挖掘准确性图表和预测 281 12.3 数据挖掘算法 284 12.3.1 Microsoft朴素贝叶斯 284 12.3.2 Microsoft决策树算法 288 12.3.3 Microsoft线性回归算法 290 12.3.4 Microsoft间序列算法 290 12.3.5 Microsoft聚类算法 292 12.3.6 Microsoft序列聚类 294 12.3.7 Microsoft关联算法 295 12.3.8 Microsoft神经网络算法 299 12.3.9 Microsoft逻辑回归 300 12.4 数据挖掘的艺术 301 12.5 小结 301 第13章 实现数据挖掘结构 302 13.1 实现CRISP-DM生命周期模型 302 13.2 用BIDS构建数据挖掘结构 303 13.3 用BIDS增加数据挖掘模型 305 13.4 处理挖掘模型 308 13.5 验证挖掘模型 310 13.5.1 提升图 310 13.5.2 利润图 312 13.5.3 分类矩阵 313 13.5.4 交叉验证 315 13.6 数据挖掘预测查询 316 13.6.1 DMX预测查询 318 13.6.2 DMX预测函数 320 13.7 数据挖掘和Integration Services 322 13.8 数据挖掘对象的处理 324 13.9 数据挖掘客户端 326 13.10 小结 326 第三部分 Microsoft SQL Server 2008 Integration Services开发人员指南 第14章 Microsoft SQL Server 2008 Integration Services的架构组件 329 14.1 Integration Services架构概述 329 14.2 Integration Services包 331 14.3 Integration Services对象模型和组件 334 14.3.1 控制流 335 14.3.2 数据流 335 14.3.3 变量 337 14.3.4 表达式 338 14.3.5 连接管理器 339 14.3.6 事件处理程序和错误处理 340 14.4 Integration Services运行 341 14.5 Integration Services数据流引擎 342 14.5.1 数据流缓冲区 342 14.5.2 同步数据流输出 346 14.5.3 异步数据流输出 346 14.6 日志提供程序 346 14.7 部署Integration Services包 347 14.7.1 包配置 347 14.7.2 包部署选项 348 14.8 小结 348 第15章 用Business Intelligence Development Studio创建Microsoft SQL Server 2008 Integration Services包 349 15.1 Visual Studio 2008的Integration Services 349 15.1.1 使用Integration Services项目模板创建新SSIS项目 350 15.1.2 在“解决方案资源管理器”查看SSIS项目 351 15.1.3 使用SSIS包设计器 352 15.1.4 使用SSIS工具箱 353 15.1.5 SSIS菜单选项 354 15.2 连接管理器 355 15.2.1 标准数据库连接管理器 355 15.2.2 其他类型的连接管理器 356 15.3 控制流 356 15.3.1 控制流任务 358 15.3.2 控制流容器 360 15.3.3 优先约束 360 15.4 数据流 362 15.4.1 数据流源组件 363 15.4.2 目标组件 364 15.4.3 转换组件 364 15.4.4 Integration Services数据查看器 366 15.5 变量 367 15.5.1 “变量”窗口 367 15.5.2 变量属性 368 15.5.3 系统变量 369 15.6 表达式 369 15.7 小结 371 第16章 Microsoft SQL Server 2008 Integration Services的高级功能 372 16.1 Integration Services错误处理 372 16.2 SSIS的事件、日志、调试和事务 373 16.3 日志记录和事件 374 16.4 调试Integration Services包 377 16.5 检查点和事务 378 16.6 设计Integration Services包的最佳实践 380 16.7 数据事件探查 381 16.8 小结 384 第17章 商业智能解决方案的Microsoft SQL Server 2008 Integration Services包 385 17.1 商业智能的ETL 385 17.2 加载OLAP多维数据集 385 17.2.1 使用Integration Services检测数据质量 386 17.2.2 转换源数据 388 17.2.3 使用间服务器 388 17.2.4 数据沿袭 392 17.3 转移到星形架构加载 393 17.3.1 加载维度表 393 17.3.2 加载事实数据表 394 17.4 更新 397 17.4.1 事实数据表更新 398 17.4.2 维度表更新 398 17.5 数据挖掘的ETL 399 17.5.1 初始加载 399 17.5.2 模型定型 400 17.5.3 数据挖掘查询 401 17.6 小结 402 第18章 在Microsoft SQL Server 2008 Integration Services部署和管理解决方案 403 18.1 Integration Services的解决方案和项目结构 403 18.2 源代码控制 403 18.3 部署问题 407 18.3.1 包配置 409 18.3.2 复制文件部署 411 18.3.3 BIDS部署 412 18.3.4 使用部署实用工具部署 414 18.4 SQL Server代理和集成服务 416 18.4.1 SSIS包安全性介绍 416 18.4.2 处理敏感数据和代理执行账户 419 18.4.3 安全性:两个规则 420 18.5 SSIS服务 420 18.6 小结 421 第19章 扩展和集成SQL Server 2008 Integration Services 422 19.1 SSIS脚本介绍 422 19.2 Visual Studio Tools for Applications 423 19.3 脚本任务 423 19.3.1 Dts对象 425 19.3.2 调试脚本任务 426 19.4 脚本组件 426 19.4.1 ComponentMetaData属性 431 19.4.2 源、转换和目标 432 19.4.3 调试脚本组件 436 19.5 自定义SSIS任务和组件开发概述 436 19.5.1 控制流任务 439 19.5.2 数据流组件 440 19.5.3 其他组件 440 19.6 自定义应用程序的SSIS集成概述 442 19.7 小结 444 第四部分 Microsoft SQL Server Reporting Services及商业智能的其他客户端界面 第20章 用SQL Server 2008 Reporting Services创建报表 447 20.1 了解Reporting Services的架构 447 20.2 安装和配置Reporting Services 449 20.2.1 HTTP侦听器 451 20.2.2 报表管理器 451 20.2.3 报表服务器Web服务 451 20.2.4 身份验证 452 20.2.5 后台处理(作业管理器) 453 20.3 使用BIDS创建报表 453 20.3.1 其他类型的报表 460 20.3.2 报表示例 460 20.4 部署报表 461 20.5 小结 462 第21章 创建SQL Server 2008 Reporting Services报表 463 21.1 将查询设计器用于Analysis Services 463 21.1.1 MDX查询设计器 464 21.1.2 在查询设置参数 466 21.1.3 DMX查询设计器 467 21.1.4 在BIDS使用报表设计器 469 21.2 理解报表项 471 21.2.1 列表和矩形报表项 471 21.2.2 Tablix数据区域 472 21.3 使用报表生成器 474 21.4 小结 477 第22章 高级SQL Sever 2008 Reporting Services 478 22.1 向SSRS报表添加自定义代码 478 22.2 在Word或Excel 2007查看报表 480 22.3 URL访问 480 22.4 嵌入自定义ReportViewer控件 481 22.5 关于报表参数 485 22.6 关于安全凭据 485 22.7 关于SOAP API 486 22.8 部署——可伸缩性和安全性 490 22.8.1 性能和可伸缩性 490 22.8.2 高级内存管理 491 22.8.3 扩展 492 22.9 管理脚本 493 22.10 小结 494 第23章 用Microsoft Excel 2007作为OLAP多维数据集客户端 495 23.1 使用数据连接向导 495 23.2 使用“导入数据”对话框 497 23.3 理解“数据透视表”界面 497 23.4 创建示例数据透视表 499 23.5 脱机OLAP 501 23.6 Excel OLAP函数 502 23.7 扩展Excel 502 23.8 小结 503 第24章 用Microsoft Office 2007作为数据挖掘客户端 504 24.1 安装数据挖掘外接程序 504 24.2 数据挖掘和Excel 2007的集成 505 24.2.1 使用表分析工具组 506 24.2.2 在Excel 2007使用“数据挖掘”选项卡 514 24.2.3 “管理”和“模型用法” 515 24.2.4 “数据准备”组 517 24.2.5 “数据建模”组 519 24.2.6 “准确性和验证”组 522 24.3 Visio 2007的数据挖掘集成 523 24.4 客户端可视化 527 24.5 云形图的数据挖掘 528 24.6 小结 528 第25章 SQL Server商业智能和Microsoft Office SharePoint Server 2007 529 25.1 Excel Services 529 25.1.1 Excel Services的基本架构 530 25.1.2 Excel工作表的永久性 531 25.1.3 Excel Services工作表的介绍性示例 531 25.1.4 发布参数化Excel工作表 533 25.1.5 Excel Services:Web Services API 535 25.1.6 实际的Excel Services示例 536 25.2 SQL Server Reporting Services与Office SharePoint Server 2007 538 25.2.1 使用Office SharePoint Server 2007配置SQL Server Reporting Services 539 25.2.2 创建并部署一个报表 539 25.2.3 在Office SharePoint Server 2007使用报表:本机模式 541 25.2.4 在Office SharePoint Server 2007使用报表:SharePoint集成模式 542 25.2.5 使用报告心模板 544 25.3 PerformancePoint Server 545 25.4 小结 545 作者介绍 -------------------------------------------------------------------------------- 作者:(美国)兰吉特(Lynn Langit) (美国)Kevin S.Goff (美国)Davide Mauri 等 译者:张猛 杨越 朗亚妹 等 Lynn Langit,MicrosoftMSDN团队的一位开发人员讲师。在加入微软公司之前,Lynn创办了一家提供B0解决方案的开发公司,并担任首席架构师。她拥有很多Microsoft认证,包括MCITP、MCSD、MCDBA和MCT。 Kevin S,Goff,Microsoft MVP和培训师,还是Microsoft金牌认证合作伙伴项目的BI实践负责人。拥有MCP、MCAD、MCDBA和MCT认证。 Davide Mauri,Microsoft MVP,他从65版起就一直使用SQL Server。Sahil Malik咨询师和培训师,多年的Microsoft MVP和INETA发言人。 John Welch ,crosoft MVP,一家专攻BI解决方案的咨询公司的首席架构师。 -------------------------------------------------------------------------------- 9.5.4 链接 在准备处理多维数据集的候,还有另外两个配置选项和功能需要考虑,即链接对象和写回.我们还要研究有关错误处理的设置(在“多维数据集和维度处理选项”一节),因为根据业务需求不同,这些配置也很重要,而且它们的配置值会影响多维数据集的处理间。我们先从链接对象开始。 链接对象是需要与当前操作的SSAS数据库相关联的、来自其他SSAS数据库(Analysis Services 2008或Analysis Services 2005)的SSAS对象,如度量值组或维度。链接对象也可以包含KPI、操作和计算。链接对象选项可以用来克服SSAS 2008一个多维数据集只能基于一个数据源视图的局限性。它还可以实现某种伸缩性,因为可以使用多个服务器提供数据查询。 SSAS使用链接对象的功能默认是禁用的。如果想使用这个选项,需要在SSMS启用它,需将SSMS连接到SSAS,在SSAS服务器实例上单击右,选择“属性”选项,然后启用链接。
完整清晰 PDF 扫描文档 这个PDF文件是我花钱买来的,现在为了挣积分,拿出来与大家分享!! SQL Server 2008商业智能完美解决方案 1/3 SQL Server 2008 2010 商业智能完美解决方案 作者:兰吉特(Lynn Langit) 出版社:人民邮电出版社; 第1版 (2010年8月1日) ISBN:7115231117, 9787115231116 页码:545 -------------------------------------------------------------------------------- 《SQL Server 2008商业智能完美解决方案》: 利用Microsoft SQL Server 2008实现灵活的商业智能解决方案使用Microsoft 完善的BI工具构建B0解决方案的必备指南,使用SQLServer 2008设计、开发和部署更有效的数据集成、报表、分析解决方案所需的权威操作指南。不论是商业智能(B0)编程的新手还是老手,都会从受益。通过专家团队的真实示例和高明见解,读者能够掌握构建商业智能解决方案的概念、工具和技术,从而真正提供客户所需的智能性商业价值。 《SQL Server 2008商业智能完美解决方案》研究如下内容: 管理开发生命周期,打造BI团队; 深入研究SQL Servet Analysis Services、Integration Services和 Reporting Services; 使用Business Intelligence Development Studio(BIDS); 编写对销售数据进行分级、排序和深化的查询; 开发提取、转换、加载(ETL)解决方案; 添加源代码控制系统; 通过加密和凭据保护部署的包; 用MDX和DMX查询设计器构建基于OLAP多维数据集和数据挖掘模 型的报表; 用NET代码建立并实现自定义对象; 在Microsoft Office Excel和Office SharePoint Server查看报表。 微软公司US-SQL Analysis Services 首席开发经理Donaod Farmer倾力作序 内容提要 -------------------------------------------------------------------------------- 《SQL Server 2008商业智能完美解决方案》介绍如何使用Microsoft SQL Server 2008开发商业智能(BI)解决方案。《SQL Server 2008商业智能完美解决方案》共分为4部分。第一部分阐述了商业智能基础、可视化商业智能结果、构建有效的商业智能流程、商业智能解决方案的物理架构、面向架构师的OLAP逻辑设计概念;第二部分面向Analysis Services开发人员,详细介绍了如何使用BIDS以及BIDS的所有功能,提供了使用SSAS构建OLAP多维数据集和数据挖掘模型的指南;第三部分面向Integration Services开发人员,详细介绍如何使用SSIS开发ETL软件包,利用ETL包加载OLAP多维数据集和数据挖掘结构;第四部分详细介绍了SSRS的架构,以及Excel、Visio或Office SharePoint Server 2007作为BI客户端的实现。 《SQL Server 2008商业智能完美解决方案》结合专家团队提供的实际示例和丰富经验进行介绍,让读者能够直观轻松地掌握构建商业智能(BI)解决方案的概念、工具和技术,是一本不可多得的商业智能开发参考指南。无论是商业智能(BI)编程新手还是经验丰富的老手,都可从《SQL Server 2008商业智能完美解决方案》获益。 目录 -------------------------------------------------------------------------------- 第一部分 面向商业决策者和架构师的商业智能 第1章 商业智能基础 3 1.1 商业智能和数据建模 3 1.2 OLTP和OLAP 4 1.2.1 联机事务处理 4 1.2.2 联机分析处理 6 1.3 常用BI术语 9 1.3.1 数据仓库 9 1.3.2 数据市场 10 1.3.3 多维数据集 11 1.3.4 决策支持系统 11 1.3.5 数据挖掘系统 11 1.3.6 提取、转换和加载系统 12 1.3.7 报表处理系统 12 1.3.8 关绩效指标 12 1.4 Microsoft BI解决方案的核心组件 12 1.4.1 SQL Server 2008 Analysis Services 13 1.4.2 SQL
SQL Server 2008商业智能完美解决方案 2/3 SQL Server 2008 2010 商业智能完美解决方案 作者:兰吉特(Lynn Langit) 出版社:人民邮电出版社; 第1版 (2010年8月1日) ISBN:7115231117, 9787115231116 页码:545 -------------------------------------------------------------------------------- 《SQL Server 2008商业智能完美解决方案》: 利用Microsoft SQL Server 2008实现灵活的商业智能解决方案使用Microsoft 完善的BI工具构建B0解决方案的必备指南,使用SQLServer 2008设计、开发和部署更有效的数据集成、报表、分析解决方案所需的权威操作指南。不论是商业智能(B0)编程的新手还是老手,都会从受益。通过专家团队的真实示例和高明见解,读者能够掌握构建商业智能解决方案的概念、工具和技术,从而真正提供客户所需的智能性商业价值。 《SQL Server 2008商业智能完美解决方案》研究如下内容: 管理开发生命周期,打造BI团队; 深入研究SQL Servet Analysis Services、Integration Services和 Reporting Services; 使用Business Intelligence Development Studio(BIDS); 编写对销售数据进行分级、排序和深化的查询; 开发提取、转换、加载(ETL)解决方案; 添加源代码控制系统; 通过加密和凭据保护部署的包; 用MDX和DMX查询设计器构建基于OLAP多维数据集和数据挖掘模 型的报表; 用NET代码建立并实现自定义对象; 在Microsoft Office Excel和Office SharePoint Server查看报表。 微软公司US-SQL Analysis Services 首席开发经理Donaod Farmer倾力作序 内容提要 -------------------------------------------------------------------------------- 《SQL Server 2008商业智能完美解决方案》介绍如何使用Microsoft SQL Server 2008开发商业智能(BI)解决方案。《SQL Server 2008商业智能完美解决方案》共分为4部分。第一部分阐述了商业智能基础、可视化商业智能结果、构建有效的商业智能流程、商业智能解决方案的物理架构、面向架构师的OLAP逻辑设计概念;第二部分面向Analysis Services开发人员,详细介绍了如何使用BIDS以及BIDS的所有功能,提供了使用SSAS构建OLAP多维数据集和数据挖掘模型的指南;第三部分面向Integration Services开发人员,详细介绍如何使用SSIS开发ETL软件包,利用ETL包加载OLAP多维数据集和数据挖掘结构;第四部分详细介绍了SSRS的架构,以及Excel、Visio或Office SharePoint Server 2007作为BI客户端的实现。 《SQL Server 2008商业智能完美解决方案》结合专家团队提供的实际示例和丰富经验进行介绍,让读者能够直观轻松地掌握构建商业智能(BI)解决方案的概念、工具和技术,是一本不可多得的商业智能开发参考指南。无论是商业智能(BI)编程新手还是经验丰富的老手,都可从《SQL Server 2008商业智能完美解决方案》获益。 目录 -------------------------------------------------------------------------------- 第一部分 面向商业决策者和架构师的商业智能 第1章 商业智能基础 3 1.1 商业智能和数据建模 3 1.2 OLTP和OLAP 4 1.2.1 联机事务处理 4 1.2.2 联机分析处理 6 1.3 常用BI术语 9 1.3.1 数据仓库 9 1.3.2 数据市场 10 1.3.3 多维数据集 11 1.3.4 决策支持系统 11 1.3.5 数据挖掘系统 11 1.3.6 提取、转换和加载系统 12 1.3.7 报表处理系统 12 1.3.8 关绩效指标 12 1.4 Microsoft BI解决方案的核心组件 12 1.4.1 SQL Server 2008 Analysis Services 13 1.4.2 SQL Server 2008 Reporting Services 15 1.4.3 SQL Ser
SQL Server 2008商业智能完美解决方案 3/3 SQL Server 2008 2010 商业智能完美解决方案 作者:兰吉特(Lynn Langit) 出版社:人民邮电出版社; 第1版 (2010年8月1日) ISBN:7115231117, 9787115231116 页码:545 -------------------------------------------------------------------------------- 《SQL Server 2008商业智能完美解决方案》: 利用Microsoft SQL Server 2008实现灵活的商业智能解决方案使用Microsoft 完善的BI工具构建B0解决方案的必备指南,使用SQLServer 2008设计、开发和部署更有效的数据集成、报表、分析解决方案所需的权威操作指南。不论是商业智能(B0)编程的新手还是老手,都会从受益。通过专家团队的真实示例和高明见解,读者能够掌握构建商业智能解决方案的概念、工具和技术,从而真正提供客户所需的智能性商业价值。 《SQL Server 2008商业智能完美解决方案》研究如下内容: 管理开发生命周期,打造BI团队; 深入研究SQL Servet Analysis Services、Integration Services和 Reporting Services; 使用Business Intelligence Development Studio(BIDS); 编写对销售数据进行分级、排序和深化的查询; 开发提取、转换、加载(ETL)解决方案; 添加源代码控制系统; 通过加密和凭据保护部署的包; 用MDX和DMX查询设计器构建基于OLAP多维数据集和数据挖掘模 型的报表; 用NET代码建立并实现自定义对象; 在Microsoft Office Excel和Office SharePoint Server查看报表。 微软公司US-SQL Analysis Services 首席开发经理Donaod Farmer倾力作序 内容提要 -------------------------------------------------------------------------------- 《SQL Server 2008商业智能完美解决方案》介绍如何使用Microsoft SQL Server 2008开发商业智能(BI)解决方案。《SQL Server 2008商业智能完美解决方案》共分为4部分。第一部分阐述了商业智能基础、可视化商业智能结果、构建有效的商业智能流程、商业智能解决方案的物理架构、面向架构师的OLAP逻辑设计概念;第二部分面向Analysis Services开发人员,详细介绍了如何使用BIDS以及BIDS的所有功能,提供了使用SSAS构建OLAP多维数据集和数据挖掘模型的指南;第三部分面向Integration Services开发人员,详细介绍如何使用SSIS开发ETL软件包,利用ETL包加载OLAP多维数据集和数据挖掘结构;第四部分详细介绍了SSRS的架构,以及Excel、Visio或Office SharePoint Server 2007作为BI客户端的实现。 《SQL Server 2008商业智能完美解决方案》结合专家团队提供的实际示例和丰富经验进行介绍,让读者能够直观轻松地掌握构建商业智能(BI)解决方案的概念、工具和技术,是一本不可多得的商业智能开发参考指南。无论是商业智能(BI)编程新手还是经验丰富的老手,都可从《SQL Server 2008商业智能完美解决方案》获益。 目录 -------------------------------------------------------------------------------- 第一部分 面向商业决策者和架构师的商业智能 第1章 商业智能基础 3 1.1 商业智能和数据建模 3 1.2 OLTP和OLAP 4 1.2.1 联机事务处理 4 1.2.2 联机分析处理 6 1.3 常用BI术语 9 1.3.1 数据仓库 9 1.3.2 数据市场 10 1.3.3 多维数据集 11 1.3.4 决策支持系统 11 1.3.5 数据挖掘系统 11 1.3.6 提取、转换和加载系统 12 1.3.7 报表处理系统 12 1.3.8 关绩效指标 12 1.4 Microsoft BI解决方案的核心组件 12 1.4.1 SQL Server 2008 Analysis Services 13 1.4.2 SQL
去年十月,TiDB 1.0 版本发布,在接下来的六个月,开发团队一方面在维护 1.0 版本的稳定性并且增加必要的新特性,另一方面马不停蹄的开发 2.0 版本。经过 6 个 RC 版本,TiDB 2.0 GA 版本于 4 月 27 日正式发布。 2.0 版本规划 根据现有用户的情况、技术发展趋势以及社区的声音,TiDB 2.0 版本主要聚焦在以下几点: 保证 TiDB 的稳定性以及正确性。这两点是一个数据库软件的基础功能,作为业务的基石,任何一点抖动或者错误都可能对业务造成巨大的影响。目前已经有大量的用户在线上使用 TiDB,这些用户的数据量在不断增加、业务也在不断演进。 提升 TiDB 在大数据量下的查询性能。TiDB 目前很多客户都有少则上百 GB,多则上百 TB 的数据,一方面数据会持续增加,另一方面也希望能对这些数据做实的查询。所以如果能提升大数据量下的查询性能,对用户会很有帮助。 优化 TiDB 的易用性和可维护性。TiDB 整套系统的复杂性比较高,运维及使用的难度要大于单机数据库,所以希望能提供尽可能方便的方案帮助用户使用 TiDB。比如尽可能简化部署、升级、扩容方式,尽可能容易的定位系统出现的异常状态。 围绕上面三点原则,TiDB 做了大量的改进,一些是对外可见,如 OLAP 性能的显著提升、监控项的大量增加以及运维工具的各项优化,还有更多的改进是隐藏在数据库背后,默默的提升整个数据库的稳定性以及正确性。 正确性和稳定性 在 1.0 版本发布之后,TiDB 开始构建和完善自动化测试平台 Schrodinger,彻底告别了之前靠手工部署集群测试的方式。同也新增了非常多的测试用例,做到测试从最底层 RocksDB,到 Raft,再到 Transaction,然后是 SQL 都能覆盖。 在 Chaos 测试上面,TiDB 引入了更多的错误注入工具,例如使用 systemtap 对 I/O 进行 delay 等,也在代码特定的业务的逻辑进行错误注入测试,充分保证 TiDB 在异常条件下面也能稳定运行。 TiDB 的开发团队之前做了很多 TLA+ 的论证工作,也有一些简单的测试,1.0 之后开始使用 TLA+ 系统进行论证,保证所做的实现在设计上面都是正确的。 在存储引擎方面,为了提升大规模集群的稳定性和性能,TiDB 优化了 Raft 的流程,引入 Region Merge、Raft Learner 等新特性;优化热点调度机制,统计更多的信息,并根据这些信息做更合理的调度;优化 RocksDB 的性能,使用 DeleteFilesInRanges 等特性,提升空间回收效率,降低磁盘负载,以及更加平滑地使用磁盘资源等等。 OLAP 性能优化 TiDB 2.0 版本重构了 SQL 优化器和执行引擎,希望能尽可能快的选择最优查询计划并且尽可能高效地执行查询计划。 1.0 版本已经从基于规则的查询优化器转向基于代价的查询优化器,但是还不够完善,在 2.0 版本,一方面优化统计信息的精确度以及更新及程度,另一方面提升 SQL 优化器的能力,对查询代价的估算更加精准、对复杂过滤条件的分析更加细致、对关联子查询的处理更加优雅、对物理算子的选择更加灵活准确。 在这一版本,SQL 执行引擎引入新的内部数据表示方式 --- `Chunk`,一个结构保存一批数据而不仅是一行数据,同一列的数据在内存连续存放,使得内存使用更紧凑,这样带来了几点好处:1. 显著减小了内存消耗; 2. 批量分配内存,减小了 GC 开销;3. 算子之间可以对数据进行批量传递,减小调用开销;4. 在某些场景下,可以进行向量计算以及减小 CPU 的 Cache Miss 的情况。 完成上述两项改动之后,TiDB 在 OLAP 场景下的性能有了大幅的质的提升,从 TPC-H 的对比结果来看,所有的 Query 在 2.0 都运行得更快,一些 Query 大多数都有几倍甚至数量级的提升,特别是一些 1.0 跑不出结果的 Query 在 2.0 都能顺利执行。 易用性和可运维性 为了更容易被安装和使用,TiDB 2.0 在监控、运维、工具方面也做了诸多优化。 在监控方面,增加了过百个监控项,同通过 HTTP 接口、SQL 语句等方式暴露出一些运行信息,用于系统调优或者是定位系统存在的问题。 在运维方面,运维工具做了优化,简化操作流程,降低操作复杂度及操作过程对于线上的影响。同功能也更加丰富,支持自动部署 Binlog 组件、支持启用 TLS。 2.0 详细更新列表 TiDB: 1.SQL 优化器 精简统计信息数据结构,减小内存占用 加快进程启动加载统计信息速度 支持统计信息动态更新 [experimental] 优化代价模型,对代价估算更精准 使用 `Count-Min Sketch` 更精确地估算点查的代价 支持分析更复杂的条件,尽可能充分的使用索引 支持通过 `STRAIGHT_JOIN` 语法手动指定 Join 顺序 `GROUP BY`子句为空使用 Stream Aggregation 算子,提升性能 支持使用索引计算 `Max/Min` 函数 优化关联子查询处理算法,支持将更多类型的关联子查询解关联并转化成 `Left Outer Join` 扩大 `IndexLookupJoin` 的使用范围,索引前缀匹配的场景也可以使用该算法 2.SQL 执行引擎 使用 Chunk 结构重构所有执行器算子,提升分析型语句执行性能,减少内存占用,显著提升 TPC-H 结果 支持 Streaming Aggregation 算子下推 优化 `Insert Into Ignore` 语句性能,提升 10 倍以上 优化 `Insert On Duplicate Key Update` 语句性能,提升 10 倍以上 下推更多的数据类型和函数到 TiKV 计算 优化 `Load Data` 性能,提升 10 倍以上 支持对物理算子内存使用进行统计,通过配置文件以及系统变量指定超过阈值后的处理行为 支持限制单条 SQL 语句使用内存的大小,减少程序 OOM 风险 支持在 CRUD 操作使用隐式的行 ID 提升点查性能 3.Server 支持 Proxy Protocol 添加大量监控项, 优化日志 支持配置文件的合法性检测 支持 HTTP API 获取 TiDB 参数信息 使用 Batch 方式 Resolve Lock,提升垃圾回收速度 支持多线程垃圾回收 支持 TLS 4.兼容性 支持更多 MySQL 语法 支持配置文件修改 `lower_case_table_names` 系统变量,用于支持 OGG 数据同步工具 提升对 Navicat 的兼容性 在 `Information_Schema` 支持显示建表间 修复部分函数/表达式返回类型和 MySQL 不同的问题 提升对 JDBC 兼容性 支持更多的 `SQL_MODE` 5.DDL 优化 `Add Index` 的执行速度,部分场景下速度大幅度提升 `Add Index` 操作变更为低优先级,降低对线上业务影响 `Admin Show DDL Jobs` 输出更详细的 DDL 任务状态信息 支持 `Admin Show DDL Job Queries JobID` 查询当前正在运行的 DDL 任务的原始语句 支持 `Admin Recover Index` 命令,用于灾难恢复情况下修复索引数据 支持通过 `Alter` 语句修改 Table Options PD: 1.增加 `Region Merge` 支持,合并数据删除后产生的空 Region [experimental] 2.增加 `Raft Learner` 支持 [experimental] 3.调度器优化 调度器适应不同的 Region size 提升 TiKV 宕机数据恢复的优先级和恢复速度 提升下线 TiKV 节点搬迁数据的速度 优化 TiKV 节点空间不足的调度策略,尽可能防止空间不足磁盘被写满 提升 balance-leader scheduler 的调度效率 减少 balance-region scheduler 调度开销 优化 hot-region scheduler 的执行效率 4.运维接口及配置 增加 TLS 支持 支持设置 PD leader 优先级 支持基于 label 配置属性 支持配置特定 label 的节点不调度 Region leader 支持手动 Split Region,可用于处理单 Region 热点的问题 支持打散指定 Region,用于某些情况下手动调整热点 Region 分布 增加配置参数检查规则,完善配置项的合法性较验 5.调试接口 增加 `Drop Region` 调试接口 增加枚举各个 PD health 状态的接口 6.统计相关 添加异常 Region 的统计 添加 Region 隔离级别的统计 添加调度相关 metrics 7.性能优化 PD leader 尽量与 etcd leader 保持同步,提升写入性能 优化 Region heartbeat 性能,现可支持超过 100 万 Region TiKV: 1.功能 保护关配置,防止错误修改 支持 `Region Merge` [experimental] 添加 `Raw DeleteRange` API 添加 `GetMetric` API 添加 `Raw Batch Put`,`Raw Batch Get`,`Raw Batch Delete` 和 `Raw Batch Scan` 给 Raw KV API 增加 Column Family 参数,能对特定 Column Family 进行操作 Coprocessor 支持 streaming 模式,支持 streaming 聚合 支持配置 Coprocessor 请求的超间 心跳包携带间戳 支持在线修改 RocksDB 的一些参数,包括 `block-cache-size` 大小等 支持配置 Coprocessor 遇到某些错误的行为 支持以导数据模式启动,减少导数据过程的写放大 支持手动对 region 进行对半 split 完善数据修复工具 tikv-ctl Coprocessor 返回更多的统计信息,以便指导 TiDB 的行为 支持 ImportSST API,可以用于 SST 文件导入 [experimental] 新增 TiKV Importer 二进制,与 TiDB Lightning 集成用于快速导入数据 [experimental] 2.性能 使用 ReadPool 优化读性能,`raw_get/get/batch_get` 提升 30% 提升 metrics 的性能 Raft snapshot 处理完之后立即通知 PD,加快调度速度 解决 RocksDB 刷盘导致性能抖动问题 提升在数据删除之后的空间回收 加速启动过程的垃圾清理过程 使用 `DeleteFilesInRanges` 减少副本迁移 I/O 开销 3.稳定性 解决在 PD leader 发送切换的情况下 gRPC call 不返回问题 解决由于 snapshot 导致下线节点慢的问题 限制搬移副本临占用的空间大小 如果有 Region 长间没有 Leader,进行上报 根据 compaction 事件及更新统计的 Region size 限制单次 scan lock 请求的扫描的数据量,防止超 限制接收 snapshot 过程的内存占用,防止 OOM 提升 CI test 的速度 解决由于 snapshot 太多导致的 OOM 问题 配置 gRPC 的 `keepalive` 参数 修复 Region 增多容易 OOM 的问题 此外,同发布的还有 TiSpark 1.0 GA 版本。TiSpark 1.0 版本组件提供了针对 TiDB 上的数据使用 Apache Spark 进行分布式计算的能力。更新包括: 1.提供了针对 TiKV 读取的 gRPC 通信框架 2.提供了对 TiKV 组件数据的和通信协议部分的编码解码 3.提供了计算下推功能,包含 聚合下推 谓词下推 TopN 下推 Limit 下推 4.提供了索引相关支持 谓词转化聚簇索引范围 谓词转化次级索引 Index Only 查询优化 运行索引退化扫表优化 5.提供了基于代价优化 统计信息支持 索引选择 广播表代价估算 6.多种 Spark Interface 的支持 Spark Shell 支持 ThriftServer/JDBC 支持 Spark-SQL 交互支持 PySpark Shell 支持 SparkR 支持 相关链接 TiDB 的详细介绍:点击查看 TiDB 的下载地址:点击下载

588

社区成员

发帖
与我相关
我的任务
社区描述
提出问题
其他 技术论坛(原bbs)
社区管理员
  • community_281
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧