data warehouse & data mining

FIR1987 2009-10-22 12:40:06
这个从哪开始入手,有什么推荐书籍?我用不用学统计学什么的?
本人专业计算机 数据库只接触过SQLSevere 2000 & 2005
请教过来人 ,感谢了~~~~
...全文
119 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
lvchun 2009-11-15
  • 打赏
  • 举报
回复
单纯数据仓库建设只需要有扎实的数据库基础和数据仓库的设计理念,如果做数据挖掘和分析就需要数理统计和概率论的知识,还要结合行业知识,研究主题和模型,难度很大
luxi0194 2009-10-29
  • 打赏
  • 举报
回复
数学要好,还不结贴???
「已注销」 2009-10-25
  • 打赏
  • 举报
回复
对了,再占一楼,还有算法,算法很重要。
「已注销」 2009-10-25
  • 打赏
  • 举报
回复
进军DW&DM,统计学是必不可少的。当然概率论以及一定数据库基础。至于书籍嘛,这个需要自己查。查一下DM的或者KDD的由头,基本基本经典的书也罗列其中了。
数据仓库(Data Warehouse)简称DW或DWH,是数据库的一种概念上的升级,可以说是为满足新需求设计的一种新数据库,而这个数据库是需容纳更多的数据,更加庞大的数据集,从逻辑上讲数据仓库和数据库是没有什么区别的。为企业所有级别的决策制定过程,提供所有类型数据支撑的战略集合,主要是用于数据挖掘和数据分析,以建立数据沙盘为基础,为消灭消息孤岛和支持决策为目的而创建的。 数据仓库的应用 1.数据分析、数据挖掘、人工智能、机器学习、风险控制、无人驾驶。 2.数据化运营、精准运营。 3.广告精准、智能投放。 随着我们从IT时代步入DT时代,数据积累量也与日俱增,同时伴随着互联网的发展,越来越多的应用场景产生,传统的数据处理、存储方式已经不能满足日益增长的需求。而互联网行业相比传统行业对新生事物的接受度更高、应用场景更复杂, 因此基于大数据构建的数据仓库先在互联网行业得到了尝试。 高性能高扩展的亿级电商全端实时数据仓库全实现(PC、移动、小程序) ,以热门的互联网电商实际业务应用场景为案例讲解,对电商数据仓库的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:每日、月大盘收入报表、高付费用户分析报表、流量域多方位分析、营销域多方位分析、实时排行榜指标分析、用户主题分析、店铺主题时间区间分析等,数据分析涵盖全端(PC、移动、小程序)应用,与互联网企业大数据技术同步,让大家能够真正学到大数据企业级数据仓库的实战经验。本课程凝聚讲师多年一线大数据企业实际项目经验,大数据企业在职架构师亲自授课,全程实操代码,带你体验真实的大数据开发过程,代码现场调试。通过本课程的学习再加上老师的答疑,你完全可以将本案例直接应用于企业。本套课程可以满足世面上绝大多数大数据企业级的数据仓库业务场景,全部代码可以直接部署企业,支撑亿级并发数据分析。该项目代码也是具有极高的商业价值的,大家可以根据自己的业务进行修改,便可以使用。本课程包含的技术:  开发工具为:IDEA、WebStorm Flink1.9.0 Greenplum5.0.0 Hadoop2.6.0 Hbase1.0.0 Kafka2.1.0 Hive1.1.0 HDFS、MapReduce Redis、Flume Sqoop、Zookeeper MyBatis、EhCache SpringBoot2.0.2.RELEASE SpringCloud Finchley.RELEASE Binlog、Canal MySQL、MyCat Vue.js、Nodejs Highcharts课程亮点: 1.与企业对接、真实工业界产品  2.支持海量数据的分析 3.支持全端实时数据分析 4.通用数据仓库分层解决方案 5.数据库实时同步解决方案 6.主流微服务后端系统 7.电商数据仓库实战指标 8.实时加离线多方位分析 9.互联网大数据企业热门技术栈 10.分布式数据库存储解决方案 11.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS 12.大数据热门技术Flink新版本13.集成SpringCloud实现统一整合方案 14.全程代码实操,提供全部代码和资料 15.提供答疑和提供企业技术方案咨询企业一线架构师讲授,代码企业直接复用,提供企业解决方案。  版权归作者所有,盗版将进行法律维权。 
关于数据挖掘应用的一本不错的书 1 Introduction to Data Mining Principles . . . . . . . . . . . . . . . . . . . . 1 1.1 Data Mining and Knowledge Discovery. . . . . . . . . . . . . . . . . . . . 2 1.2 Data Warehousing and Data Mining - Overview . . . . . . . . . . . . 5 1.2.1 Data Warehousing Overview . . . . . . . . . . . . . . . . . . . . . 7 1.2.2 Concept of Data Mining . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.4 Review Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2 Data Warehousing, Data Mining, and OLAP . . . . . . . . . . . . . . . 21 2.1 Data Mining Research Opportunities and Challenges . . . . . . . . 23 2.1.1 Recent Research Achievements . . . . . . . . . . . . . . . . . . . 25 2.1.2 Data Mining Application Areas . . . . . . . . . . . . . . . . . . . 27 2.1.3 Success Stories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.1.4 Trends that Affect Data Mining . . . . . . . . . . . . . . . . . . 30 2.1.5 Research Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 2.1.6 Test Beds and Infrastructure . . . . . . . . . . . . . . . . . . . . . 33 2.1.7 Findings and Recommendations . . . . . . . . . . . . . . . . . . 33 2.2 Evolving Data Mining into Solutions for Insights . . . . . . . . . . . 35 2.2.1 Trends and Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . 36 2.3 Knowledge Extraction Through Data Mining . . . . . . . . . . . . . . 37 2.3.1 Data Mining Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 2.3.2 Operational Aspects . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 2.3.3 The Need and Opportunity for Data Mining . . . . . . . 51 2.3.4 Data Mining Tools and Techniques. . . . . . . . . . . . . . . . 52 2.3.5 Common Applications of Data Mining . . . . . . . . . . . . . 55 2.3.6 What about Data Mining in Power Systems? . . . . . . . 56 2.4 Data Warehousing and OLAP . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 2.4.1 Data Warehousing for Actuaries . . . . . . . . . . . . . . . . . . 57 2.4.2 Data Warehouse Components . . . . . . . . . . . . . . . . . . . . 58 2.4.3 Management Information . . . . . . . . . . . . . . . . . . . . . . . . 59 2.4.4 Profit Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 2.4.5 Asset Liability Management . . . . . . . . . . . . . . . . . . . . . . 60 2.5 Data Mining and OLAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 2.5.1 Research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 2.5.2 Data Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 2.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 2.7 Review Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 3 Data Marts and Data Warehouse . . . . . . . . . . . . . . . . . . . . . . . . . . 75 3.1 Data Marts, Data Warehouse, and OLAP . . . . . . . . . . . . . . . . . 77 3.1.1 Business Process Re-engineering . . . . . . . . . . . . . . . . . . 77 3.1.2 Real-World Usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 3.1.3 Business Intelligence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 3.1.4 Different Data Structures . . . . . . . . . . . . . . . . . . . . . . . . 82 3.1.5 Different Users . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 3.1.6 Technological Foundation . . . . . . . . . . . . . . . . . . . . . . . . 86 3.1.7 Data Warehouse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 3.1.8 Informix Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 3.1.9 Building the Data Warehouse/Data Mart Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 3.1.10 History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 3.1.11 Nondetailed Data in the Enterprise Data Warehouse 92 3.1.12 Sharing Data Among Data Marts . . . . . . . . . . . . . . . . . 93 3.1.13 The Manufacturing Process . . . . . . . . . . . . . . . . . . . . . . 93 3.1.14 Subdata Marts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 3.1.15 Refreshment Cycles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 3.1.16 External Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 3.1.17 Operational Data Stores (ODS) and Data Marts . . . . 97 3.1.18 Distributed Metadata . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.1.19 Managing the Warehouse Environment . . . . . . . . . . . . 100 3.1.20 OLAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 3.2 Data Warehousing for Healthcare . . . . . . . . . . . . . . . . . . . . . . . . 107 3.2.1 A Data Warehousing Perspective for Healthcare . . . . 107 3.2.2 Adding Value to your Current Data . . . . . . . . . . . . . . . 107 3.2.3 Enhance Customer Relationship Management . . . . . . 108 3.2.4 Improve Provider Management . . . . . . . . . . . . . . . . . . . 109 3.2.5 Reduce Fraud . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 3.2.6 Prepare for HEDIS Reporting . . . . . . . . . . . . . . . . . . . . 110 3.2.7 Disease Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 3.2.8 What to Expect When Beginning a Data Warehouse Implementation . . . . . . . . . . . . . . . . . . . . . . 110 3.2.9 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 3.3 Data Warehousing in the Telecommunications Industry . . . . . 112 3.3.1 Implementing One View . . . . . . . . . . . . . . . . . . . . . . . . . 118 3.3.2 Business Benefit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 3.3.3 A Holistic Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 3.4 The Telecommunications Lifecycle . . . . . . . . . . . . . . . . . . . . . . . . 122 3.4.1 Current Enterprise Environment . . . . . . . . . . . . . . . . . . 122 3.4.2 Getting to the Root of the Problem . . . . . . . . . . . . . . . 123 3.4.3 The Telecommunications Lifecycle . . . . . . . . . . . . . . . . 125 3.4.4 Telecom Administrative Outsourcing . . . . . . . . . . . . . . 127 3.4.5 Choose your Outsourcing Partner Wisely . . . . . . . . . . 127 3.4.6 Security in Web-Enabled Data Warehouse . . . . . . . . . 128 3.5 Security Issues in Data Warehouse . . . . . . . . . . . . . . . . . . . . . . . . 129 3.5.1 Performance vs Security . . . . . . . . . . . . . . . . . . . . . . . . . 130 3.5.2 An Ideal Security Model . . . . . . . . . . . . . . . . . . . . . . . . . 131 3.5.3 Real-World Implementation . . . . . . . . . . . . . . . . . . . . . . 131 3.5.4 Proposed Security Model . . . . . . . . . . . . . . . . . . . . . . . . 136 3.6 Data Warehousing: To Buy or To Build a Fundamental Choice for Insurers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 3.6.1 Executive Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 3.6.2 The Fundamental Choice . . . . . . . . . . . . . . . . . . . . . . . . 140 3.6.3 Analyzing the Strategic Value of Data Warehousing . 141 3.6.4 Addressing your Concerns . . . . . . . . . . . . . . . . . . . . . . . 142 3.6.5 Introducing FellowDSSTM . . . . . . . . . . . . . . . . . . . . . . . 146 3.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148 3.8 Review Questions . . . . . . . . . . . . . .
Book Description Whether you are brand new to data mining or working on your tenth predictive analytics project, Commercial Data Mining will be there for you as an accessible reference outlining the entire process and related themes. In this book, you’ll learn that your organization does not need a huge volume of data or a Fortune 500 budget to generate business using existing information assets. Expert author David Nettleton guides you through the process from beginning to end and covers everything from business objectives to data sources, and selection to analysis and predictive modeling. Commercial Data Mining includes case studies and practical examples from Nettleton’s more than 20 years of commercial experience. Real-world cases covering customer loyalty, cross-selling, and audience prediction in industries including insurance, banking, and media illustrate the concepts and techniques explained throughout the book. ◦Illustrates cost-benefit evaluation of potential projects ◦Includes vendor-agnostic advice on what to look for in off-the-shelf solutions as well as tips on building your own data mining tools ◦Approachable reference can be read from cover to cover by readers of all experience levels ◦Includes practical examples and case studies as well as actionable business insights from author’s own experience Table of Contents Chapter 1. Introduction Chapter 2. Business Objectives Chapter 3. Data Quality Chapter 4. Data Representation Chapter 5. Possible Sources of Data and Information Chapter 6. Selection of variables and factors Chapter 7. Data Sampling Chapter 8. Data Analysis Chapter 9. Modeling Chapter 10. The Data Mart – structured data warehouse Chapter 11. Querying, Report Generation and Executive Information Systems Chapter 12. Analytical CRM – Customer Relationship Analysis Chapter 13. Website analysis and Internet search Chapter 14. Online social network analysis Chapter 15. Web search trend analysis Chapter 16. Creating your own environment for commercial data analysis Chapter 17. Summary Book Details ◦Paperback: 304 pages ◦Publisher: Morgan Kaufmann (February 2014) ◦Language: English ◦ISBN-10: 0124166024 ◦ISBN-13: 978-0124166028

7,388

社区成员

发帖
与我相关
我的任务
社区描述
其他数据库开发 数据仓库
社区管理员
  • 数据仓库
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧