开发过知识管理的,提供些思路,相关资料,或列程,或相关网站

gyscsdn 2003-08-25 10:53:20
开发过知识管理的,提供些思路,相关资料,或列程,或相关网站
...全文
31 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
煜知搬砖者 2003-08-27
  • 打赏
  • 举报
回复
知识管理,做的比较好的有微软,你可以去msdn上看看
dunktalent 2003-08-25
  • 打赏
  • 举报
回复
http://www.predictionprobe.com/knowledge_mangement.htm
http://www.science.co.il/SoftwareCo.asp?s=know
另外我还有PDF资料,你需要的话,发消息给我
⼤数据平台常⽤组件_常见的⼤数据平台架构设计思路 近年来,随着IT技术与⼤数据、机器学习、算法⽅向的不断发展,越来越多的企业都意识到了数据存在的价值,将数据作为⾃⾝宝贵的资产 进⾏管理,利⽤⼤数据和机器学习能⼒去挖掘、识别、利⽤数据资产。如果缺乏有效的数据整体架构设计或者部分能⼒缺失,会导致业务层 难以直接利⽤⼤数据⼤数据,⼤数据和业务产⽣了巨⼤的鸿沟,这道鸿沟的出现导致企业在使⽤⼤数据的过程中出现数据不可知、需求难实 现、数据难共享等⼀系列问题,本⽂介绍了⼀些数据平台设计思路来帮助业务减少数据开发中的痛点和难点。 本⽂主要包括以下⼏个章节: 1. 本⽂第⼀部分介绍⼀下⼤数据基础组件和相关知识。 2. 第⼆部分会介绍lambda架构和kappa架构。 3. 第三部分会介绍lambda和kappa架构模式下的⼀般⼤数据架构 4. 第四部分介绍裸露的数据架构体系下数据端到端难点以及痛点。 5. 第五部分介绍优秀的⼤数据架构整体设计 6. 从第五部分以后都是在介绍通过各种数据平台和组件将这些⼤数据组件结合起来打造⼀套⾼效、易⽤的数据平台来提⾼业务系统效 能,让业务开发不在畏惧复杂的数据开发组件,⽆需关注底层实现,只需要会使⽤SQL就可以完成⼀站式开发,完成数据回流,让⼤ 数据不再是数据⼯程师才有的技能。 ⼀、⼤数据技术栈 ⼤数据整体流程涉及很多模块,每⼀个模块都⽐较复杂,下图列出这些模块和组件以及他们的功能特性,后续会有专题去详细介绍相关模块 领域知识,例如数据采集、数据传输、实时计算、离线计算、⼤数据储存等相关模块。 ⼆、lambda架构和kappa架构 ⽬前基本上所有的⼤数据架构都是基于lambda和kappa架构,不同公司在这两个架构模式上设计出符合该公司的数据体系架构。lambda 架构使开发⼈员能够构建⼤规模分布式数据处理系统。它具有很好的灵活性和可扩展性,也对硬件故障和⼈为失误有很好的容错性,关于 lambda架构可以在⽹上搜到很多相关⽂章。⽽kappa架构解决了lambda架构存在的两套数据加⼯体系,从⽽带来的各种成本问题,这也是 ⽬前流批⼀体化研究⽅向,很多企业已经开始使⽤这种更为先进的架构。 Lambda架构 Kappa架构 三、kappa架构和lambda架构下的⼤数据架构 ⽬前各⼤公司基本上都是使⽤kappa架构或者lambda架构模式,这两种模式下⼤数据整体架构在早期发展阶段可能是下⾯这样的: 四、数据端到端痛点 虽然上述架构看起来将多种⼤数据组件串联起来实⾏了⼀体化管理,但是接触过数据开发的⼈会感受⽐较强烈,这样的裸露架构业务数据开 发需要关注很多基础⼯具的使⽤,实际数据开发中存在很多痛点与难点,具体表现在下⾯⼀些⽅⾯。 1. 缺乏⼀套数据开发IDE来管理整个数据开发环节,长远的流程⽆法管理起来。 2. 没有产⽣标准数据建模体系,导致不同数据⼯程师对指标理解不同计算⼝径有误。 3. ⼤数据组件开发要求⾼,普通业务去直接使⽤Hbase、ES等技术组件会产⽣各种问题。 4. 基本上每个公司⼤数据团队都会很复杂,涉及到很多环节,遇到问题难以定位难以找到对应负责⼈。 5. 难以打破数据孤岛,跨团队跨部门数据难以共享,互相不清楚对⽅有什么数据。 6. 需要维护两套计算模型批计算和流计算,难以上⼿开发,需要提供⼀套流批统⼀的SQL。 7. 缺乏公司层⾯的元数据体系规划,同⼀条数据实时和离线难以复⽤计算,每次开发任务都要各种梳理。 基本上⼤多数公司在数据平台治理上和提供开放能⼒上都存在上述问题和痛点。在复杂的数据架构下,对于数据适⽤⽅来说,每⼀个环节的 不清晰或者⼀个功能的不友好,都会让复杂链路变更更加复杂起来。想要解决这些痛点,就需要精⼼打磨每⼀个环节,将上⾯技术组件⽆缝 衔接起来,让业务从端到端使⽤数据就像写SQL查询数据库⼀样简单。 五、优秀的⼤数据整体架构设计 提供多种平台以及⼯具来助⼒数据平台:多种数据源的数据采集平台、⼀键数据同步平台、数据质量和建模平台、元数据体系、数据统⼀访 问平台、实时和离线计算平台、资源调度平台、⼀站式开发IDE。 六、元数据-⼤数据体系基⽯ 元数据是打通数据源、数据仓库、数据应⽤,记录了数据从产⽣到消费的完整链路。元数据包含静态的表、列、分区信息(也就是 MetaStore)。动态的任务、表依赖映射关系;数据仓库的模型定义、数据⽣命周期;以及ETL任务调度信息、输⼊输出等元数据是数据管 理、数据内容、数据应⽤的基础。例如可以利⽤元数据构建任务、表、列、⽤户之间的数据图谱;构建任务DAG依赖关系,编排任务执⾏序 列;构建任务画像,进⾏任务质量治理;提供个⼈或BU的资产管理、计算资源消耗概览等。 可以认为整个⼤数据数据流动都是依靠元数据来管理的,没有⼀套完整的元数据设计,就会出现上⾯的数

67,512

社区成员

发帖
与我相关
我的任务
社区描述
J2EE只是Java企业应用。我们需要一个跨J2SE/WEB/EJB的微容器,保护我们的业务核心组件(中间件),以延续它的生命力,而不是依赖J2SE/J2EE版本。
社区管理员
  • Java EE
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧