京东大数据技术白皮书.pdf下载

weixin_39821620 2020-07-03 02:01:31

京东大数据技术白皮书.pdf
相关下载链接：//download.csdn.net/download/u011349099/11169175?utm_source=bbsseo

...全文

35 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

京东大数据技术白皮书.pdf

2018年12月7日，京东大数据与智能供应链事业部发布《2018京东大数据技术白皮书》。众所周知，大数据是企业的基本生产资料，数据信息是企业宝贵的资产。不同于其他资产，数据资产主要在企业运营过程中产生，较易获取，但要持续积累、沉淀和做好管理却并不容易，这是一项长期且系统性的工程。未经“雕琢”的数据是一组无序、混乱的数字，并不能给企业带来何种价值，从庞杂晦涩的数据中挖掘出“宝藏”充满着挑战，这需要将业务、技术与管理三者相互融合起来进行创新。京东作为一家业内领先的互联网科技公司，完整的产业链条带来了价值可沽的海量大数据，丰富的业务场景也为技术发展提供了最佳创新土壤。从认知、探索到今天京东技术上的百花齐放，我们经历了最为艰苦的创新和付出。业务的复杂与多元化，数据的飞速增长，给我们带来了很多棘手问题，但也使得大数据平台拥有更强大的能力，形成了一套完整的技术体系和有效的数据管理方法，并在实践中得以验证和夯实。京东大数据平台作为京东集团的数据中台，支撑了京东无界零售的数据运营和创新。《京东大数据技术白皮书》总结了大数据技术在京东的落地和成长，分享了大数据技术体系和管理架构，阐述了大数据在京东的典型业务应用场景，并对大数据的技术方向进行了展望，是一次对京东大数据平台的最全面解读，希望我们的实践和思考能给同行以启发和参考，我们期待和业界一起推动国内大数据产业的进步和发展。

深入解读《数据治理标准化白皮书2021》，主要包含数据治理的概念、意义、治理范围和治理原则、数据治理标准化的总体进展、典型标准和需求挑战、数据治理标准体系框架以及后续工作建议。

京东大数据技术白皮书 ~ 5 ~ 前言大数据概念近年来受到高度关注，大数据在各个行业的应用及其带来的影响也引起越来越多的讨论。大数据正在从单纯的技术概念向实际部署应用转变；从少数领域向众多领域渗透；从企业内部向各产业与公共服务方向扩展。目前，无论国内还是国外， 大数据技术都在经历前所未有的快速演变，以满足各种应用的需求。我国已将大数据发展确定为国家战略，强调要瞄准世界科技前沿，集中优势资源突破大数据核心技术，加快构建自主可控的大数据产业链、价值链和生态系统。大数据产业在国内发展得如火如荼，据统计，2016 年大数据产业规模达 14500 亿元，2017 年达 19570 亿元，到 2020 年将达到 5 万亿元。 大数据技术已经在如电子商务、政务、民生、金融、工业、医疗等多个领域中广泛应用。从国内的大数据技术和行业应用发展来看， 大数据技术的基础架构技术已日趋成熟，大数据领域由技术创新驱动转向应用创新驱动的趋势开始显现，但更多的传统企业在如何建设大数据平台，如何利用大数据来驱动企业业务发展上仍然缺乏经验，这在一定程度上制约了大数据技术的大规模产业应用。京东拥有全渠道零售和端到端的高质量大数据，包含了用户的浏览和消费行为、商品制造和销售、物流仓储配送以及客服与京东大数据技术白皮书 ~ 6 ~ 售后等丰富完整的信息。同时，京东业务中包含有大量丰富的大数据应用场景，是大数据实践的最佳场所。早在 2010 年，京东集团就启动了大数据领域的研发和应用探索工作，经过八年来的持续投入，京东大数据平台无论从规模、技术先进性，还是体系的完整性等方面均已达到国内一流水平。作为支撑公司数据运营的重要阵地，目前已拥有集群规模 40000+服务器，数据规模达 800PB+，每日的 JOB 数 100 万+，业务表 900 万+，每日的离线数据日处理量 30PB+，单集群规模达到 7000+台，实时计算每天消费的数据记录近万亿条。京东大数据平台建设了完整的技术体系，包括离线计算、实时计算和机器学习平台，可以满足多种复杂应用场景的计算任务。元数据管理、数据质量管理、任务调度、数据开发工具、流程中心等构成了全面的数据运营工具。分析师、指南针等数据应用产品提供了便利的数据分析功能，以及敏感数据保护、数据权限控制等策略方案，能够最大程度地保护数据资产的安全。京东大数据在驱动企业业务增长，提升运营效率，为客户提供个性化、高品质产品及服务上发挥了重要作用。利用大数据分析和挖掘，京东打造了个性化商城，自主研发了智能门店解决方案，打造了智能供应链体系，提高了物流配送的效率，实现了知人、知货、知场景的购物体验。京东大数据的应用已渗透到了业务的各个环节。近几年，京东大数据承担了包括大数据和人工智能领域在内京东大数据技术白皮书 ~ 7 ~ 的多项国家级重点研发项目。2017 年，京东获得了国家 "大数据智能管理与分析技术"国家地方联合工程研究中心的授牌。这些都是国家对京东大数据实力的认可，是京东技术实力的体现。京东是 "开放的京东" ，随着国家大数据战略的逐步落实，我们希望能输出京东的大数据技术能力，建设开放的技术平台，借助技术和数据为政府和社会创造更多价值，我们希望借此白皮书 的发布，将京东的大数据技术实践分享出来，为其他企业提供参考，同时，我们也欢迎更多的合作伙伴与我们一道，共同在大数据领域深入探索，为我国大数据产业的发展贡献力量。京东大数据技术白皮书 ~ 8 ~ 1 京东大数据的发展历程 2010 年，京东集团启动了在大数据领域的研发和应用探索工作，正式组建京东大数据部，并确立了数据集中式的数据服务模式，成为企业大数据最早的实践者之一。大数据平台的发展是随着京东业务同步发展的，由原来的传统数据仓库模式逐步演变为基于 Hadoop 的分布式计算架构，如图 1 所示。技术领域覆盖 Hadoop、Kubernetes、Spark、Hive、 Alluxio、Presto、Hbase、Storm、Flink、Kafka 等大数据全生态体系。目前拥有研发团队 500+人，累计获得技术专利 400+个。经过多年的持续投入，京东大数据已成为企业大数据的领跑者。目前已拥有集群规模 40000+服务器，单集群规模达到 7000+ 台，数据规模 800PB+，日增数据 1P+，日运行 JOB 数 100 万+，业务表 900 万+张。每日的离线数据日处理 30PB+，实时计算每天消费的行数近万亿条。图 1：京东大数据发展历程京东大数据技术白皮书 ~ 9 ~ 京东大数据建设了全生态核心产品体系，是京东大数据业务的基础服务平

京东大数据技术白皮书-2018.12-120页.pdf

下载资源悬赏专区

12,780

社区成员

12,308,649

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章