3376
社区成员
- 全部
PB的数据管道bug?
当使用PB的数据管道迁移数据时，若表的所有字段都是主键，当管道是update类型时，会出错，显示违反唯一约束条件？请问哪位大侠有好的解决办法吗（数据库是ORACLE）
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
还没有回复，快来抢沙发～
【PB】数据管道 pipelineobject.Start 错误列表 Integer. Returns 1 if it succeeds and a negative number if an error occurs. Error values are: -1 Pipe open failed -2 Too many columns -3 Table already exists ...-4 Table does not exist
PB数据管道 数据管道提供了一种不同数据库之间传递数据和(或)表结构的方法。 数据管道对象 要完成数据管道的功能需要提供如下内容： 需要数据源和目标数据库，并能够和这两个数据库正常联接 需要源数据库中的哪些表； ...
pb数据管道的Demo 利用pb写的一个小demo，本来是想同步数据用的。虽然后面没有使用它。但还是分享给大家好了！demo很简单的，就是教大家怎么使用pipeline来同步数据！免费给大家，希望好评。当然了数据库我就不提供了。你们随便找个表...
pb数据管道的Demo下载 利用pb写的一个小demo，本来是想同步数据用的。虽然后面没有使用它。但还是分享给大家好了！demo很简单的，就是教大家怎么使用pipeline来同步数据！免费给大家，希望好评。当然了数据库我就不提供了。你们随便找个表...
Uber 背后的 PB 级数据治理之路 Uber 通过赋能数十亿打车和快递服务，连接数以百万计的乘客、企业、餐馆、司机和快递员，彻底改变了世界的出行方式。这个庞大的交通平台的核心是大数据和数据科学，它们支撑着 Uber 的所有工...
数据赋能：Uber的数据治理实践分享 作者丨Krishna Puttaswamy、Suresh Srinivas来源丨Uber，谈数据整理分享全文共7286个字，建议阅读15分钟01数据赋能 UberUber 通过赋能数十亿打...
[大数据文章之其三] 快速数据管道设计：通过交换表更新各个事件决策 讲道理，分析日志是越来越熟练了，代码水平其实没有很大提高，毕竟改 Bug 嘛，大多只是在原有代码的基础上，添加或者修改一些业务逻辑。虽然改原生代码的时候能学到很多东西，但是那些部分很少出现问题，绝大部分...
Flink 和 Iceberg 如何解决数据入湖面临的挑战 摘要：阿里巴巴技术专家胡争在 4 月 17 日上海站 Meetup 分享，文章内容为借助 Flink 和 Iceberg 来尝试解决数据入湖的相关挑战，帮助业务同学更加高效地聚焦在自身的业...
数据仓库(六)---分布式SQL查询引擎---presto介绍 我们在之前的文章中已经学习了数据仓库hive，如果要对数据仓库进行交互查询，则需要交互查询的引擎用于提高查询效率。本章介绍presto。 简介 Presto是一个开源的分布式SQL查询引擎，适用于实时交互式分析查询，...
新一代数据仓库：Snowflake 弹性数仓介绍 本文来自大佬的投稿，作者：张剑。摘要我们生活在分布式计算的黄金时代。公有云平台几乎能够按需提供无限的计算和存储资源。同时，SaaS模型将企业级系统带给了无法负担成本和相关系统复杂性的用户...
60TB 数据量的作业从 Hive 迁移到 Spark 在 Facebook 的实践 Facebook 经常使用分析来进行数据驱动的决策。在过去的几年里，用户和产品都得到了增长，使得我们分析引擎中单个查询的数据量达到了数十TB。我们的一些批处理分析都是基于 Hive 平台...
数据文化 | Uber的数据治理 数据赋能 UberUber 通过赋能数十亿打车和快递服务，连接数以百万计的乘客、企业、餐馆、司机和快递员，彻底改变了世界的出行方式。这个庞大的交通平台的核心是大数据和数据科学，它们支撑着 ...
kafka 削峰_直播回顾 | 腾讯云 Serverless 衔接 Kafka 上下游数据流转实战 关注腾讯云大学，了解行业最新技术动态戳阅读原文观看完整直播回顾讲师介绍 腾讯云 CKafka 产品经理，负责腾讯云消息队列系列产品的产品策划相关工作，在PaaS中间件领域有着丰富的经验。腾讯云Ckafka核心研发，精通...
【数据文化】Uber的数据治理 公众号推文规则变了，点击上方"数据社",设为星标后台回复【加群】，申请加入数据学习交流群大家好，我是一哥，今天分享一下优步是如何进行数据赋能的。数据赋能 UberUbe...
使用Apache Hudi构建大规模、事务性数据湖 一个近期由Hudi PMC & Uber Senior Engineering Manager Nishith Agarwal分享的Talk关于Nishith Agarwal更详...
hive 修改cluster by算法_60TB 数据量的作业从 Hive 迁移到 Spark 在 Facebook 的实践 Facebook 经常使用分析来进行数据驱动的决策。在过去的几年里，用户和产品都得到了增长，使得我们分析引擎中单个查询的数据量达到了数十TB。我们的一些批处理分析都是基于 Hive 平台(Apache Hive 是 Facebook 在2009...
数据分析大数据面试题大杂烩02 Map端会处理输入数据并产生中间结果,这个中间结果会写到本地磁盘,每个Map的输出会先写到内存缓冲区中,当写入的数据达到设定的阈值时,系统将会启动一个线程将缓冲区的数据写到磁盘,这个过程叫做spill(spill写入之前,...
熵简技术谈 | 基于对象存储的离线大数据处理架构和应用实践 导读：熵简科技大数据处理系统目前已经累计完成 3.7 PB 规模的大数据处理和分析，覆盖了超 2000+ 数据源，涉及丰富的数据类型，如宏观经济数据、电商招聘等另类数据、研报新闻等文本类数据。这背后，是一个处理PB级...
Apache Hudi助力nClouds加速数据交付 1. 概述 在nClouds上，当客户的业务决策取决于对近实时数据...Amazon EMR上的Apache Hudi是需要构建增量数据管道、大规模近实时处理数据的理想解决方案。本篇文章将在Amazon EMR的Apache Hudi上进行原型验证。 nClouds
阿里HBase超详实践总结 | 一文读懂大数据时代的结构化存储 HBase是一个开源的非关系型分布式数据库...伴随着互联网时代数据的澎湃增长，HBase作为基础存储系统得到了快速发展与应用，大批知名商业公司(Facebook、Yahoo、阿里等)不自主地加入到了HBase生态建设队伍，成为Ap
腾讯云 Serverless 衔接 Kafka 上下游数据流转实战 腾讯云 CKafka 作为大数据架构中的关键组件，起到了数据聚合，流量削峰，消息管道的作用。在 CKafka 上下游中的数据流转中有各种优秀的开源解决方案。如 Logstash，File Beats，Spark，Flink 等等。本文将带来一种新...
Apache Hudi：云数据湖解决方案 Apache Hudi（Hadoop Upserts Deletes and Incrementals）是一个数据湖项目，可在与Apache Hadoop兼容的云存储系统（包括Amazon S3、Aliyun OSS）上进行流数据处理。 该项目最初于2016年在Uber开发，于201
