GreenPlum 分布式数据库进数据很慢

刘飞强丶Conan 2015-12-29 02:27:02
刚搭建好的greenplum集群,用ETL导入数据时,简直太慢了,基本的配置都配了,像什么内存的都给好几百M,几个G了,但是进数据就是只有几百条每秒,是不是有个什么关键配置没注意到。感觉调了很多参数,几乎速度没什么变化,感觉好像不影响,
...全文
1516 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
OK_boom 2016-06-21
  • 打赏
  • 举报
回复
就是因为这些群集搞得太复杂,我现在还只是用slony 做群集,速度还可以。
php17 2016-01-06
  • 打赏
  • 举报
回复
导数是不是用gpfdist采用外部表,这用很快~~~
文修 2015-12-30
  • 打赏
  • 举报
回复
确实, 集群的配置太复杂,小弟还没入门,建议楼主请教其他大牛
刘飞强丶Conan 2015-12-29
  • 打赏
  • 举报
回复
引用 2 楼 congya001 的回复:
楼主你好 请问你是在什么环境下面用ETL来导入数据?JDBC?java程序还是其他平台,在程序里面将数据导入到数据库当然没有直接用DBMS快,
在windowns环境下,ETL工具使用postgresql的jdbc驱动链接GP,自己也写过java代码导入过,如果用GP的导入数据工具则可以达到5万条每秒,我觉得不应该是集群的性能参数没有配置好
文修 2015-12-29
  • 打赏
  • 举报
回复
楼主你好 请问你是在什么环境下面用ETL来导入数据?JDBC?java程序还是其他平台,在程序里面将数据导入到数据库当然没有直接用DBMS快,
刘飞强丶Conan 2015-12-29
  • 打赏
  • 举报
回复
我用的是postgresql提供的jdbc包,GP官网提供了jdbc包,但是下载下来好像并不是的,还是有什么其他用法

956

社区成员

发帖
与我相关
我的任务
社区描述
PostgreSQL相关内容讨论
sql数据库数据库架构 技术论坛(原bbs)
社区管理员
  • PostgreSQL社区
  • yang_z_1
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧