每天三四十万的数据在一个表成幂的方式增加解决方案

yongyupost2000 2016-09-13 07:24:53

每天三四十万的数据在一个表成幂的方式增加

每次写入发很长的时间，有谁有好的解决方案?

...全文

502 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

xiaoxiangqing 2016-09-14

打赏
举报

回复

数据太多，可以考虑分表或分区了。

shoppo0505 2016-09-13

打赏
举报

回复

一次性写入的话，无解。只能提升硬件配置。如果可以分批写入，那么可以减少服务器压力

一、什么是接口幂等性? 接口幂等性就是用户对于同一操作发起的一次请求或者多次请求的结果是一致的，不会因为多次点击而产生了副作用。举个最简单的例子，那就是支付，用户购买商品后支付，支付扣款成功，但是返回结果的时候网络异常，此时钱已经扣了，用户再次点击按钮，此时会进行第二次扣款，返回结果成功，用户查询余额返发现多扣钱了，流水记录也变成了两条，这就没有保证接口的幂等性。二、什么情况下需要保证接口的幂等性? 在增删改查4个操作中，尤为注意就是增加或者修改， A:查询操作，如：...

目前，分布式数据一致性问题还没有普世通用的解决方案，它需要从业务需求的角度出发，确定对各种一致性模型的接受程度，再通过具体场景来选择解决方案。从应用角度看，分布式事务的现实场景常常无法规避，特别是对涉及金融类的业务，数据一致性是底线，业务需要对数据有百分之百的掌控力。而一般的电商交易场景，使用基于消息队列的柔性事务框架是不错的选择。

1.需求背景是什么？2.存储何种数据？3.数据特点是什么？4.存在哪些技术挑战？5.解决方案有哪些？6.md5散列桶的方法需要注意的问题？7.测试结果是什么？解决方案：1 需求背景该应用场景为DMP缓存存储需求，DMP需要管理非常多的第三方id数据，其中包括各媒体cookie与自身cookie(以下统称supperid)的mapping关系，还包括了supperid的人口标签、移动端id(主要是i...

阅读文本大概需要3分钟。0x01、幂等性概念在编程中.一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数，或幂等方法，是指可以使用相同参数重复执行...

一篇文章掌握海量数据解决方案ShardingSphere分库分表详解：ShardingSphere概述、数据分片（垂直分片、水平分片）、分片算法、分片策略、分布式主键、数据分片使用规范、读写分离、雪花算法等等。

22,210

社区成员

121,726

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章