12 实现了一级目录的数据量统计

郭孟涛 2023-01-13 00:06:19

课时名称	课时知识点
12 实现了一级目录的数据量统计	12 实现了一级目录的数据量统计

...全文

139 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

微信小程序移动端商城完整源代码

在移动应用的业务场景中，我们需要保存这样的信息：一个 key 关联了一个数据集合。通常情况下，我们面临的用户数量以及访问量都是巨大的，比如百万、千万级别的用户数量，或者千万级别、甚至亿级别的访问信息。所以，我们必须要选择能够非常高效地统计大量数据（例如亿级）的集合类型。如何选择合适的数据集合，我们首先要了解常用的统计模式，并运用合理的数据类型来解决实际问题。本文将由二值状态统计类型作为实战篇系列的开篇，文中将用到以外的拓展数据类型Bitmap来实现。文章涉及到的指令可以通过运行调试。

在移动应用的业务场景中，我们需要保存这样的信息：一个 key 关联了一个数据集合，同时还要对集合中的数据进行统计排序。常见的场景如下：给一个 userId ，判断用户登陆状态；两亿用户最近 7 天的签到情况，统计 7 天内连续签到的用户总数；统计每天的新增与第二天的留存用户数；统计网站的对访客（Unique Visitor，UV）量最新评论列表根据播放量音乐榜单通常情况下，我们面临的用户数量以及访问量都是巨大的，比如百万、千万级别的用户数量，或者千万级别、甚至亿级别的访问信息。所以，我们必须要选择能够非常高

背景关系型数据库在执行计数任务时，其执行效率会随着数据量级的增长而降低；当数据量达到亿级别时，计数任务的执行效率已经低到令人不忍直视。在闲鱼团队的关系系统中，我们采用了这样一种方式来实现亿级别数据的毫秒级计数。挑战闲鱼现有的业务场景中，用户收藏宝贝、关注他人的数据量，已经达到亿级别。传统的关系型数据库如mysql，在执行有条件的count命令时，效率较低，在数据量较大的场景下，无法有效支撑线上业务...

最近在做一个项目，其需求很普通，很常见，就是在常规业务中统计相应的数据，产生统计分析值。这个需求之所以复杂，主要是其中统计所需要的数据都是来源于较大表（单表一年数量级在4亿上）。直接使用SQL查询并完成基础数据统计，需要关联两张这样的达表查询，这样的数据量使用这种方法绝对是会被DBA提刀砍的（我们的DBA团队也是行业里算得上数的，砍人这个方面个个也都是熟手），这个已经不是通过SQL优...

郭孟涛的课程社区_NO_4

1

社区成员

190

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章