求教千万数据的记录与统计问题

wcbm 2012-02-08 04:32:14

我做了一个统计记录，有点类似于访问统计的那种，因为数据量有点大，每个月数据有上千万，不知道数据库弄，求大家指点

如：
需要按用户的访问时间（按天）、访问城市、操作系统、浏览器来分别进行分类统计

...全文

208 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

wcbm 2012-02-08

打赏
举报

回复

我是需要对每个需要统计的字段都做索引还是？

在如今的大数据时代，处理和导出千万级数据是一项常见任务，但对许多人来说也充满挑战。目前即使专业的数据库管理工具一般导出就是20万行，高一些的50万行，但到千万行级别非常不稳定，失败率极高。QuickAPI 提供了一种简单高效的解决方案，它内置了数据库管理功能和自研数据导出模块，支持通过SQL语句直接导出千万行级别数据。本文将详细介绍如何利用 QuickAPI 完成千万级数据的导出，全程无需编写代码，仅通过界面操作即可实现。QuickAPI 让千万级数据的导出变得简单高效。

转载：https://www.cnblogs.com/liliuguang/p/11112694.html 菜菜，咱们网站现在有多少PV和UV了？ Y总，咱们没有统计pv和uv的系统，预估大约有一千万uv吧写一个统计uv和pv的系统吧网上有现成的，直接接入一个不行吗？别人的不太放心，毕竟自己写的，自己拥有主动权。给你两天时间，系统性能不要太差呀好吧~~~ ...

定义PV是page view的缩写，即页面浏览量，通常是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标。网页浏览数是评价网站流量最常用的指标之一，简称为PVUV是unique visitor的简写，是指通过互联网访问、浏览这个网页的自然人。通过以上的概念，可以清晰的看出pv是比较好设计的，网站的每一次被访问，pv都会增加，但是uv就不一定会增加了，uv本质上记录的是按照某个标准划分的自然人，...

上千万或亿条数据量，如何统计出重复记录最多的前N条：对于这个问题，我个人觉得可以通过统计的方法来完成：去重+统计，具体的做法是：（1）初始化一个空的集合A（具体的就不去说了，建议用hashtable）。（2）顺序读入这些数据，如果当前读入的数据不在该集合A中，则将其插入到A中，并将其出现次数标记为0。如果在当前的集合中出现了，则将其当前的出现次数++。（3）再从统计好的集合中找出重复记录最多的前...

先说一下工作场景，要求做一个服务，满足：处理千万级别数据，单个请求响应时间在20ms以下。由于是存储的数据格式为key:list[]，所以很适合使用redis来存放数据，为了测试一下redis存储的效率问题，才有了这篇文章。第一步：造数据。思路如下：（1）先产生三千万个key，为了解决随机函数不能很好平均分布的问题，采用两步走的方法来造3000W个key。首先，从key从1到3000

数据库开发

8,028

社区成员

1,363

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章