如何判断数据库两个表时间粒度的大小

liujiahaol12345 2015-09-11 08:50:37

比如一张表数据粒度全是15分钟，像2015/03/15 12：15 2015/03/15 12：30。。。。，另一张表全是半小时级，像2015/03/15 12：30 2015/03/15 13：00：00，怎么判断两个表哪个时间粒度大，然后按时间粒度大的进行数据合并，比如这里第二个表时间粒度大，就得把第一张表按半小时合并，就得把2015/03/15 12：15 2015/03/15 12：30这两行的数据sum求和，时间粒度还有小时级和天级的

...全文

372 11 打赏收藏转发到动态举报

写回复

11 条回复

切换为时间正序

请发表友善的回复…

发表回复

liujiahaol12345 2015-09-11

打赏
举报

回复

刚改了需求，这需求有点坑爹，结贴

老李家的小二 2015-09-11

打赏
举报

回复

对15分钟的表，按时间排序，然后每两条记录进行合并

老李家的小二 2015-09-11

打赏
举报

回复

反正是两张已经固定的表，自己看一下哪张是15分钟的，哪张是30分钟的不就行了。

娃都会打酱油了 2015-09-11

打赏
举报

回复

你这种时间还会断续的，那你让代码情何以堪呢，只能排序后遍历所有两个时间相差值最小的数字，然后按你这种会断续的逻辑，那合并又只能遍历合并，你这种还是读取数据出来到程序里去做循环吧而且你还有12:00 12:15 12:30 另外一个是 11:45 12:15这种合并究竟如何合法的问题，也就是究竟是12:00+12:15还是 12:15+12:30的问题

ajianchina 2015-09-11

打赏
举报

回复

这么有规律，你两个表各取相邻的两个时间的差进行对比不就好了吗？不知道你有什么为难的。

liujiahaol12345 2015-09-11

打赏
举报

回复

15分钟和都是1:00 1:15 1:30这样的，不会有1：01 1.16这样的数据

寂空冷 2015-09-11

打赏
举报

回复

楼主的数据是连续的吗？比如说十五分钟的情况就是每隔十五分钟一条数据？

liujiahaol12345 2015-09-11

打赏
举报

回复

我也想取两条数据相减得到粒度，但有这样的情况，比如2015/03/15 12：15 2015/03/16 12：30 2015/03/16 12：45 中间有缺失的数据就得不到了，两个表是不是倍数没有关系，我只需要得到哪个表时间粒度大，就按大的时间粒度每列求和，最后两个表数据合并起来，现在我不知道两点，1是怎么判断哪个时间粒度大，2是像15分钟按30分钟粒度怎么合并，小时合并到天这个会，sql有这样的方法么

xuzuning 2015-09-11

打赏
举报

回复

按待判别的字段聚类，结果集行数少的可判为粒度大左链接粒度小的表，聚类求和即可（聚类键需缩短）

於黾 2015-09-11

打赏
举报

回复

该用内存操作的,就得按内存操作不要企图一条sql语句就把这种毫无关联的数据都给合并出来你举的例子刚好是整数倍,而且时间相同如果一个表里是12:01,12:31,另一个表里是12:00,12:10.你想怎么合并? 这就得自己循环做if语句判断

娃都会打酱油了 2015-09-11

打赏
举报

回复

没张表按时间排列之后取top2条记录，然后比较一下时间差不就得到时间粒度了你这里举的例子是正好是倍数的关系，有没有不是倍数的关系然后你是要查询得到结果还是要修改数据？

1、ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以掌握一个ETL工具的使用，必不可少。Kettle作为ETL工具是非常强大和方便的。Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。2、Clickhouse 是俄罗斯的“百度”Yandex公司在2016年开源的，一款针对大数据实时分析的高性能分布式数据库，与之对应的有hadoop生态hive，Vertica和百度出品的palo。这是战斗民族继nginx后，又开源的一款“核武器”。Hadoop 生态体系解决了大数据界的大部分问题，当然其也存在缺点。Hadoop 体系的最大短板在于数据处理时效性。基于 Hadoop 生态的数据处理场景大部分对时效要求不高，按照传统的做法一般是 T + 1 的数据时效。即 Trade + 1，数据产出在交易日 + 1 天。ClickHouse 的产生就是为了解决大数据量处理的时效性。独立于Hadoop生态圈。3、Superset 是一款由 Airbnb 开源的“现代化的企业级 BI（商业智能） Web 应用程序”，其通过创建和分享 dashboard，为数据分析提供了轻量级的数据查询和可视化方案。 Superset 的前端主要用到了 React 和 NVD3/D3，而后端则基于 Python 的 Flask 框架和 Pandas、SQLAlchemy 等依赖库，主要提供了这几方面的功能：01、集成数据查询功能，支持多种数据库，包括 MySQL、PostgresSQL、Oracle、SQL Server、SQLite、SparkSQL 等，并深度支持 Druid。02、通过 NVD3/D3 预定义了多种可视化图表，满足大部分的数据展示功能。如果还有其他需求，也可以自开发更多的图表类型，或者嵌入其他的 JavaScript 图表库（如 HighCharts、ECharts）。03、提供细粒度安全模型，可以在功能层面和数据层面进行访问控制。支持多种鉴权方式（如数据库、OpenID、LDAP、OAuth、REMOTE_USER 等）。基于Kettle+Clickhouse+Superset构建亿级大数据实时分析平台课程将联合这三大开源工具，实现一个强大的实时分析平台。该系统以热门的互联网电商实际业务应用场景为案例讲解，对电商数据的常见实战指标处理使用kettle等工具进行了详尽讲解，具体指标包括：流量分析、新增用户分析、活跃用户分析订单分析、团购分析。能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。项目代码也是具有很高的商业价值的，大家可以根据自己的业务进行修改,便可以使用。本课程包含的技术：开发工具为：IDEAKettleClickhouseSupersetBinlogCanalKafkaHbaseHadoopZookeeperFlinkSpringBootSpringCouldPythonAnconaMySQL等课程亮点：1.与企业对接、真实工业界产品2.强大的ETL工具Kettle全流程讲解实现3.ClickHouse高性能列式存储数据库4.Superset现代化的企业级BI可视化5.数据库实时同步解决方案6.集成Flink实时数据转换解决方案7.主流微服务SpringBoot后端系统8.互联网大数据企业热门技术栈9.支持海量数据的实时分析10.支持全端实时数据分析11.全程代码实操，提供全部代码和资料12.提供答疑和提供企业技术方案咨询

封锁的粒度封锁对象的大小称为封锁粒度。封锁对象可以是逻辑单元，也可以是物理单元，其中，逻辑单元包括：属性值、属性值的集合、元组、关系、索引项、整个索引、整个数据库等，物理单元包括：页（数据页或索引页）、物理记录等。封锁粒度与系统的并发度和并发控制的开销密切相关。因此，选择封锁粒度要遵循一定的原则：封锁的粒度越大，数据库所能够封锁的数据单元就越少，并发度就越小，系统开销也越小；封锁的粒度

1、封锁粒度是什么？封锁对象的大小称为封锁的粒度封锁对象：逻辑单元、物理单元 2、选择封锁粒度的原则？封锁粒度和系统的并发度、系统的开销密切相关封锁的粒度越大 数据库能够封锁的数据单元就越少，并发度就越小，系统开销也就越小封锁的粒度越小数据库能够封锁的数据单元就越多，并发度就越高，系统开销也就越大因此封锁粒度是一把双刃剑，所以在一个系统当中如果能够提供多种封锁...

我们所说的加锁是谁对谁加锁？是事务T对某个封锁对象加锁。封锁对象的大小被称为封锁的粒度，这个对象可以是数据库、关系，也可以是元组。为什么要引入多粒度锁协议？封锁粒度大，系统被封锁的对象越少，并发度越小，系统开销越小。封锁粒度越小，系统被封锁的对象越多，并发度高，系统开销大。必须要在系统开销和并发度进行权衡，以求得最佳效果。所以，要引入支持多种并发控制粒度的并发协议，多粒度锁协议。为什...

粒度的定义确定数据仓库中数据的恰当粒度是数据仓库开发者需要面对的一个最重要的设计问题。数据粒度主要针对指标数据的计算范围，如人口这个数据项在统计部门是以街区范围还是一个社区为范围统计的。人口数据细化程度越高，粒度级就越小；相反，细化程度越低，粒度级就越大。粒度是数据仓库主要设计问题，因为它极大地影响存放在数据仓库中的数据量的大小，同时影响数据仓库所能回答的查询类型。在设计数据仓库的时候权衡...

110,536

社区成员

642,578

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧

+ 用AI写文章