关于一个数据操作方案的咨询,谢谢
有这样的一个需求,请各位达达看看,应该如何设计方案比较合理?
目标数据都是用户记录,对用户的行为进行分析。数据表:
tab_a -- 记录用户的活动类型1
tab_b -- 记录用户的活动类型2
tab_c -- 记录用户的活动类型3
现在根据tab_a中用户的一行数据记录,来从tab_b和tab_c中查找有否关联记录。如果有关联,则根据关联得到的信息更新tab_a对应记录。关联标识列都是tempid列,表都有时间列time。
规则:
1、针对一条记录,根据tab_a(tempid)从tab_b/c中查找对应时间前后3分钟的记录,如果存在则获取其location列,更新tab_a的location列。也就是说针对tab_a(tempid)的每一条记录,都有一个时间窗口3分钟来供查找是否有同样tempid的数据记录,如果有则获取找到的记录信息更新teb_a表。
数据量比较大,那么问题来了。我应该如何设计方案来做这个事情呢?在数据库里面通过procedure借助游标实现?还是另外编写一个app进程从数据库里面提取数据出来,分析后再把数据回填到数据库呢?
还请达达们指点,多谢了,这其实就是一个大数据的操作实例。对效率和方案合理性要有个基础思考和设计。
目标数据都是用户记录,对用户的行为进行分析。数据表:
tab_a -- 记录用户的活动类型1
tab_b -- 记录用户的活动类型2
tab_c -- 记录用户的活动类型3
现在根据tab_a中用户的一行数据记录,来从tab_b和tab_c中查找有否关联记录。如果有关联,则根据关联得到的信息更新tab_a对应记录。关联标识列都是tempid列,表都有时间列time。
规则:
1、针对一条记录,根据tab_a(tempid)从tab_b/c中查找对应时间前后3分钟的记录,如果存在则获取其location列,更新tab_a的location列。也就是说针对tab_a(tempid)的每一条记录,都有一个时间窗口3分钟来供查找是否有同样tempid的数据记录,如果有则获取找到的记录信息更新teb_a表。
数据量比较大,那么问题来了。我应该如何设计方案来做这个事情呢?在数据库里面通过procedure借助游标实现?还是另外编写一个app进程从数据库里面提取数据出来,分析后再把数据回填到数据库呢?
还请达达们指点,多谢了,这其实就是一个大数据的操作实例。对效率和方案合理性要有个基础思考和设计。
...全文
相关推荐
律师法律咨询,用ASP编写的,实现了大部分功能
至于压缩包子文件的文件名称“图片投票2.3免组件支持IP”,这可能是一个独立的功能模块,用于实现用户对特定内容的投票,比如法律问题的解决方案或案例的受欢迎程度。"
管理咨询解决方案网页模板
通过合理的定制和内容填充,可以将模板转化为一个强大的营销工具,展示咨询服务的专业性和独特价值。
软件公司的咨询方案.ppt
总结:这份咨询方案详尽地介绍了Plaskolite软件选择项目的各个层面,从目标设定到实施步骤,再到团队配置和成本考虑,为Plaskolite提供了一个全方位的指导框架,以帮助公司在信息化建设的道路上迈出坚实的一步
咨询,咨询的奥秘,咨询的流程
总的来说,咨询是一个复杂的过程,涉及到专业知识、人际交往和项目管理等多个方面。咨询顾问需具备敏锐的洞察力,强大的沟通能力,以及建立和维护信任关系的智慧。
2某咨询—某软件公司的咨询方案.pptx
【咨询方案概述】本咨询方案由著名咨询公司Arthur Andersen为Plaskolite公司制定,旨在为其选择一套集成的客户服务、分销、制造和财务管理软件包,以满足其业务信息需求。


