关于上网时长的高性能计算问题-CSDN论坛

关于上网时长的高性能计算问题

Java > Java SE

收藏回复

[问题点数：200分，结帖人robber]

⋅那位大侠有爱立信网管资料，特别是OSS-RC北向接口的。 ⋅大家说说都玩过那些手游（超过一个月的） ⋅关于上网时长的高性能计算问题 更多帖子 关注私信空间博客 虎叔 等级 本版专家分：7802 勋章 红花 2001年2月 Java大版内专家分月排行榜第一 2001年1月 Java大版内专家分月排行榜第一 黄花 2000年12月 Java大版内专家分月排行榜第二 结帖率 100%: 背景：
原始数据是上线一条数据纪录，下线一条数据数据纪录。并且数据量巨大，每秒产生20K～50K条数据。
数据纪录格式为文本，大概是这样：

IP地址，端口号，时间，上线/下线

现在需要当收到下线数据纪录时，找到之前的上线数据纪录。同时计算出该用户上网的时长。上网时间＝下线时间－上线时间。
需要注意的问题：
1、上网时间可能会超过一周，因此前面上线纪录的数据需要保存较长时间，假设最长一周。
2、如何高效迅速的查到的对应的上线数据纪录，而不至于整个处理程序被堵塞。
3、按照IP地址、端口号来标识唯一一次用户上线行为，用户记录数最大可能会达到20M条纪录。假设可以全部放入内存中。
4、收到用户下线纪录后，完成上线时长的计算后，应该将内存中的相应上线纪录数据删除。删除也会有性能开销。

请各位大牛给一些思路和方案，感觉应该有对应这个问题的数据结构和算法。谢谢！！！最多只能一次给100分，如果问题解决，可以另外开帖子散分。

2013-04-26 15:00:36

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅自学spring时的一个奇怪的异常 更多帖子 关注私信空间博客 过去Loser 等级 本版专家分：2: 看看，说的不错

2013-04-26 15:04:24

点赞只看TA 引用举报 #1得分 0

⋅关于synchronized同步的使用 ⋅IOSAPP企业版的发布问题 ⋅csdn学院的收藏课程 更多帖子 关注私信空间博客 rumlee 等级 本版专家分：27294: 这么大的数据量，你要放在内存里面的话，检索起来会很麻烦的，倒不如采用数据库来做。

如果硬要自己实现的话，算法肯定很复杂，否则你的性能根本支持不了，可以考虑btree结构存储索引试试。不过因为你数据量太大了，放在内存中很难说，不过如果可以分布式倒是没有问题。

2013-04-26 15:55:32

点赞只看TA 引用举报 #2得分 20

⋅pdfb PDFPage convertToImage sun.font.TrueTypeFont readBlock line 404 ⋅新手关于云计算技术的几个疑问 OpenStack & Hadoop ⋅upload大文件客户端 更多帖子 关注私信空间博客 yktd26 等级 本版专家分：12025: 内存里只需要有每个用户最后一次上线的数据就可以了吧，每次有下线事件，则输出并消除这个上线数据
这样在内存中储存时只需要一个map，key是用户id可以为 ip:port，数据为上线时间

对于那个文件，可以用个watcher只观察modify这个事件，每此收到此事件获得新的文件大小，对比上次事件的大小只处理这两个事件变化的部分

2013-04-26 18:13:55

点赞只看TA 引用举报 #3得分 20

⋅eclipse的debug问题 更多帖子 关注私信空间博客 fei1710 等级 本版专家分：2362: 放到数据库中实现查询

2013-04-26 20:44:42

点赞只看TA 引用举报 #4得分 5

⋅bit-wise reverse ⋅分享+散分 ⋅问卷+散分 更多帖子 关注私信空间博客 lcf 等级 本版专家分：4506: 引用 3 楼 yktd26 的回复:
内存里只需要有每个用户最后一次上线的数据就可以了吧，每次有下线事件，则输出并消除这个上线数据
这样在内存中储存时只需要一个map，key是用户id可以为 ip:port，数据为上线时间

对于那个文件，可以用个watcher只观察modify这个事件，每此收到此事件获得新的文件大小，对比上次事件的大小只处理这两个事件变化的部分

大致同意。
此外删除上线数据并不需要实时，开一个线程定时遍历并删除那些过期的map entry，好处是某些用户可能重复登陆，重复使用可减少GC。
关于文件其实不需要watcher，既然数据量很大，那么就可以假设文件每时都在变化，一个定时检查器就足够了。整个程序的驱动器就像这里所说的LogView http://sunnylocus.iteye.com/blog/694666

2013-04-26 23:44:25

点赞只看TA 引用举报 #5得分 50

⋅直播怎么实现窗口穿透 ⋅怎么设置 Nginx 负载过大时提示正忙 ⋅找抽贴：用MFC画10万，100万个矩形 更多帖子 关注私信空间博客 公孙二狗 等级 本版专家分：46586 勋章 红花 2015年7月 Java大版内专家分月排行榜第一 2015年6月 Java大版内专家分月排行榜第一 2011年2月 Java大版内专家分月排行榜第一 黄花 2015年5月 Java大版内专家分月排行榜第二 2013年5月 Java大版内专家分月排行榜第二 蓝花 2011年5月 Java大版内专家分月排行榜第三 2011年1月 Java大版内专家分月排行榜第三: 缓存加数据库，以IP＋端口号为id
1. 数据库2个表，一个存储当前在线状态，一个存储历史上线与离线状态。
2. 缓存例如1000个用户状态，缓存满了就写入数据库，这样用于减轻数据库访问压力。缓存有许多优秀的框架，直接用。

2013-04-27 06:24:32

点赞只看TA 引用举报 #6得分 45

⋅对汇编集成工具win-masm v2.2的一点补充说明！

⋅都说CSDN水源人才济济，所以问一下与计算机技术无关的问题。。。

⋅通过IP校验工具简易理解对象封装及开闭原则的相关思路

更多帖子

关注私信空间博客

paullbm

等级

本版专家分：4239

勋章

签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！

GitHub 绑定GitHub第三方账户获取

红花 2020年4月其他开发语言大版内专家分月排行榜第一
2010年8月其他开发语言大版内专家分月排行榜第一

黄花 2007年5月其他开发语言大版内专家分月排行榜第二: 没必要整这么复杂，
直接在服务端做本地时间计算即可！

2013-04-27 15:05:18

点赞只看TA 引用举报 #7得分 10

⋅HBASE AggregationClient sum和rowcount的问题 ⋅请帮忙推荐一些开源的JAVA发布系统 ⋅eclipse导入的项目中文乱码的问题。 更多帖子 关注私信空间博客 a12939026 等级 本版专家分：1398: 可以全部放内存？就是说你内存够大？
那就都放HASHMAP好了一开始初始化的时候开大点，以避免扩容带来的性能损耗。

2013-04-27 18:52:46

点赞只看TA 引用举报 #8得分 40

⋅HTTP请求怎么返回MMSE/SMIL类型协议数据 ⋅php中我向指定页面post一个form表单，想同步接受页面返回结果，要怎么做？ ⋅SWT TableViewer表中的内容怎么实现可以被复制的功能？ 更多帖子 关注私信空间博客 独行码夫 等级 本版专家分：188: 这好比一个大session的功能，超时时间为1周，IP+端口号为唯一session好，上线的时候就相当于创建，下线注销，不过你的用户记录数最大可能会达到20M条，这倒是挺大的，具体多大我也没有什么概念，估计得50W条！
当用户下线的时候，组织session(IP+端口号) 新开线程去查询和得到上线时间并把该用户的上线记录删除？这所有的逻辑都在一起了，处理起来估计效率有点慢吖！或者直接把数据丢给其他程序处理，主程序只做数据转发，开多个客户端处理，主程序和客户端程序用socket通讯？

2013-04-28 15:52:51

点赞只看TA 引用举报 #9得分 10

收起

收藏回复

虎叔

等级：

: 红花 2001年2月 Java大版内专家分月排行榜第一
2001年1月 Java大版内专家分月排行榜第一

: 黄花 2000年12月 Java大版内专家分月排行榜第二

关注私信 TA的帖子

软件工程之可行性研究报告: 次可行性研究报告对《机房收费系统》软件做了全面细致的市场的调查，明所要开发的软件具有的功能，性能，限制，环境等，考虑机房收费系统的法律可行性，技术可行性和经济可行性。项目分析员进行下一步的前提，是软件...

前端面试题: 前端面试题汇总 ... 你做的页面在哪些流览器测试过？这些浏览器的内核分别是什么? 21 ... 21 Quirks模式是什么？它和Standards模式有什么区别 21 div+css的布局较table布局有什么优点？...img的alt与title有何异同？...

C#基础教程-c#实例教程，适合初学者: C#基础教程-c#实例教程，适合初学者。第一章 C#语言基础本章介绍C#语言的基础知识，希望具有C语言的读者能够基本掌握C#语言，并以此为基础，能够进一步学习用C#语言编写window应用程序和Web应用程序。...

计算机三级网络技术考过指南: 题库下载链接（50积分是CSDN上调的，不是我上传时设置的。更新版本请大家自行搜索）：计算机三级网络技术无纸化考试模拟软件（2018.3）用Markdown重写后的带完整标签的版本：计算机三级网络技术考过指南(带完整...

计算机揭秘之:网络分类和性能分析: 程序员天天都在写代码，关注的都是更高层次的封装，今天我们换个思路，让程序那些事来带你看一看隐藏在表象之下的网络和他们的性能分析。本文主要涉及5个模块，分别是网络七层协议，延迟与带宽，IP，TCP，UDP。

来自腾讯的高性能服务器架构思路: 在服务器端程序开发领域，性能问题一直是备受关注的重点。业界有大量的框架、组件、类库都是以性能为卖点而广为人知。然而，服务器端程序在性能问题上应该有何种基本思路，这个却很少被这些项目的文档提及。本文正式...

自动驾驶与移动边缘计算: 传统网络运营商负责对传输流进行控制（比如转发和包过滤等），但在移动边缘计算中，云服务器也部署在每个基站上。因此，网络运营商也承担了为移动用户提供服务的重要责任。移动边缘计算平台通过为边缘网...

高性能服务器架构思路: 在服务器端程序开发领域，性能问题一直是备受关注的重点。业界有大量的框架、组件、类库都是以性能为卖点而广为人知。然而，服务器端程序在性能问题上应该有何种基本思路，这个却很少被这些项目的文档提及。本文正式...

关于Jmeter长时间压测的可视化监控报告: 最近有个测试项目，是针对云平台的数据库连接稳定性测试，一般做稳定性测试想到的工具是Loadrunner，因为“成熟稳定”，但是这么重量级的工具不适合搬到云平台上开展测试。于是就想到了Jmeter，Jmeter是优秀的开源...

计算机二级MS office高级应用考试笔记攻略(完整-知识点): 上机考试，考试时长１２０分钟，满分１００分。考试时间考试成绩备考建议选择题基础知识点部分计算机二级公共基础知识计算机的发展、类型及其应用领域计算机软硬件系统的组成及主要技术指标计算机中...

问卷调查系统的设计与实现: 程序下载链接： https://download.csdn.net/download/qq_30615201/11223278 河北农业大学本科毕业设计说明书题目：问卷调查系统的设计与实现学院： ...

如何用Python一门语言通吃高性能并发、GPU计算和深度学习: 【CTO讲堂】如何用Python一门语言通吃高性能并发、GPU计算和深度学习发表于2016-01-04 15:11| 4374次阅读| 来源CSDN| 4 条评论| 作者蒲婧 CTO俱乐部CTOCTO讲堂Python深度学习GPU 摘要：怎样实现...

Java程序性能基础定位分析: 在做性能测试中不断思考java应用，性能怎么观察，怎么通过方法定位到代码，是否有通用步骤，通过查找资料与参考前人的知识总结，才有如下文章，话说知道不等于会，会不等于能运用，只有不断有意识的去练习才能掌握。...

计算机及相关专业的同学如何规划大学四年？: 前言：本文是前段时间给大学学弟学妹们的分享，之前写在「大学生成长之路」这个公众号上，现发布在博客上，希望能给更多需要的人一些建议和启发。这几日在小区门口看到了儿童编程的广告，去年教育部将Python纳入...

ceph存储打造高性能高可靠块存储系统: 分布式存储有出色的性能，可以扛很多故障，能够轻松扩展，所以我们使用Ceph构建了高性能、高可靠的块存储系统，并使用它支撑公有云和托管云的云主机、云硬盘服务。由于使用分布式块存储系统，避免了复制镜像的过程...

高性能后台服务器架构设计: 如何设计高性能的大型网站系统？在移动互联网时代，客户端应用开发本身，并不是体验的决胜之处，真正对团队挑战的地方，还在于后端，无论是承压能力，还是安全性等方面，如果这些地方过不了关，整个应用的基础是不...

分布式计算的详细笔记: 随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，...

计算机三级网络技术考过指南【历年考点汇总】: 计算机三级网络技术考过指南来自大佬的笔记原文链接目录：三级网络技术考过指南前言（必读） 1.基础准备 1.1 题库 1.2 二进制转换 1.3 基础概念 1.4 备考建议 2.选择题（40 道 40 分） ...2....

计算机的主要分类: 本文介绍计算机的主要分类。 1. 超级计算机超级计算机（Supercomputers）通常是指由数百数千甚至更多的处理器...超级计算机拥有最强的并行计算能力，主要用于科学计算。在气象、军事、能源、航天、探矿等领域...

盘点那些计算机相关名词（一）: 盘点那些计算机相关名词！

C++ 面试题大全: 1.new、delete、malloc、free关系 delete会调用对象的析构函数,和new对应，free只会释放内存，new调用构造函数。malloc与free是C++/C语言的标准库函数，new/delete是C++的运算符。它们都可用于申请动态内存和释放...

系统性学习计算机（一）: （1）什么是计算机？计算机（computer）俗称电脑，是一种能够接收和存储信息，并按照存储在其内部的程序（这些程序是人们意志的体现）对输入的信息进行加工，处理，并且把处理结果输出到高度自动化的电子设备。...

Android应用开发性能优化完全分析: 不想写的原因是随便上网一搜一堆关于性能的建议，感觉大家你一总结、我一总结的都说到了很多优化注意事项，但是看过这些文章后大多数存在一个问题就是只给出啥啥啥不能用，啥啥啥该咋用等，却很少有较为系统的进行...

Linux高性能服务器设计: 1999年，Dan Kegel提出了著名的C10问题：一台服务器上同时处理10000个客户网络连接。10000个网络连接并不会发送请求到服务器，有些连接并不活跃，同一时刻，只有极少的部分连接发送请求。不同的服务类型，每个连接...

H5性能优化方案: H5性能优化意义对于一个H5的产品，功能无疑很重要，但是性能同样是用户体验中不可或缺的一环。原本H5的渲染性能就不及native的app，如果不把性能优化做起来，将极大地影响用户使用产品的积极性。用户感受当用户能够...

移动边缘计算环境下边缘服务器放置方法研究: 阅读材料来自：赵亚莉. 移动边缘计算环境下的边缘服务器放置方法研究[D].北京邮电大学,2018. 阅读材料可以去知网搜一下，如果没有办法下载给我留言，我发给你...这篇论文让我对于这个问题有了个大概的认知和理解...

大学计算机—计算思维导论中国大学mooc 哈尔滨工业大学测验题目和答案: 使用方法：利用浏览器的搜索功能 ctrl+F 进行搜索。 and后面为答案自动计算需要解决的基本问题是什么？数据和计算规则的表示、自动存储和计算规则的自动执行

未来计算机及外设畅想: 前言： 21世纪的互联网正在快速的发展，然而，我依然坚信在未来的新时代里，未来的计算机将会更加的人性化、智能化。未来计算机可能会具有以下特性： 1、一个完全透明的机身和外设组成的以及高密的电子通道...

Visio_2016: visio_2016下载安装，亲测可用，不需要破解，而且无秘钥。简单方便实用

科研伦理与学术规范期末考试2 （40题）.pdf: 科研伦理与学术规范期末考试2 （40题）

相关热词 c#调用java程序疯狂c# c#多线程处理文本 c# 处理二进制数据类型 c# 如何写文件 c#如何判断程序已打开 c# 标题大小 c# socket 网卡 c#操作sql c#遍历tree