社区
C#
帖子详情
当数据很多,程序处理满较慢时,大家是如何解决的?
istring
2005-11-16 04:20:22
如题
...全文
119
6
打赏
收藏
当数据很多,程序处理满较慢时,大家是如何解决的?
如题
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
s5689412
2005-11-16
打赏
举报
回复
多线程异步处理,可以预处理或者滞后处理的数据分离出来,可以使用DataReader的尽量使用。
在界面上使用进度条,尽量让用户感到时间可以掌控,这样他们的感觉会好些。
hainang1234
2005-11-16
打赏
举报
回复
优化是一点。不过再优化也有极限。
如果太久可以提供等待界面,使界面友好化。
像163,google的邮箱等。
istring
2005-11-16
打赏
举报
回复
收获颇多!1
jxufewbt
2005-11-16
打赏
举报
回复
优化sql语句,少用游标,用存储过程,如果是数据的显示,采用分页,每次只把当前页的数据查询出来。
hexinyu2005
2005-11-16
打赏
举报
回复
分析
JzeroBiao
2005-11-16
打赏
举报
回复
优化,优化不行就换机子去吧~
基于Flink+Doris构建亿级全端电商实
时
数据
分析平台
上层应用业务对实
时
数据
的需求,主要包含两部分内容:1、 整体
数据
的实
时
分析。2、 AB实验效果的实
时
监控。这几部分
数据
需求,都需要进行的下钻分析支持,我们希望能够建立统一的实
时
OLAP
数据
仓库,并提供一套安全、可靠的、灵活的实
时
数据
服务。目前每日新增的曝光日志达到几亿条记录,再细拆到AB实验更细维度
时
,
数据
量则多达上百亿记录,多维
数据
组合下的聚合查询要求秒级响应
时
间,这样的
数据
量也给团队带来了不小的挑战。OLAP层的技术选型,需要
满
足以下几点:1:
数据
延迟在分钟级,查询响应
时
间在秒级2:标准SQL交互引擎,降低使用成本3:支持join操作,方便维度增加属性信息4:流量
数据
可以近似去重,但订单行要精准去重5:高吞吐,每分钟
数据
量在千W级记录,每天数百亿条新增记录6:前端业务较多,查询并发度不能太低通过对比开源的几款实
时
OLAP引擎,可以发现Doris和ClickHouse能够
满
足上面的需求,但是ClickHouse的并发度太低是个潜在的风险,而且ClickHouse的
数据
导入没有事务支持,无法实现exactly once语义,对标准SQL的支持也是有限的。所以针对以上需求Doris完全能
解决
我们的问题,DorisDB是一个性能非常高的分布式、面向交互式查询的分布式
数据
库,非常的强大,随着互联网发展,
数据
量会越来越大,实
时
查询需求也会要求越来越高,DorisDB人才需求也会越来越大,越早掌握DorisDB,以后就会有更大的机遇。本课程基于真实热门的互联网电商业务场景为案例讲解,具体分析指标包含:AB版本分析,下砖分析,营销分析,订单分析,终端分析等,能承载海量
数据
的实
时
分析,
数据
分析涵盖全端(PC、移动、小程序)应用。整个课程,会带大家实践一个完整系统,大家可以根据自己的公司业务修改,既可以用到项目中去,价值是非常高的。本课程包含的技术:开发工具为:IDEA、WebStormFlink1.9.0DorisDBHadoop2.7.5Hbase2.2.6Kafka2.1.0Hive2.2.0HDFS、MapReduceFlume、ZookeeperBinlog、Canal、MySQLSpringBoot2.0.8.RELEASESpringCloud Finchley.SR2Vue.js、Nodejs、Highcharts、ElementUILinux Shell编程等课程亮点:1.与企业接轨、真实工业界产品2.DorisDB高性能分布式
数据
库3.大
数据
热门技术Flink4.支持ABtest版本实
时
监控分析5.支持下砖分析6.
数据
分析涵盖全端(PC、移动、小程序)应用7.主流微服务后端系统8.天级别与小
时
级别多
时
间方位分析9.
数据
库实
时
同步
解决
方案10.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS+ElementUI11.集成SpringCloud实现统一整合方案12.互联网大
数据
企业热门技术栈13.支持海量
数据
的实
时
分析14.支持全端实
时
数据
分析15.全程代码实操,提供全部代码和资料16.提供答疑和提供企业技术方案咨询企业一线架构师讲授,代码在老师的指导下企业可以复用,提供企业
解决
方案。 版权归作者所有,盗版将进行法律维权。
训练技巧之
数据
集太多,加载太慢怎么办?
1. 背景 训练集全是16x16,32x32之类的小图,达到上千万张,训练
时
发现
数据
加载很慢很慢很慢!!!看了下CPU 内存 GPU使用情况,发现CPU使用率都跑到90%去了,GPU使用率却较低 2.
解决
方法 2.1 预处理提速 尽量减少每次读取
数据
时
的预处理操作,可以考虑把一些固定的操作,例如 resize ,事先处理好保存下来,训练的
时
候直接拿来用 Linux上将预处理搬到GPU上加速: NVIDIA/DALI :https://github.com/NVIDIA/DALI 2.2 IO提速 2.
数据
倾斜及一些
解决
方法
一、
数据
倾斜原理 做大
数据
开发,很有可能会遇到
数据
倾斜的问题,要想
解决
数据
倾斜,首先要理解什么是
数据
倾斜,以及产生
数据
倾斜的原因。
数据
倾斜主要是指:主要就是
数据
在每个节点上的分配不均,导致个别节点处理速度很慢,使得程序迟迟不能运行结束。主要表现为:在mapreduce程序执行
时
,reduce节点大部分执行完毕,但是有一个或者几个reduce节点运行很慢,导致整个程序的处理
时
间很长,这是因为某一个key中的的条数比其他key要多
很多
,这条key所在的reduce节点所处理的
数据
量比其他节点就大
很多
,从而导致
解决
微信小程序
数据
渲染缓慢或卡顿的方法 (uniapp vue3)
解决
微信小程序
数据
渲染缓慢或卡顿的方法 (uniapp vue3) 在微信小程序中渲染
数据
时
通常会使用setData方法,但是setData对
数据
是有影响的,单次设置的
数据
不能超过1024kB,否则就会出现卡顿甚至有
时
会导致小程序闪退等现象。而我们平
时
在实现业务
时
,一般会采取
数据
分页而防止大量
数据
渲染导致小程序白屏/卡顿,例如在一些商城平台需要滚动
时
切换菜单,也需要回显购物车
数据
的情况下,无法进行分页处理,我的方法是把从接口获取到的
数据
进行格式化处理后,进行递归调用(递归一次进行一次setDate从而不进行
python
数据
量太大如何
解决
_Python 如何处理大文件
Python作为一门程序设计语言,在易读、易维护方面有独特优势,越来越多的人使用 Python 进行
数据
分析和处理,而 Pandas 正是为了
解决
数据
分析任务而创建的,其包含大量能便捷处理
数据
的函数和方法,使得
数据
处理变得容易,它也是使 Python 成为强大而高效的
数据
分析环境的重要因素之一。但是 Pandas 是个内存的类库,用于处理小
数据
(能放入内存)没问题,对于大
数据
(内存放不下)就没有那...
C#
110,568
社区成员
642,567
社区内容
发帖
与我相关
我的任务
C#
.NET技术 C#
复制链接
扫一扫
分享
社区描述
.NET技术 C#
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
让您成为最强悍的C#开发者
试试用AI创作助手写篇文章吧
+ 用AI写文章