社区
其他
帖子详情
关于处理巨量数据的问题
HelloTager
2007-08-07 05:40:41
当数据库中的记录几万甚至更多的时候,系统操作数据库的的时间越来越长。有什么方法可以改善这一问题,有没有什么好的技术或数据查询方式?请高手们指教。
...全文
415
9
打赏
收藏
关于处理巨量数据的问题
当数据库中的记录几万甚至更多的时候,系统操作数据库的的时间越来越长。有什么方法可以改善这一问题,有没有什么好的技术或数据查询方式?请高手们指教。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
9 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
yepinjun
2007-09-13
打赏
举报
回复
终于找到组织了,原本在VC++区求助,现在转发到这里来,希望没人删啊!
小弟需要对大量数据进行统计分析,不但数据量很大,并且统计分析过程也有至少几十亿次的计算.算了下按照每套运算步骤耗时1秒的话至少需要51年.差点就晕死了.
数据基本呈二维表分布,或者可以转换成这个分布格式,但因为对数据的划分达到100的4次方并需要对每个划分的数据进行统计,如统计该划分的数据总量.
由于编程很菜,对数据库技术也不懂,所以希望各位大大帮帮忙.是否需要分布式编程?是否需要多线程编程?进行数据统计分析对数据库要求如何?是否已经有高人写出了这样的算法?希望各位大大能告诉小弟如上问题的答案.最好是C/C++/VC/VC.NET/VB语言,用别的我就可能看不懂了.
如果是可以使用现有的数据库技术,希望大大能讲详细点,因为我的数据是数据文件,并不是数据库结构的.
先谢谢了!
nextflying
2007-09-05
打赏
举报
回复
顶
sacrefies
2007-08-21
打赏
举报
回复
MSSQL 在处理千万级数据的时候就已经力不从心了哈。。。就要求这样优化那样优化了哈。。。。
lhj_cn
2007-08-17
打赏
举报
回复
ORACLE
cime63
2007-08-15
打赏
举报
回复
千万数据用什么数据库最合适?mssql可以胜任的吧?
上亿的数据用什么数据库最合适?MSSQL这时还能不能胜任?
javaoaout
2007-08-14
打赏
举报
回复
至少千万以上才能说稍微数据有点多。
keke560
2007-08-10
打赏
举报
回复
海量数据都是以"千万"为单位的,上亿的数据才是真正的考验数据库性能
banditisp
2007-08-08
打赏
举报
回复
用BI吧
luoqun_ncs
2007-08-08
打赏
举报
回复
“几万”是用来形容微量数据的单词。你问题问的太泛泛,我只能说。自己找本数据库优化的书看看吧。
【随手记】对接抖音广告
巨量
引擎联调及测试流程
对接抖音
巨量
广告联调流程
PHP 对接
巨量
DMP人群管理之protobuf
执行的时候可能会报 \Google\Protobuf\Internal\XXX未找到,需要将对应的源文件(protobuf-3.6.1/php/src)copy到对应目录下。在执行 ./configure --prefix=/usr/local/protobuf 会报权限错误,执行 chmod 777 configure 就可以解决。执行sudo make check完后又报错,报错的日志可以在src/test-suite.log查看,也是权限的
问题
。保存到/www/wwwroot/ss目录下。
kafka实践
下载kafka_2.11-1.0.0.tgz 安装和启动教程
频道聊天顶流 Discord,如何实现亿级消息架构迁移
不存在写入竞争。在写入性能上天然比强一致性的
数据
库有优势。
IOT的技术挑战
作者:阿里云IoT事业部 技术专家 问途 IoT时代的技术又遇到怎样的不一样与挑战,简单总结一下阿里云IoT场景中我们面临的
问题
与挑战。 多样的连接 万物的互联,连接的形态也在悄然的发生变化,从WIFI,3G/4G,BLE到NB-loT,LoRa,传统的RS232,RS485, CAN BUS等等也登上新的舞台,原本相互无关的网络形态,交织在一起,异构的网络构建着统一通讯。 ...
其他
259
社区成员
6,538
社区内容
发帖
与我相关
我的任务
其他
其他产品/厂家
复制链接
扫一扫
分享
社区描述
其他产品/厂家
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章