社区
MS-SQL Server
帖子详情
如何加快处理大量数据?
daydream
2000-05-06 10:24:00
一个计费软件;
数据是代理服务器的日志文件,一个月就要几百M,本来用的是DELPHI的* .db文件。
现在要读到SQL SERVER里,在处理数据时太慢太慢,不知有什么方法可以改善。
谢了!
...全文
242
7
打赏
收藏
如何加快处理大量数据?
一个计费软件; 数据是代理服务器的日志文件,一个月就要几百M,本来用的是DELPHI的* .db文件。 现在要读到SQL SERVER里,在处理数据时太慢太慢,不知有什么方法可以改善。 谢了!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
swordmanli
2000-05-31
打赏
举报
回复
BCP用起来比较麻烦,TDS很好用,你可以通过向导来将你要的数据导入到SQL Server以及其它多种数据库中,而且你可以查阅相关资料,写一个TDS的任务,让它定时去从你指定的库中将数据取到你的新库中.
haihong
2000-05-26
打赏
举报
回复
bcp在你的client 端的sql server目录中,是一个.exe程序。
它可以把text文件大量的输入sql server中。
用法有帮助,bcp -U(用户) -P(密码) -S(服务器) .......
注意text文件的格式,可以有几种,用tab隔开比较好,每行一条记录。
先要在Sql server中建表。
daydream
2000-05-24
打赏
举报
回复
我还是新手:
BCP是什么啊
995
2000-05-22
打赏
举报
回复
我同意mnbvcxz的建议,用bcp程序,但它要定义入库表结构
daydream
2000-05-20
打赏
举报
回复
TDS 是什么呢?
swordmanli
2000-05-18
打赏
举报
回复
TDS is good.
mnbvcxz
2000-05-07
打赏
举报
回复
入库时用bcp程序,不要insert
用Python中的Pandas
处理
数据
内容介绍 1.
大量
练习Series
数据
结构的基础操作。 2.
大量
练习DataFrame
数据
结构的基础操作。...这些都是能学习Pandas
数据
处理
的重要基础。 第4章 如果快速实现对
数据
的各分析操作,快速得到想要的报表。
机器学习必须需要
大量
数据
?小
数据
集也能有大价值!
机器学习必须需要
大量
数据
?小
数据
集也能有大价值! https://mp.weixin.qq.com/s/xGnDcRtKKt4FyVRAMPSqYA 【导读】
数据
不够大,就不能玩深度学习?长期存在的一大挑战就是:只有极少数情况下有足够的
数据
进行深度学习。本文作者提出了一些比较实用的方法,从简单的经典机器学习建模方法开始着手解决这个问题,以应对文本
数据
量不够大的情况...
如何进行大
数据
处理
?大
数据
处理
的方法步骤
1. 大
数据
处理
之一:采集 大
数据
的采集是指利用多个
数据
库来接收发自客户端(Web、App或者传感器形式等)的
数据
,并且用户可以通过这些
数据
库来进行简单的查询和
处理
工作。比如,电商会使用传统的关系型
数据
库MySQL和Oracle等来存储每一笔事务
数据
,除 此之外,Redis和MongoDB这样的NoSQL
数据
库也常用于
数据
的采集。 在大
数据
的采集过程中,其主要特点和挑战是并发数高,因为同时有...
处理
大量
数据
的一种方法(C++)
处理
场景:三台线阵相机或者多台其他传感器与工控机连着,通过调用相机的SDK控制相机,例如同时开关,同时从相机中获取
数据
。然后采集软件接收到相机
数据
后,将
数据
保存到硬盘。
处理
的问题:如果三台相机发送
数据
频率很快,并且
数据
量很大的话,如何快速将
数据
写入到硬盘里或者对
数据
的其他
处理
,从而保证内存不增长? 解决方案简述:每收到一坨相机的
数据
,就将其从尾部压入队列;同时有另外一个线程在等着
处理
这个队列,只要这个队列有
数据
,就从头部弹出一个
数据
,然后对这个
数据
进行相应的
处理
。这里存在一个问题:如果相机频率太.
人工智能(AI)是如何
处理
数据
的?
AI
处理
数据
主要是通过
数据
挖掘和
数据
分析。 一、
数据
挖掘(Data mining),又译为资料探勘、
数据
采矿。它是
数据
库知识发现(Knowledge-Discovery in Databases,简称KDD)中的一个步骤。
数据
挖掘一般是指从
大量
的
数据
中通过算法搜索隐藏于其中信息的过程。
数据
挖掘通常与计算机科学有关,并通过统计、在线分析
处理
、情报检索、机器学习、专家系统(依靠过去的经验法则)...
MS-SQL Server
34,594
社区成员
254,589
社区内容
发帖
与我相关
我的任务
MS-SQL Server
MS-SQL Server相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MS-SQL Server相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章