如何使用大数据技术处理关系型数据库中保存的大量数据? [问题点数:50分]

Bbs1
本版专家分:0
结帖率 98.67%
vcl组件中如何保存大量数据
比如我继承一个stringgrid,但是我需要一个属性设置每行每列的背景颜色,属性如rnproperty RowCellColor[ACol,ARow:longint]:TColor read GetRCColor write SetRCColor;rnrn那么我<em>如何</em>在Procedure SetRCColor(ACol,ARow:longint;Value:TColor); 中<em>保存</em>设置的值呢rnrn我想过用数组,可是问题是如果行列不确定的情况下,怎么用数组啊?rnrn如果用连表那是不是需要一个结构呢?如果我需要在DrawCell中用到的话,怎么快速定位到连表呢?rnrn大家有什么好的方法吗?期待大牛的出现!
使用数据技术处理风电场机组采集数据
测试背景本次测试背景为对某大型风电厂的机组采集<em>数据</em>进行<em>处理</em>,业务需求如下: 将采集到的设备的实时<em>数据</em>存入持久化存储 对数值超出上下限的测点进行实时告警 计算采集<em>数据</em>不同时间段内的均值,一并存入持久化存储 对持久存储中的<em>数据</em>提供类SQL查询
如何加快处理大量数据
一个计费软件;rn<em>数据</em>是代理服务器的日志文件,一个月就要几百M,本来用的是DELPHI的* .db文件。rn现在要读到SQL SERVER里,在<em>处理</em><em>数据</em>时太慢太慢,不知有什么方法可以改善。rn谢了!
DELPHI+SQLSERVER2000如何处理大量数据?
用DELPHI+SQLSEVER2000在用ADO控件绑定<em>处理</em>十几万甚至几十万的<em>数据</em>感觉速度很慢,各位有没有什么好的<em>处理</em>办法或建议?谢谢....
如何大量处理倒入数据
现在有一个指定<em>数据</em>格式的txt文件,几十W条<em>数据</em>rn我想要把这个TXT文件导入<em>数据</em>库.rnrn1.写JAVA代码导入,我怕内存溢出,或者事务超时.rn2.先导入excel再导入<em>数据</em>库,excel最多只能存65536条记录,分批的话,第2批<em>数据</em>老有问题.rnrnrn各位有没什么好的建议,能比较省资源的导入到<em>数据</em>库
如何快速处理大量数据
各位大侠,大家用c/c++编程时,没有用到<em>数据</em>库管理系统,那么是通过那几种常用的途径来提高<em>处理</em><em>大量</em><em>数据</em>的速度呢?除了优化算法,提高硬件设施等技术手段,另外想问一下采用多线程设计可以最大程度上提高多少速度?一位菜鸟的问题------望各位指点迷津,不甚感激!!!!!!!
c++如何处理大量数据
记事本中有10万文本<em>数据</em>,导进excel A列中,在vba中写点代码可用<em>处理</em>删除、查找,添加等一些操作。rnrn<em>如何</em>把在vba环境下<em>处理</em>这些<em>数据</em> 放在 vc这个平台下<em>处理</em>?rnrn采用哪种<em>数据</em>结构?本人是新手,很新很新的那种,还请大侠指点。rnrn
处理大量数据
<em>处理</em><em>大量</em><em>数据</em>、快速、方便的解决方案。很好很强大,基本解决大部分的需求。
大量数据记录处理
我需要对int[6]的<em>大量</em>数组(大约有100万条)进行<em>处理</em>,主要包括添加、删除、遍历,屏幕显示前一百条。rnrn由于100W条<em>数据</em>是33选6做排列生成的,考虑运算速度,用什么方法<em>处理</em>比较好,rnrn我比较菜,可能问题会比较多。rn留下QQ:9167852 MSN:partsoft@hotmail.comrn好心的朋友多帮忙吧
大量数据提交处理
我现在要解决一个<em>大量</em><em>数据</em>提交的<em>处理</em>,是这样的用户会提交表单的时候会有10万个手机号码,每个手机号码都用回车隔开了,请问怎么样才能做到最优呢?还有我现准备把这个web的做的winform的,到时候这个<em>大量</em><em>数据</em>提交的时候怎么<em>处理</em>呢?rnAccess的备注好像只能放1万个手机号码?我想改成sql server2005/2008 用哪种<em>数据</em>类型好?谢谢!
大量数据处理!
public class Datarnrn public int DID;rnrn public List Items; //长度为16rnrn //统计字段 有50个rn public int C010; //统计 前0-10个范围为真的个数rnrn .......rnrnrn public int C5001000; //统计 500-1000范围为真的个数rnrnrnrnData对象有30W个rnrnpublic class HistDatarnrn public int HID;rnrn public List Items; //长度为6rnrnrnHistData对象 现有1000多条 (可增长,)rnrn要求是 用每个HistData对象 跟 Data做比较 并判断 Data.Items 是否包含 HistData.Items的<em>数据</em>rn假如HistData 对象为10条 ,Data为1条的话.将会产生以下结果 (T = true or F = false)rnrnTrnFrnTrnFrnTrnFrnTrnFrnTrnTrnrnrn并且统计 如 0-10 中 为真的个数 ! 而且每拿HistData 对象 跟Data (30W个)对象 选择某些满足条件的Data对象保留下来!rnrn怎么速度最快!rnrn
Android 在本地使用SharedPreferences,保存大量数据
直接上代码吧,没什么可说的, 先上存储的代码 SharedPreferences.Editor editor = mPref.edit(); editor.putString(KEY_SEARCH_HISTORY_KEYWORD, text + "," + oldText); editor.commit(); 其中: KEY_SEARCH_HISTORY_KEYWORD 为其中某个<em>数据</em>
分批处理大量数据
比如说我有10多万条<em>数据</em>,怎么分批读取啊
大量数据处理
ORACLE<em>数据</em>,某张表的<em>数据</em>增长特别迅速,一天大概有30万条新记录以上,领导做分析的时候可能会查询几个月甚至一年前的<em>数据</em>,而为了保证在<em>保存</em>新<em>数据</em>的时候速度不能太慢,需要及时把表中的<em>数据</em>进行<em>处理</em>,有什么好的方式解决这些问题?
jdbc处理大量数据
业务场景:从Oracle<em>数据</em>库中取5000万条<em>数据</em>,每5万条生成一个text文件。 原方法:查询全量<em>数据</em>,遍历过程中进行<em>处理</em>。此方法在遍历过程中会报内存溢出错误,整改全部代码后仍然如此。猜测是遍历过程中jdbcAPI产生了某些来不及gc的对象。 PreparedStatement preparedStatement = conn.prepareStatement(&quot;select * from...
大量数据插入处理
一次性要在多个库中的多个表插入<em>大量</em><em>数据</em>,但现在有个问题。rn原来的<em>处理</em>是为了保证所有<em>数据</em>的正确性,将所有全部插入操作完成后,一次性commit,如果在插入过程中有任何一点错误就rollback,将前面的操作全部回滚。但在多用户情况下就会造成阻塞,第二个进行插入操作的用户(以下简称B)只能在第一个进行插入操作的用户(以下简称A)完成操作后才能开始插入。rn我看到网上说要解决多用户并发最后要在每次insert、update、delete后就commit或rollback,但一旦每次操作都commit或rollback,如果出了错误就没办法将前面的操作全部回滚。rn有哪位大虾有经验给个<em>处理</em>思路,谢谢!
poi处理大量数据
<em>使用</em>的pom.xml文件如下所示:        &amp;lt;dependency&amp;gt;             &amp;lt;groupId&amp;gt;org.apache.poi&amp;lt;/groupId&amp;gt;             &amp;lt;artifactId&amp;gt;poi&amp;lt;/artifactId&amp;gt;             &amp;lt;version&amp;gt;3.8&amp;lt;/version...
如何保存大量数据? 并可以随时的取出
建立一个<em>数据</em>库,用以<em>保存</em><em>大量</em>的用传感器输入的<em>数据</em>,rn并且随时可以取出以前的历史记录。
大量数据如何保存,并用ClistView显示?
很多<em>数据</em>,每个<em>数据</em>的结构可能也比较复杂。<em>数据</em>结构<em>如何</em>比较好?rn用ClistView显示的话,怎样在表格最下面插入新<em>数据</em>,并且双击条目后能快速找到对应<em>数据</em>的详细信息?
请教大家如何保存大量数据???
做一个报警信息,每天都会收到许多信息,<em>如何</em>将其<em>保存</em>在一个文件里面,还可以被<em>数据</em>库调用???
如何大量保存输入界面的数据
大家好!rn我想用C++build5.0作一个用于工程计算的软件,需要输入很多<em>数据</em>,这些输入对话框中的<em>数据</em>需要作为一个输入文件进行<em>保存</em>,在下一次计算时可以重复打开,以前用VC可以采用序列化进行,在C++build 中<em>如何</em>进行输入<em>数据</em><em>保存</em>和打开呢(不采用<em>数据</em>组件)?
大量数据处理 可不可以使用事务?
有一个带有存储功能的主板,可以存储上万条<em>数据</em>,想要实现<em>数据</em>提取功能。rn顺序是1.依次提取每一条记录rn 2.将提取出来的记录写入<em>数据</em>库rn 3.提取完毕后,删除主板存储记录rn如果中间有中断 则回滚。<em>如何</em>做到????可以用事务实现么?
ormlite保存大量数据性能优化
原来是这样写的: public void addList(List areas) { try { for (AreaBean area : areas){ areaDao.createOrUpdate(area); } } catch (Exception e) { e.printStackTrace();
如何处理大量数据并发操作
答:用存储过程或事务。取得最大标识的时候同时更新..注意主键不是自增量方式这种方法并发的时候是不会有重复主键的..取得最大标识要有一个存储过程来获取. rn-------------------------------------------------------- rn这个回答太概括了,麻烦各位高手有没有代码例子可以参考~~谢谢~~!!
大量数据又死锁了该如何处理
大家好,先说说我之前的一个经历,前个月网站突然卡死报<em>数据</em>库连接超时错误,甚至从界面上无法登录<em>数据</em>库,还必须以dos命令 net stop mssqlserver, 然后net start mssqlserver来重启<em>数据</em>库,好那么一下又卡死了,我用的是2005,<em>数据</em>库主要<em>数据</em>文件达到1.39G, 服务器2003。当卡的时候,我用 exec sp_who_lock 命令无查看死锁和堵塞,一运行一大堆的死锁和堵塞,看到都吓人,最后弄清楚了,是因为我的创建索引过多,在<em>数据</em>插入修改的时候效率极低,导致的,结果我适当删除了一些索引就没事啦,由此可见当报死锁的时候,并不一定是提示死锁的存储过程的问题,而且其他问题导致的死锁堵塞的大排队。rn 可过了一个多月,现在又出现了死锁,我又适当删除了一些索引,并且把每个表都重建索引了( DBCC DBREINDEX(<em>数据</em>库名..表名,'',0)每个表都以这样的方式重建索引 ),死锁依然时而出现,这个时候我就不知道该怎么办了,因为我的<em>数据</em>库有几个表都几十万<em>数据</em>,有一个表一百多万,都是插入和查询比较平凡的表,为不会是因为<em>数据</em>量大导致的死锁呢?rn几十万的<em>数据</em>会至于导致死锁吗?rn 如果是因为<em>数据</em>量大的原因,那么有什么好办法吗?我考虑过分表,比如把去年一年的<em>数据</em>存在到另一张结构相同的表, 但是这样的改动,在查询的时候很不方便。 有没有什么更好的办法吗? rn 我的表主键都是guid类型,默认主键聚集索引,我改成非聚集的,因为让物理存储顺序按guid列排序,应该是效率很低的,所以我的表基本上没有聚集索引,但我会根据查询的排序字段适当创建非聚集索引, 会不会是这个原因呢?
如何处理ajax请求返回的大量数据?
假如ipad<em>使用</em>ajax访问某<em>数据</em>库,每次访问返回上万条<em>数据</em>项,但如果Ipad每次只能列举几十条<em>数据</em>项?rn应该怎样设计<em>数据</em>结构
静态文本框写入大量数据如何处理??
我想向一个窗口的静态文本框中写入程序的计算结果,文本和数字很多,用 GetDlgItem(IDC_STATIC)->SetWindowTex不方便,又什么好方法吗??最好能进行一定的排版。谢谢!
大量数据处理 如何提高速度
要求 是 对 文件里面的每一行<em>数据</em>的最后几位(都是0到9之间的数),都在给定字符串中 查找相应的位置关系(只定义了十种位置关系) 并进行一系列的运算,对上面的过程循环300多万次,每一次只改变给定的字符串。rn其中300多万个字符串可以说是给定的。这个文件是 5万多行。rn我的做法是:一次性读到内存的,然后对一个给定的字符串做相应的<em>处理</em>,这个过程我测了下用时是0.3秒左右,这样肯定不行。也想过把最后几位的所有排列全枚举出来,并列出在这300多万个字符下位置关系写进文件,用到时候再读 可是这样文件又太大了。还请大家给点高见啊,先谢谢了!
多进程下短时间如何处理大量数据
这几天去面试,面了一家做金融业务的公司,面试官问:rn一个小时的峰值<em>处理</em>为200万笔业务,<em>如何</em>设计进程<em>处理</em>方案和<em>数据</em>库<em>数据</em><em>处理</em>方案?rnrn银行之类的都要求高速<em>处理</em><em>大量</em><em>数据</em>,上面这个问题回答不好的话,基本就没戏了。rn我当时傻傻的回答一个进程下有多少业务就分多少线程解决。rn各位高人有做过金融的吗,有清楚的吗?rn可以的话,能稍微详细点说说吗?
asp.net如何应付大量数据处理
各位.net高手rn我现在正在准备一个项目,asp.net+c# 其中设计到了<em>大量</em><em>数据</em>的一次性提交rn现在不知道能不能<em>使用</em>老套<em>数据</em><em>处理</em>方法,一次性提交得<em>数据</em>量在1000条-2000条,80个字段,(可能有人要问怎么这么多的字段,因为这是发送的报文中有的<em>数据</em>)。rn这么大得<em>数据</em>量在客户端提交是怎么<em>处理</em>既可以保证尽量不丢包,<em>处理</em>速度又快
Ext下拉列表框加载大量数据,如何处理
要加载的<em>数据</em>两万多条<em>数据</em>,要求多选, <em>如何</em>实现?
如何处理大量表单数据
有一个出货单的明细表单可能有几百条记录需要提交到服务器<em>处理</em><em>保存</em>,一开始我们是先生成XML<em>数据</em>提交给后台<em>处理</em>,但现在如果有几百条记录的话客户端生成XML<em>数据</em>要花费<em>大量</em>时间,让人无法接受。rn请问各位有没有什么好的<em>处理</em>方式
如何在文本数据库中,处理大量数据?
rn 由于<em>使用</em>文本<em>数据</em>库有内存限制,<em>如何</em><em>处理</em><em>大量</em><em>数据</em>?rnrn而用写字版,select语句又不认格式,不知该<em>如何</em>解决?rn
如何删除表中大量数据
<em>数据</em>库<em>使用</em>:<em>如何</em>删除表中<em>大量</em><em>数据</em> 1、现象、问题描述 有时需要删除表中的大部分<em>数据</em>,但并不是要把表清空。 2、关键过程、根本原因分析 方法一(不推荐) Delete from taba where logtime =to_date(‘2007-01-01 00:00:00’,’yyyy-mm-dd hh24:mi:ss’) 2. drop table taba 3....
C# 处理大量数据如何使用内存,报错OutOfMemory
由于需求需要,要对采集的<em>大量</em><em>数据</em>进行<em>处理</em>,最大能达到128000000,目前,我一直把<em>数据</em>存在一个一维数组中,程序运行的时候,启动采集<em>数据</em>,指不定什么时候,程序发生崩溃,一开始不知道是这个原因,调试了之后,发现每次<em>处理</em><em>数据</em>的时候,data= new byte[128000000]的时候 就报错了,提示OutOfMemory错误,从此之后,每次都会弹出,<em>使用</em>完了,通过data = null来清空<em>数据</em>。<em>数据</em>通过一个DeviceConnect类中的采集方法,<em>使用</em>硬件设备提供的DLL,从内存中获取<em>数据</em>,然后<em>使用</em>注册事件,委托到UI上显示。rn 还有其他不明的,请回帖问哦,谢谢大家的。
大量数据显示处理控件
控件功能:具有datagrid的编辑功能和msflexgrid的显示功能,主要用于<em>大量</em><em>数据</em>显示和编辑(包括添加,删除,修改功能) 代码编写:王新良 编写时间:2002-12-5 修改时间:2002-12-18
solr8处理关系型数据blob字段数据的简单实现
oracle或者mysql<em>数据</em>库可能会<em>保存</em>pdf,word等富文本<em>数据</em>,solr提供了clob转换器,对于blob大致有两种实现方式:1.可以自定义transformer转换器。2.可以在data-config.xml进行嵌套entity标签的方式实现。 一:<em>数据</em>库结构 表名 :testtesttable blob测试的<em>数据</em>可以在solr文件夹下找到 xxx\solr-8.0.0\exampl...
Spark数据技术处理
  本书是Spark实战指南,全书共分8章。前4章介绍Spark的部署、工作机制和内核,后4章分别通过实战项目介绍SparkSQL、SparkStreaming、SparkGraphX和SparkMLib功能模块。此外,本书详细介绍了常见的实战问题,比如大<em>数据</em>环境下的配置设置、程序调优等。本书附带的一键安装脚本,更能为初学者提供很大帮助。 【电子版来自互联网,仅供预览及学习交流<em>使用</em>,不可用于商业用途,如有版权问题,请联系删除,支持正版,喜欢的 请购买正版书籍: https://item.jd.com/11923673.html】
Reporting Service处理大量数据
我的报表<em>使用</em>存储过程作为<em>数据</em>源,由于<em>数据</em>量太大,所以报表预览时报错,内存溢出,不知道各位高手有什么好的办法出来这个问题,谢谢了!
ajax 处理页面大量数据
背景:一个页面需要输出list中所有<em>数据</em> (list大小&amp;gt;1000,客户要求不分页),生成的页面时间会很长,浏览器会出现短暂的空白。   700条XX信息<em>数据</em>大小965.9KB,耗时1.66s 1000条XX<em>数据</em>大小1803.6KB,耗时2.68s 100条<em>数据</em> 大小  194.8KB 耗时 140ms       优化思路:将<em>数据</em>分成多块,分多次响应给客户端。 如:优化7...
大量数据入库处理经验总结
最近做一些<em>数据</em>入库的服务,这里做些经验总结: 【获取入库平均速度】 获取要部署环境的入库平均速度(跟具体环境配置如网络带宽、服务器硬件条件有关)一般都是经验值或者需要经过测试。 【确定需要<em>数据</em>库数量】 根据实际需求确定需要几个<em>数据</em>库同时入库,预计70%。这个可能造成查询的时候需要分库查询,然后结果总汇。 【入库服务需要提供<em>数据</em>存储能力】 入库服务获取<em>数据</em>后需要对<em>数据</em>进行存储,然后再<em>处理</em>数
ado处理大量数据异常
[code=C/C++]rnCString csColV;rncsColV += "select *";rncsColV += " from ";rncsColV += "[";rncsColV += csTable;rncsColV += "]";rnCADORecordset CADOMSSET3(&CADOMS);rnCADOMSSET3.Open(csColV, CADORecordset::openQuery);rn[/code]rn当csTable是member时,程序执行到CADOMSSET3.Open就不往下执行了,也不报任何错误,后来发现是因为member<em>数据</em>量太大,有50W,我尝试只留一条其它都删掉,就正常了。rn请问该<em>如何</em>解决。
关于大量处理数据的问题
在sql server 2000 中要<em>大量</em>的<em>处理</em>查询和插入<em>数据</em>,有什么能够明显提升性能的优化方法吗
Java处理大量数据到Excel
本人尝试用了JXL, POI3.2到3.8版本按照一般的方式来生出<em>大量</em>的<em>数据</em>到Excel,例如100000条<em>数据</em>,基本上都会出现OOM的情况。 下面的例子给我们介绍POI是怎么<em>处理</em><em>大量</em><em>数据</em>写到EXCEL里面的: /* ==================================================================== Licensed to ...
camera preview 的大量数据处理
请教大家 rncamera preview 的<em>大量</em><em>数据</em>是怎么<em>处理</em>的?rn如果我一直处于取景,一直到没电,内存会不会溢出?这些<em>数据</em>的<em>处理</em>流程是怎么样的呢?
多线程webservie处理大量数据
因工作原因,需要将一个表(tbA)中的所有<em>数据</em>,根据user_id,去请求webserive获取相关的<em>数据</em>,然后插入到另外的一张表(tbB)中,供他人<em>使用</em>。不过这个表中的<em>数据</em>不少有78万条左右,而这样的大批量<em>数据</em>操作,还不能白天执行。只能在夜里,等服务器负荷低的时候进行执行。考虑如果webservice的效率不高的时候,需要对<em>数据</em>进行分批执行操作。经过综合考虑,最后采用多线程技术(不过最后经过...
当DTS处理大量数据
我目前做的一个DTS包,是把Informix<em>数据</em>库的几张表导入SQL DB,rn其中涉及2张表都有8百多万笔记录,还有的是几十万笔的,rn没有太多<em>处理</em>,只是简单的<em>数据</em>转换,rn可以看到每<em>处理</em>有8百万纪录的表,开始执行转换<em>数据</em>任务这个步骤的时候很快,rn是以每秒1000笔的速度在刷新,rn但是等<em>处理</em>到剩最后那几千笔资料的时候可能要一两个小时,rn(1)试问各位高手是否遇到过类似问题,出现这样的状况正常吗?rn(2)执行包让多个<em>数据</em>转换任务同时启动转得快,还是手动一个个的执行<em>数据</em>转换任务快?rn
大量数据需要打印的处理
报表统计的返回结果进行打印时,<em>使用</em>excelrnrn但是在<em>数据</em>量比较大时,如几万,导出需要很长时间rnrn有没有什么办法可以实现快一点呀。rn 
请教处理大量数据的问题。
我用asp查询大<em>数据</em>库的时候,要用分页,但我不想一次返回所有的<em>数据</em>再列出分页信息。我想只返回所需的页数的<em>数据</em>,我该怎么做啊,有什么好的建议吗?
vb保存处理数据
大体实现如下功能:rn1.从串口采集的<em>数据</em>在界面实时显示rn2.将<em>数据</em>有选择的<em>保存</em>至excelrn3.可以调用excel里的<em>数据</em>,进行运算<em>处理</em>rnrn现在只完成了1,剩下的要用到什么知识?vba还是vb<em>数据</em>库知识,本人菜鸟,rn边看书边做,不知道用什么可以实现2和3的功能了!
用户处理大量数据,每30分钟保存一次
[size=14px] 我的web系统有个功能,是用户查找一条<em>数据</em>,然后编辑,最后<em>保存</em>(做一条<em>保存</em>一条),现在要求是用户请求<em>数据</em>,然后编辑,先不<em>保存</em>(先<em>保存</em>在客户端),最后是每30分钟<em>保存</em>一次。rn ’我原先的想法是<em>保存</em>在cookies里边,最后读取cookies<em>保存</em>,但是如果cookies<em>保存</em>了太多的用户<em>数据</em>网页请求会不会很慢,其次是<em>数据</em><em>保存</em>在爱cookies有什么风险。大家有没这方面的经验,欢迎指教!![/size]
Oracle中如何保存大量的文本
不要限制字符数,怎么可以实现
如何使用缓存中的数据批量保存
DELPHI中<em>如何</em><em>使用</em>缓存中的<em>数据</em>批量<em>保存</em>(ADO)rn
bs下lotus如何读取关系型数据中的数据,不使用第三方工具
bs下lotus<em>如何</em>读取<em>关系型<em>数据</em>库</em>中的<em>数据</em>,不<em>使用</em>第三方工具
从txt中读入大量数据如何键入大量数据?)
简单英文字典![图片说明](https://img-ask.csdn.net/upload/201812/24/1545632973_150663.png)rn![图片说明](https://img-ask.csdn.net/upload/201812/24/1545632991_841753.png)从txt中读入<em>数据</em>rn,但为了体现和计算查找效率,需要<em>大量</em><em>数据</em>,虽然是小程序实习任务大概也得1000条以上把。rnrn**_如果我用txt读的话只能一条一条手动键入吗?_**rnrn**或者说问一下,在没有<em>数据</em>的情况下,怎么凭空弄出<em>大量</em>的<em>数据</em>来对程序进行测试?(初学者)谢谢**rn如果从网站上复制粘贴...同一个<em>处理</em>方式,例如(mother n.母亲)去空格回车rn变为rnrnmotherrnrnn.母亲rn![图片说明](https://img-ask.csdn.net/upload/201812/24/1545638235_688090.png)rnrn只打印中文,前面正确的为手动键入部分,后面从n.荣誉开始为网站复制,有些错有些对...头疼
使用关系型数据分块处理几亿几十亿条数据
分块计算是将<em>数据</em>按一定的规则切割成若干份,然后分别计算,再将结果合并汇总得到最终结果。
网络传输中,客户端如何处理大量数据接收?
服务器快速向客户端发送不同长度的<em>数据</em>块(长度在80Byte--300Byte不等),因客户端无法快速接rn收每次的<em>数据</em>块造成接收缓冲区的累积。当客户端每次按1024Byte从Socket缓冲区获得<em>数据</em>时就会rn将下次的<em>数据</em>块截断,造成下次读取的<em>数据</em>块异常而带来程序的异常。rn我想请教大家,网络传输中,一般是<em>如何</em><em>处理</em><em>大量</em>不同长度的<em>数据</em>块?rn谢谢大家。
求教大量数据存入一行中一项如何处理
建了一个表,表中有十项内容,或者说10列,其中有一列的<em>数据</em>包含<em>数据</em>很多。rn比如: 日期 人名 证件 信息 ** ** ** 共10列rn 1 2002年 张三 2005120 ********rn 2 *******************************************************rn 3 *******************************************************rn 4 *******************************************************rn 5*******************************************************rn行<em>数据</em>量不是问题,就是信息这一列,每一行可能都有几千个字节的东西,只能用text之类的格式整个作为字符串放入吗?rn或者还有别的什么办法?求教
如何删除大量数据
表A,存储着几百万条记录;rnrn表A1、A2……A30都引用了A.ID主键,并且是级联delete的。rnrn现在的问题是,我<em>如何</em>快速删除表A中的全部记录?rnrn(注,A.ID被外键引用后,无法进行Truncate Table来删除<em>数据</em>。)rnrn请大家帮帮我。rn
如何站内搜索大量数据
php站内搜索<em>大量</em>mysql中的内容,<em>如何</em>才能高校快速的搜索,多<em>数据</em>表可不可以?
大量数据如何排序
<em>数据</em>量很大的排序问题 http://blog.csdn.net/guyuealian/article/details/51151674
如何写入大量数据
RT。rn我做了一个SQL脚本加密工具,可是加密出来的密文有些字符是memo控件显示不了的rn所以我将密文<em>保存</em>到硬盘的文件里rn密文中有一些是对中文字符的加密rnrn密文<em>数据</em>量平均在10k~20k左右rn我目前用的是TFileStream,可是它的大小有限制,9K以下吧(具体多大也没试过)rnrn请问还有其它的文件类型么?rn能够<em>保存</em>得了密文就行。
如何使用Mysql一次性读取大量数据
<em>如何</em><em>使用</em>Mysql一次性读取<em>大量</em><em>数据</em>rn要一次性<em>处理</em>上万条<em>数据</em>,直接调用的话,Mysql就死了,怎么办?
如何读取大量数据
现在有这样一个程序,需要在初始化时读取XML中的<em>数据</em>.当<em>数据</em>量比较大时,<em>如何</em>才能使程序的启动比较快.谢谢了!
如何提交大量数据??
从<em>数据</em>库里查出n(n>50)多纪录并显示出来,但每条纪录都要修改某个子段<em>数据</em>rn 我想一次性把修改好的<em>数据</em>写入<em>数据</em>库,请问<em>如何</em>提交这些<em>数据</em>????rn
如何使用WebBrowser向服务器发送大量数据
在CHtmlView中<em>如何</em><em>使用</em>WebBrowser控件模拟网页中的rnform以post方式向服务器传送<em>数据</em>?
如何处理大量并发问题
rt
lotus中对关系型数据处理的一个问题
各位兄弟们,大家好,从今天起我也要加入我们这个队伍了,今天我编写通过lotusscript对<em>关系型<em>数据</em>库</em>的<em>处理</em>时遇到了一个问题,就是当我连接上oracle<em>数据</em>库时,当库中的表名是中文名时会出现表名是乱码的问题,而且也会出现错误,当是英文时则可以正常,请问这是为什么,怎么解决,请各位不吝赐教,谢谢!!!rn
如何保存窗体中的数据
我在窗体上做了一些文本框,文本框里能输入数字,我希望我在关闭整个程序后再次打开时,那些文本框里的<em>数据</em>缺省显示为上次关闭程序时的<em>数据</em>,请问那些<em>数据</em>应该<em>如何</em><em>保存</em>?谢谢
DataGrid中的数据如何保存?
想把DataGrid中的<em>数据</em><em>保存</em>回<em>数据</em>库 应该怎么做那?
如何保存表格中的数据
<em>如何</em><em>保存</em>表格中的<em>数据</em>?rnrn用表格msflexgrid 与text 做了个可编辑表格<em>数据</em>的程序rn当用text修改msflexgrid中的<em>数据</em>后 <em>如何</em>确认能正确存回access<em>数据</em>库中呢?rn因为只是简单的一句命令:msflexgrid1.text=text1.text 不能将<em>数据</em>正常<em>保存</em>!rn 如果用类似如下语句:res.editrn res.fields("name")=text1.textrn res.updatern 也不行,因为根本不知道在access中要修改的是那条记录!无法定位!rnrn不知大侠们有何好的建议! 能否给出一段参考代码?rnrnthank u !
如何保存DBGridPlus中的数据
由于<em>数据</em>库(Oracle)中有一个<em>数据</em>类型为varchar2(500)的字段,导致<em>数据</em>显示组件DBGrid不能够正常显示信息(显示MEMO)。rn后更换为DBGridPlus组件,倒是能够正常显示,但是:rn1. 不能够正常统计对应<em>数据</em>集的记录总数;rn DBGridPlus->DataSource->DataSet->RecordCount总是为-1,用Ctrl+End组合键倒是能够使得RecordCount正常。rn2. 利用遍历DBGridPlus组件对应的<em>数据</em>集<em>保存</em><em>数据</em>时出错。rnInvalid BLOB handle in record buffer.rnrn我该怎么办?企盼大侠赐招!
如何保存datagrid中的数据
我在程序运行的时候,对datagrid的datasource和datamember属性进行赋值,sqlDataAdapter也是运行时动态创建的,请问,我<em>如何</em>才能将datagrid中改动的<em>数据</em><em>保存</em>到<em>数据</em>库中,包括新增加的、被删除的和更改<em>数据</em>的?
如何在客户端保存大量数据
现在正在做一个东西,需要在客户端<em>保存</em>和读取<em>大量</em><em>数据</em>。是用js和htm的。这个过程当然不要用户干预。而用户在n天只后访问我的页面我仍然可以读取该<em>数据</em>。实际上就是一个cache的作用。本来我是准备存放再cookie中,但是发现cookie只能存放几k的<em>数据</em>,而我需要存放的<em>数据</em>量是几百k。现在想破了头都不知道该怎么办。各位帮帮忙啦
能否用数组保存大量数据
在<em>数据</em>库中SELECT出来300万左右的<em>数据</em>,每条<em>数据</em>是11位的字符串,用数组<em>保存</em>这些<em>数据</em>可不可行?
SQL中使用like查询大量数据
在SQL中<em>使用</em>like '%A%'查询<em>大量</em><em>数据</em>时,有办法提速吗?
UDP 如何发送大量数据如何处理分包? 高手请进
用 updclient 一次不能发送太大的<em>数据</em>量,不然就会报错:[color=#FF0000]一个在<em>数据</em>报套接字上发送的消息大于内部消息缓冲器或其他一些网络限制,或该用户用于接收<em>数据</em>报的缓冲器比<em>数据</em>报小。[/color]rnrn但不知道一次到底能发多少字节? 如果把一个大的字节数组拆分成若干个 字节数组发送,[color=#FF0000]那么接收时<em>如何</em>判断和<em>处理</em>呢?[/color]
ViewState保存大量数据,速度变慢
。net 2005 我用ViewState<em>保存</em>一个Table,10个字段左右,<em>数据</em>量非常大,当我添加一条<em>数据</em>给ViewState然后绑定给GridView显示的时候就要很久才显示出来,有什么好办法解决吗?
有关保存大量数据的性能问题
从TEXT文件中读取大约有1万条<em>数据</em>左右,再把它<em>保存</em>到MS SQL表中,有两种方法实现,请问哪种方法性能最好?(请问还有什么更好的方法)rn1、在从TEXT文件中骤行读取<em>数据</em>时,用Comman方法执行MS SQL的Insert Into 表rn2、在从TEXT文件中骤行读取<em>数据</em>时,把<em>数据</em>追加到DataTable中,再用Update方法批量更新。
Connection 循环保存大量数据问题
我连接一个sqlite<em>数据</em>库(小型桌面<em>数据</em>库),也是要循环<em>保存</em>几千条<em>数据</em>,一开始快一些后来很慢 rn代码大约是这样的: rnpublic static Connection getSqlliteConn(String sqlName) rntry rn //sqlName: <em>数据</em>库路径 rnClass.forName("org.sqlite.JDBC"); rn// String aaa=Db.class.getResource("/").toString(); rnString fileName = sqlName; rnConnection conn = DriverManager.getConnection("jdbc:sqlite:" + fileName); rnreturn conn; rn rncatch (Exception e) rne.printStackTrace(); rn rnreturn null; rn rnrn/////////////////// 方法//////////rnConnection conn=null; rnconn = Db.getSqlliteConn(fileName); rnconn.setAutoCommit(false); rnrnSqliteDb.sdTask(conn, taskInfoId); ////从oracle<em>数据</em>查出后 插入sqlite<em>数据</em> rn////从oracle<em>数据</em>查出后 插入sqlite<em>数据</em>库里8个表 要循环很多次 每次很多条总计有1万条吧 rn从oracle 查<em>数据</em> 根据id我用的 this.hibernateTemplate.load(TXjInfo.class, id) 查的,还有list的; rnrnrnconn.commit(); rnconn.close(); rnrn一开始我看sql语句快一些,过了1分钟后就开始慢了,后来更慢了,,看看哪的问题啊,rnrnhibernate可以加rn session.flush(); rn session.clear(); rn就很快,,Connection 这个怎么清空下 或是有其他办法吗?
full control怎么保存大量数据
比如一个 点的链表的链表
jxl保存大量数据时内存越界问题!
<em>保存</em>的<em>数据</em>量大时,内存越界!rn各位大侠有什么好的方法可以解决<em>保存</em><em>大量</em>表格<em>数据</em>为excel文件?
小白:js中回调函数处理后的数据如何保存?
主要的函数为:n function Ajax(asc, url, data, func) n $.ajax(n // asc: false,n async: asc,n //type: "post",n //dataType: "json",n type: "get",n dataType: "jsonp",n //jsonp: "Callback", n // jsonpCallback: "TestCallback",n url: RTURL + url,n data: data,n //contentType: "application/x-www-form-urlencoded;charset=UTF-8",n success: func,n error: function (message) n alert("服务访问出错:" + message.status + message.statusText);n n );nn主要该方法是获取<em>数据</em>,网页中需要<em>使用</em>多个该方法获取<em>数据</em>.该方法的同步异步设置后.<em>数据</em>获取总是在全部内容走完之后才开始.求助大神该<em>如何</em>做?
程序中窗体数据的填充与保存,大家是如何处理的?
RT,大家是<em>如何</em>把<em>数据</em>填充到前台,并提交到<em>数据</em>库的?
如何访问关系型数据中的图片
我现在有一dbf<em>数据</em>库,其中有一列存放图片,请问<em>如何</em>将该列中的图片读出,并放入notes一表单的rtf域,谢谢
hive读取关系型数据数据
以oracle作为<em>数据</em>源 在oracle中建测试表并插入<em>数据</em>: create table tmp.tmp ( id varchar2(10), name varchar2(20) ); insert into tmp.tmp values('1','zhang'); commit; 在本地oracle客户端安装目录找到...\jdbc\lib\ojdbc6.jar,将此jar包加载到hd
如何保存动态创建数据对象中的数据
动态创建<em>数据</em>对象,在从文件中任意打开一个DBF文件,并把他的<em>数据</em>导入到<em>数据</em>窗口中.rn------------------------------------------rn问:<em>如何</em><em>保存</em>动态创建<em>数据</em>对象中的<em>数据</em>.我用update( ) 结果是update =-1 英文提示是dw 没有update() 的能力
如何从表单中获取大量数据
假设FORM中有select1--select20个下拉筐,80个文本输入框,能用Request.form()循环的将下拉框的值付给一个数组么?在线等待,马上给分
如何清理DB2中大量的冗余数据
我是单位的Mis系统管理员!我单位mis系统采用的是db2但是我发现每次删除过去不用的<em>数据</em>就很慢,删一天的<em>数据</em>需要半个小时,我认为这是因为在删<em>数据</em>时需要太多对表关系的冗余校验,现在请教各位<em>如何</em>解决这个问题?
如何更新数据库中的大量数据
从<em>数据</em>库中取出指定资源id的全部资源地址(可能很多,如某个100集电视剧就有100个资源地址),在网页中以列表方式显示给用户,用户可以删除,添加列表中的地址项。rn当用户操作完成后,要更新这个资源的资源地址。用户可能在原有基础上只做一点点修改(如只修改100集电视剧地址中的一个),也可能一点都不修改。rnrn问题:1、当用户操作完成后,我更新的方式是先把<em>数据</em>库中以前的地址全部删除,然后再重新插入新地址。这种方式<em>数据</em>操作太大,如果有更合理的<em>处理</em>方式,请教。rn2、<em>如何</em>判断从<em>数据</em>库中取出的地址和修改后的地址是否有更改(注意,地址可能很多),目前我的方式是刚开始时把从<em>数据</em>库中取出的资源的地址用','分隔存放在一个hidden控件中,当用户操作完成后点击提交时再用新值和这个hidden控件值做比较,如果相同则不做<em>处理</em>,如果不同(哪怕只有一点点不同),就按1的<em>处理</em>方式<em>处理</em>。问题是如果资源地址太多,存放在hidden控件中可能会造成服务器资源消耗过大,不知是否合理,如果有更合理的<em>处理</em>方式,请教。rn如果有大侠给出合理<em>处理</em>方案,单独追加100分!rn
servelet中如何传递大量数据
例如我从<em>数据</em>库中查询到一个很大的ResultSet想显示在客户端的表格中,怎么传好呢?流还是放在session中?
如何存储大量数据到变量中CStringList
[code=c] if (PathFileExists(pdlg->str_upLoadFilePath))rn rn CFile file_load;rn if (file_load.Open(pdlg->str_upLoadFilePath, CFile::modeRead))rn rn DWORD file_len = (DWORD)file_load.GetLength();rn pdlg->i_upLoadMaxNum = file_len / 512;rn if (pdlg->i_upLoadMaxNum * 512 < file_len)rn rn pdlg->i_upLoadMaxNum++;rn rn char carr_fileData[512];rn rn UINT u_readLen;rn while (TRUE)rn rn u_readLen = file_load.Read(carr_fileData, 512);rn CString str_temp, str_data;rn for (UINT i = 0; i < u_readLen; i++)rn rn str_temp.Format(_T("%02X"), (BYTE)carr_fileData[i]);rn str_data += str_temp;rn rn pdlg->list_strUpFile->AddTail(str_data);rn if (u_readLen < 512)rn rn break;rn rn rn rn file_load.Close();rn [/code]rn读文件是在线程里,list_strUpFile是对话框类的成员rnCStringList *list_strUpFile;//声明rnlist_strUpFile = new CStringList;//初始化rnrnPOSITION pos = list_strUpFile->FindIndex(n);//读其中的<em>数据</em>rnstr_data = list_strUpFile->GetAt(pos);rnrn取<em>数据</em>的时候,当n大于560左右的时候就会报错rn[img=https://img-bbs.csdn.net/upload/201907/22/1563793743_364370.png][/img]rnrnrn请问,CStringList <em>如何</em>可以存储更多<em>数据</em>?rnrn我的目的是读多个文件,文件大小从1字节---5M,想要把文件截成512字节一包发送出去,请问有什么更好的方法读这些文件?rnrnrnrn
如何使用ado将大量数据插入到oracle数据库字段中
各位大侠好啊rnrn最近在做一个公司内部的公告发布系统,其中有用到需要公告模板,我有word做了一个模板出来,可是就在编辑好的<em>数据</em>提交到后面进行<em>处理</em>的时候,却发现<em>数据</em>无法插入,rn我在接收传过来的变量的时候作了相应的<em>处理</em>,替换掉了单引号与双引号,只是不能插入,但是可以<em>使用</em>response.write 来显示我传递过来的内容.这个字符串大概有一万二千个字符左右的长度,可是我把这个字符串<em>使用</em>mid截断3500个字符,却是可以正常插入,而且我在powerbuilder中把这个字串内容直接复制到里面去,却可以 rn这个存储模板的字段是long型的rnrn还请各位指教~!rn
MFC中如何使用CEdit实时显示大量数据
在接收到串口中的<em>数据</em>后经过<em>处理</em>需要实时显示,但是由于<em>数据</em>量过大,<em>使用</em>CEdit::SetWindowText时总是会卡住,rn而<em>使用</em>SetSel和ReplaceSel只能显示部分<em>数据</em>,该怎么解决?[img=https://forum.csdn.net/PointForum/ui/scripts/csdn/Plugin/001/face/32.gif][/img]
存储过程如何接收网格中的大量数据
我用VB6+Sql2000进行开发。rn在VB端,有一个网格,行数是不固定的,现在要将网格里的一部分列的内容传递到存储过程里面。我现在的想法是,用循环逐行读取网格内容,然后在存储过程一次性<em>处理</em>这些<em>数据</em>。在存储过程里,至少要能逐行读取传递进来的<em>数据</em>,并且可以自由移动。问题是,我该用什么东西来接收这些<em>数据</em>那?临时表?游标?表变量?具体<em>如何</em>操作?rn
java中如何返回大量数据
现在我这边有一个系统,是CS模式。rnrn通过socket通信,<em>数据</em>传输用的是xml,所有<em>数据</em>访问都在服务端。rnrnrn我现在想问两个问题。rnrn第一个就是,客户端发出的指令比较多。服务端<em>如何</em>区分这些指令,然后调不同的类来<em>处理</em>?这个需要枚举么?或者还有更好的办法?rnrn第二个就是:因为涉及到多个<em>数据</em>库。所以,我准备把<em>数据</em>访问层独立出来。单独写一个类。像读取操作。读完以后,以什么格式返回给调用者?还是以XML格式么?
excel大量数据如何导入到oracle数据库中
excel<em>大量</em><em>数据</em><em>如何</em>导入到oracle<em>数据</em>库中
VC中如何存储大量数据
我需要在程序中存储千万条的<em>数据</em>,并且要随机访问,不知道该怎么<em>处理</em>,rn开始用的 vector,<em>数据</em>在五六百万时是可以的,但到了七百万就不行了,没有那抹大的整块内存给vector了。rn不知哪位高手指点一下。rn主要是要像vector一样可随机访问,而且是一个需要考虑速度的程序,越快越好。rn期待高手指点!!!
请教:大量数据如何导入到ORACLE数据库中???
请问<em>大量</em><em>数据</em><em>如何</em>导入到<em>数据</em>库中???rn<em>数据</em>是EXCEL文件和CSV格式文件,<em>数据</em>库是ORACLE
jsp+tomcat+mysql+sevlet+javabean配置过程下载
jsp+tomcat+mysql+sevlet+javabean配置过程 相关下载链接:[url=//download.csdn.net/download/chang_limin/3819238?utm_source=bbsseo]//download.csdn.net/download/chang_limin/3819238?utm_source=bbsseo[/url]
(htm转js asp php 网页格式) 绿色版下载
可以快速方便的把htm转换成js,asp,php 绿色文件 相关下载链接:[url=//download.csdn.net/download/zhucheyo/3938126?utm_source=bbsseo]//download.csdn.net/download/zhucheyo/3938126?utm_source=bbsseo[/url]
\电子商务教案.rar下载
电子商务PPT教案 清华大学出版社 相关下载链接:[url=//download.csdn.net/download/luoluo51/4108060?utm_source=bbsseo]//download.csdn.net/download/luoluo51/4108060?utm_source=bbsseo[/url]
我们是很有底线的