asp.net 超大文本文件入库如何解决，100分求助

[jms918]

文件文件有1G左右，每行的字符个数不一致。每行数据有300列，每列之间使用逗号分隔。
想通过每读取一行，对这行数据分解写入oracle数据库，当运行后出现HTTP Error 413.1 - Request Entity Too Large。
如果通过文件流来读取，每次读取的数据不一定是完整的每行数据。
请赐教

[X-i-n]

两个方向：1. 把请求体积限制调高点，但太吃服务器资源；2. 减小文件体积，比如上传的时候使用zip格式。

[X-i-n]

不过回过头来看，你这个需求用当前方案来实现不是太合理，内网的话好说，如果是走的公网，需要上传1G的文件，应该考虑用其它方式，走HTTP问题太多了： 体积限制调高，被攻击的时候服务器秒躺； 文件体积过大，即使正常的请求也会给服务器带来较大压力； 文件体积过大，服务器后端接收到文件以后，处理会比较吃力； 传输时间过长，很可能超时； 传输时间过长，严重影响业务效率； 如果传输中断，无法重传。

[jms918]

为什么看不到别人的回复啊

[tcmakebest]

问题在这里:: 每次读取的数据不一定是完整的每行数据

[大鱼>]

按行读取思路是对的啊，只是你服务器限制了你的每次上传的大小，可以采用压缩的方式进行上传也行

[jms918]

string filePath = @"c:\\aa.txt"; int bufferSize = 102400; //每次读取的字节数 byte[] buffer = new byte[bufferSize]; System.IO.FileStream stream = null; try { stream = new System.IO.FileStream(filePath, System.IO.FileMode.Open); long fileLength = stream.Length;//文件流的长度 int readCount = (int)Math.Ceiling((double)(bufferSize / fileLength)); //需要对文件读取的次数 int tempCount = 0;//当前已经读取的次数 do { stream.Read(buffer, tempCount * bufferSize, bufferSize); //分readCount次读取这个文件流，每次从上次读取的结束位置开始读取bufferSize个字节 //这里加入接收和处理数据的逻辑 //Console.WriteLine(Encoding.UTF8.GetString(buffer)); string s=Encoding.Default.GetString(buffer); } while (tempCount < readCount); } catch { } finally { if (stream != null) stream.Dispose(); }

[jms918]

现在是可以读取，读到几万行后，超时了。不知道怎么解决

[lijing3333]

压缩包上传 然后压缩包解压 txt 建立一个临时数据库表 记录解压txt 的读取状态 比如读取到x行x个字符 另外写一个windows服务程序 进行循环读取 比如数据库写入3万行 就让服务程序断开 从新读取写入数据 当txt全部读去完 修改txt表的状态值。 http上传之后就可以不用管读txt是否读取完毕了 让服务程序去写入数据库 http上传之后txt的状态就是文件写入中 需要一定的时间。

[以专业开发人员为伍]

引用 7 楼 jms918 的回复:

现在是可以读取，读到几万行后，超时了。不知道怎么解决

技术解决方案的不同，其实受限于认知。当你通过网页上传一个1G大小的文本文件的时候，就应该从 js 端对文件内容进行逻辑拆分（使用 html5 的能力），或者考虑 http 是否应该淘汰掉，换 websocket？！

[以专业开发人员为伍]

这类问题的提出，其实可能首先就是针对你们的技术的一次挑战，要求淘汰一批系统开发商。

[Rimifon]

上传1G的文件，你服务器的空间得大，有可能不到一个月磁盘使用就达到Tb级别了。一定要这么做的话，参考云平台的对象存储，磁盘不够，直接上新服务器继续存储。

[Rimifon]

明白意思了，应该是导数据入库。有个什么对象有ReadLine功能，可以逐行读文本，逐行处理就好了。

[三楼の郎]

引用 楼主 jms918 的回复:

文件文件有1G左右，每行的字符个数不一致。每行数据有300列，每列之间使用逗号分隔。 想通过每读取一行，对这行数据分解写入oracle数据库，当运行后出现HTTP Error 413.1 - Request Entity Too Large。 如果通过文件流来读取，每次读取的数据不一定是完整的每行数据。 请赐教

每列之间以逗号分隔的这种固定格式的文本文件是可以当作数据库来处理的，可以用dataset或datatable打开后一行一行的读取，具体问度娘“ado.net 文本文件”。 1G太大通常做法都是直接拷贝到机房用导入导出工具或命令操作，当然如果可以远程访问数据库的话也可以不用上机房，具体可以问度娘"txt文件导入oracle数据库"。

[wanghui0380]

我们想的事情是为啥他是oracle，而不是OSS

[jms918]

已经解决，谢谢各位的解答