python 读取txt文件的数据，插入oracle的编码问题

2017-11-04 12:11:31 775 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

a1419362866 墨衍会员 · AI 创作全网分发关注 + 加入社区

CAD 2020 数据提取功能实战：8步从DLG图层精准导出高程点TXT 本文详细介绍了CAD 2020数据提取功能在DLG图层中精准导出高程点TXT的8步实战流程。从环境配置、图层隔离到数据提取与优化，提供完整的操作指南和常见问题解决方案，帮助测绘和地质勘察专业人员高效处理高程数据。阅读详情

已经插入四个批次，28936条记录，在插入第五个批次的时候报这个错了
Traceback (most recent call last):
File "F:/Python_prictice/day2/li_zi1.py", line 54, in <module>
line = f.read(buff) # 从文件中读取一段内容
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\lib\codecs.py", line 698, in read
return self.reader.read(size)
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\lib\codecs.py", line 501, in read
newchars, decodedbytes = self.decode(data, self.errors)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x99 in position 0: invalid start byte

...全文

泛微OA XmlRpcServlet文件读取漏洞：原理、复现与安全启示在Web应用安全领域，文件读取漏洞是一种常见且危害严重的安全威胁，其核心原理往往与路径遍历攻击紧密相关。路径遍历允许攻击者通过构造包含特殊序列（如`../`）的输入参数，突破应用程序设定的访问目录限制，从而读取服务器上的任意文件。这种漏洞的技术价值在于，它直接破坏了Web应用最基本的安全边界——访问控制，可能导致包括数据库连接信息、系统配置文件乃至源代码在内的敏感数据泄露。在协同办公系统等企业级应用场景中，这类漏洞尤为危险，因为其中通常存储着大量业务敏感信息。本文以泛微OA E-Cology系统中经典的Xm 阅读详情

a1419362866

Oracle 17,133 成员 55,258 内容

+ 关注 + 加入社区

切换为时间正序

a1419362866 2017-11-07

打赏
举报

引用 7 楼 wandier 的回复:

源文件是不是dos格式，用dos2unix试下

我是自己练习玩的，数据库，文本类都是utf-8，谢谢您的意见啊

a1419362866 2017-11-07

打赏
举报

引用 8 楼 ckc 的回复:

数据文件里有乱码转码的时候出错了如果以前插入的数据没错的话你的程序就不要改了，检查一下哪一行数据引发的错误修改数据文件就可以了当然也可以在程序里加上try判断一下如果有乱码进行相应差错处理

谢谢啦，我找到问题，我那个seek读的固定的字节书，把某个文字分开，导致下一个开始字节utf-8不能解析，换一种读取文件的方法就好了 with codecs.open('oracle_test.txt','rb','utf-8') as f:

ckc 2017-11-06

打赏
举报

数据文件里有乱码转码的时候出错了如果以前插入的数据没错的话你的程序就不要改了，检查一下哪一行数据引发的错误修改数据文件就可以了当然也可以在程序里加上try判断一下如果有乱码进行相应差错处理

wandier 2017-11-06

打赏
举报

源文件是不是dos格式，用dos2unix试下

a1419362866 2017-11-05

打赏
举报

引用 5 楼 qq646748739 的回复:

coding=utf8改成coding:utf-8或coding=utf-8

试了也没效果

碧水幽幽泉 2017-11-05

打赏
举报

coding=utf8改成coding:utf-8或coding=utf-8

碧水幽幽泉 2017-11-05

打赏
举报

一个应该是python脚本的问题吧。

a1419362866 2017-11-04

打赏
举报

日期不知道怎么插入，给了四个None..... lin[9] = None lin[14] = None lin[15] = None lin[22] = None

a1419362866 2017-11-04

打赏
举报

# Author:Liu Jie # coding=utf8 import os import re import time from datetime import datetime import hashlib import cx_Oracle import random import _datetime,time import codecs starttime = _datetime.datetime.now() f = codecs.open('oracle_test.txt', 'rb',encoding='UTF-8') def writeDB(params): #print(len(params)) conn = cur = None try: stmt = """INSERT INTO ml_sadmpa_spc_apply_ltmp (topactualid, notificationno, ctpclaimno, comclaimno, op_branch_code, op_branch_name, op_code, op_name, kind, statrt_time, audit_code, audit_name, audit_descript, the_result, special_start_time, back_time, back_reason, isreopenctp, isreopencommercial, branch_code, ml_month, ml_year, ml_population_timestamp) VALUES (:1,:2,:3,:4,:5,:6,:7,:8,:9,:10,:11, :12,:13,:14,:15,:16,:17,:18,:19,:20,:21,:22,:23)""" conn = cx_Oracle.connect('amml', 'Liujie687092', '192.168.199.220:1521/claimamdb') cur = conn.cursor() cur.executemany(stmt, params) except cx_Oracle.connector.Error as e: print('ni ma de a a a a ') print(params) endtime = _datetime.datetime.now() times = (endtime - starttime).seconds print(times) print e finally: if cur: cur.close() if conn: conn.commit() # 如果数据库表类型是Innodb记的带个参数 conn.close() buff = 1024*1024 last = '' flag = 1 num = 0 while flag>0: num = num+1 f.seek(0,1) line = f.read(buff) # 从文件中读取一段内容 if len(line)==0: print('there is nothing') flag = 0 data = [] lines = re.split("\n", line) # 以回车(\n)分隔内容到数组中 if last == '': None else: lines[0] = str(last) + str(lines[0]) last = lines.pop() # 将数组最后一条数据剔除，并存到last变量中，到下次循环再处理 for lin in lines: lin = lin.rstrip() # 去除内容末尾的回车字符 if not lin: continue lin = lin.split('||') lin[0] = int(lin[0]) # sss = time.strftime('%Y-%m-%d %H:%M:%S',time.strptime(lin[9],'%Y-%m-%d %H:%M:%S')) lin[9] = None lin[14] = None lin[15] = None lin[22] = None if len(lin)==23: print('只有23个，没做删除操作') #print(len) elif len(lin)>=24: if len(lin)>24: print('这是大于24的') print(lin) a = len(lin)-23 while a>0: lin.remove(lin[22+a]) a = a-1 elif len(lin)<23: print('这是小于23的') #print(lin) b = 23 -len(lin) while b>0: lin.append() b = b-1 else: print('这是什么鬼，老衲也无能为力呐') lin = tuple(lin) data.append(lin) # 封装内容 if len(data) > 0: writeDB(data) time.sleep(random.random()) # 让Cpu随机休息0 <= n < 1.0 s print(num) f.close() endtime = _datetime.datetime.now() times = (endtime-starttime).seconds print(times)

qq_40608182 2017-11-04

打赏
举报

python 读取txt文件的数据，插入oracle的编码问题

相关推荐