请教python3处理postgresql的copy语句的问题，on windows

牛肉炖柿子 2017-10-25 09:19:16

每小时要去oracle取一次数据到pgsql9.6，在pgsql库在windows下，oracle库在服务器。每次数据都是相同的N张表中上一个小时的数据，每次数据大概2个G吧。
我目前在windows上用python3.6.3将每小时的oracle数据load到windows上成CSV文件，然后想通将过python执行pgsql的copy语句将CSV导入到pgsql，但是语句执行没有结果。PS:导出的语句正常执行
前2天，我直接调用shell导入CSV，不知道什么原因，调用shell执行有时候失效，同时发现个问题就是定时设置上有点问题。因为网络有时候很卡，取数据比较慢，结果提前导入了,导致数据不全。如果定时太晚，不符合目前项目上的监控要求。时间设置上不好把握。

...全文

574 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

douhao10 2021-06-21

打赏
举报

回复

请问为什么会有报错？我这路径是绝对路径呀！

copy bank.acct_amt to 'd:\zxy_python\store-data\acct_amt.txt' encoding 'utf8' delimiter ',';

SQL 错误 [42602]: ERROR: relative path not allowed for COPY to file

pierian_d 2018-03-16

打赏
举报

回复

psycopg2.ProgrammingError: must be superuser to COPY to or from a file HINT: Anyone can COPY to stdout or from stdin. psql's \copy command also works for anyone.

wandier 2017-10-28

打赏
举报

回复 1

有没有commit?

牛肉炖柿子 2017-10-25

打赏
举报

回复

我从事的是通信的现场服务，自己做个小工具，实现数据的备份和监控

前言总结下前期利用python操作postgresql数据库的笔记，方便以后使用，顺便安利markdown真舒服文章目录前言python上传dataframe数据入数据库pd.to_sql上传copy_from上传python读取数据库数据为dataframe创建connection对象pd.read_sql读取数据库python操作数据库执行sql语句创建connection对象创建cursor对象cursor对象执行sql语句学习链接 python上传dataframe数据入数据库主要是通过pd.to_sql和copy_from进行数据上传 pd.to_sql上传数据是datafr

postgresql_employees 在postgresql 中安装简化之后的employees数据库配置过程 1、进入下载目录 2、执行 psql -U postgres -a -f init.sql 注意：此处需要修改init.sql文件中copy语句的文件路径为自己存储csv文件的路径 csv文件 1、csv 文件是employees 删减之后的数据集，对于mysql数据库，可以先将employees数据库中的数据清空，然后导入csv。 2、可以利用 main.py 选择自己生成csv文件，此处删减数据根据 emp_no 字段进行，考虑dept_manager数据表内部emp_no字段的值只有110022->111939,整个数据库的emp_no值在10001->490000之间，所以删减数据时考虑了要包含110022-111939，否则dept_manager会为空表。最终选

Postgres-Proto 用于实现使用PostgreSQL协议的套接字服务器的实用程序。在您的应用程序中添加对PostgreSQL协议的支持，并立即增加与数百种现有应用程序的兼容性（例如：商业智能工具，报告工具，无代码应用程序制造商等）包括一个简单且宽容SQL解析器，以实现自定义SQL语句。特征：超级容易实现自定义语句的处理验证 SSL协议信息模式发现处理准备好的陈述确保与大多数在启动时执行某些查询的工具的兼容性最低高水平的可定制性和扩展能力警告：这不是协议的完整实现（明显缺少COPY）。但是，它提供了足够的功能来确保与许多客户端的兼容性。例子 from postgres_proto . socket_handler import PostgresRequestHandler from postgres_proto . flow import Post

SQLite 是一款轻型的数据库是遵守ACID的关联式数据库管理系统它的设计目标是嵌入式的而且目前已经在很多嵌入式产品中使用了它它占用资源非常的低在嵌入式设备中可能只需要几百K的内存就够了它能够支持Windows Linux Unix等等主流的操作系统同时能够跟很多程序语言相结合比如 Tcl C# PHP Java等还有ODBC接口同样比起Mysql PostgreSQL这两款开源世界著名的数据库管理系统来讲它的处理速度比他们都快 SQLite第一个Alpha版本诞生于2000年5月至今已经有10个年头 SQLite也迎来了一个版本 SQLite 3已经发布 SQLite功能　　SQLite虽然很小巧但是支持的SQL语句不会逊色于其他开源数据库它支持的SQL包括：　　ATTACH DATABASE 　　BEGIN TRANSACTION 　　comment 　　COMMIT TRANSACTION 　　COPY 　　CREATE INDEX 　　CREATE TABLE 　　CREATE TRIGGER 　　CREATE VIEW 　　DELETE 　　DETACH DATABASE 　　DROP INDEX 　　DROP TABLE 　　DROP TRIGGER 　　DROP VIEW 　　END TRANSACTION 　　EXPLAIN 　　expression 　　INSERT 　　ON CONFLICT clause 　　PRAGMA 　　REPLACE 　　ROLLBACK TRANSACTION 　　SELECT 　　UPDATE 　　同时它还支持事务处理功能等等也有人说它象Microsoft的Access 有时候真的觉得有点象但是事实上它们区别很大比如SQLite 支持跨平台操作简单能够使用很多语言直接创建数据库而不象Access一样需要Office的支持如果你是个很小型的应用或者你想做嵌入式开发没有合适的数据库系统那么现在你可以考虑使用SQLite 目前它的最新版本是 3 7 8 它的官方网站是：http: www sqlite org或者http: www sqlite com cn 能在上面获得源代码和文档同时因为数据库结构简单系统源代码也不是很多也适合想研究数据库系统开发的专业人士 SQLite特性下面是访问SQLite官方网站: http: www sqlite org 时第一眼看到关于SQLite的特性　　1 ACID事务　　2 零配置 – 无需安装和管理配置　　3 储存在单一磁盘文件中的一个完整的数据库　　4 数据库文件可以在不同字节顺序的机器间自由的共享　　5 支持数据库大小至2TB 　　6 足够小大致3万行C代码 250K 　　7 比一些流行的数据库在大部分普通数据库操作要快　　8 简单轻松的API 　　9 包含TCL绑定同时通过Wrapper支持其他语言的绑定　　10 良好注释的源代码并且有着90%以上的测试覆盖率　　11 独立: 没有额外依赖　　12 Source完全的Open 你可以用于任何用途包括出售它　　13 支持多种开发语言 C PHP Perl Java C# Python SQLite类型 SQLite的数据类型　　首先你会接触到一个让你惊讶的名词: Typelessness 无类型对 SQLite是无类型的这意味着你可以保存任何类型的数据到你所想要保存的任何表的任何列中无论这列声明的数据类型是什么只有在一种情况下不是稍后解释对于SQLite来说对字段不指定类型是完全有效的如: 　　Create Table ex1 a b c ; 　　诚然SQLite允许忽略数据类型但是仍然建议在你的Create Table语句中指定数据类型因为数据类型对于你和其他的程序员交流或者你准备换掉你的数据库引擎 SQLite支持常见的数据类型如: 　　CREATE TABLE ex2 　　a VARCHAR 10 　　b NVARCHAR 15 　　c TEXT 　　d INTEGER 　　e FLOAT 　　f BOOLEAN 　　g CLOB 　　h BLOB 　　i TIMESTAMP 　　j NUMERIC 10 5 　　k VARYING CHARACTER 24 　　l NATIONAL VARYING CHARACTER 16 　　 ; 　　前面提到在某种情况下 SQLite的字段并不是无类型的即在字段类型为”Integer Primary Key”时使用 NET操作SQLLITE 　　先下载ADO NET2 0 Provider for SQLite 下载binaries zip版就可以了下载完后解压缩可以在bin目录下找到System Data SQLite DLL 在vs2008中用Add Refrence功能把System Data SQLite DLL加到工程里就可以了运行下面代码试试：　　string datasource "e: tmp test db"; 　　System Data SQLite SQLiteConnection CreateFile(datasource); 　　连接数据库　　System Data SQLite SQLiteConnection conn new System Data SQLite SQLiteConnection ; 　　System Data SQLite SQLiteConnectionStringBuilder connstr new System Data SQLite SQLiteConnectionStringBuilder ; 　　connstr DataSource datasource; 　　connstr Password "admin"; 设置密码 SQLite ADO NET实现了数据库密码保护　　conn ConnectionString connstr ToString ; 　　conn Open ; 　　创建表　　System Data SQLite SQLiteCommand cmd new System Data SQLite SQLiteCommand ; 　　string sql "CREATE TABLE test username varchar 20 password varchar 20 "; 　　cmd CommandText sql; 　　cmd Connection conn; 　　cmd ExecuteNonQuery ; 　　插入数据　　sql "INSERT INTO test VALUES "a" "b" "; 　　cmd CommandText sql; 　　cmd ExecuteNonQuery ; 　　取出数据　　sql "SELECT FROM test"; 　　cmd CommandText sql; 　　System Data SQLite SQLiteDataReader reader cmd ExecuteReader ; 　　StringBuilder sb new StringBuilder ; 　　while reader Read 　　{ 　　sb Append "username:" Append reader GetString 0 Append " n" 　　 Append "password:" Append reader GetString 1 ; 　　} 　　MessageBox Show sb ToString ;">SQLite 是一款轻型的数据库是遵守ACID的关联式数据库管理系统它的设计目标是嵌入式的而且目前已经在很多嵌入式产品中使用了它它占用资源非常的低在嵌入式设备中可能只需要几百K的内存就够了它能够支持Wind [更多]

SQLite，是一款轻型的数据库，是遵守ACID的关联式数据库管理系统，它的设计目标是嵌入式的，而且目前已经在很多嵌入式产品中使用了它，它占用资源非常的低，在嵌入式设备中，可能只需要几百K的内存就够了。它能够支持Windows/Linux/Unix等等主流的操作系统，同时能够跟很多程序语言相结合，比如 Tcl、C#、PHP、Java等，还有ODBC接口，同样比起Mysql、PostgreSQL这两款开源世界著名的数据库管理系统来讲，它的处理速度比他们都快。SQLite第一个Alpha版本诞生于2000年5月. 至今已经有10个年头，SQLite也迎来了一个版本 SQLite 3已经发布。 SQLite功能　　SQLite虽然很小巧，但是支持的SQL语句不会逊色于其他开源数据库，它支持的SQL包括：　　ATTACH DATABASE 　　BEGIN TRANSACTION 　　comment 　　COMMIT TRANSACTION 　　COPY 　　CREATE INDEX 　　CREATE TABLE 　　CREATE TRIGGER 　　CREATE VIEW 　　DELETE 　　DETACH DATABASE 　　DROP INDEX 　　DROP TABLE 　　DROP TRIGGER 　　DROP VIEW 　　END TRANSACTION 　　EXPLAIN 　　expression 　　INSERT 　　ON CONFLICT clause 　　PRAGMA 　　REPLACE 　　ROLLBACK TRANSACTION 　　SELECT 　　UPDATE 　　同时它还支持事务处理功能等等。也有人说它象Microsoft的Access，有时候真的觉得有点象，但是事实上它们区别很大。比如SQLite 支持跨平台，操作简单，能够使用很多语言直接创建数据库，而不象Access一样需要Office的支持。如果你是个很小型的应用，或者你想做嵌入式开发，没有合适的数据库系统，那么现在你可以考虑使用SQLite。目前它的最新版本是 3.7.8 。它的官方网站是：http://www.sqlite. org或者http://www.sqlite .com .cn，能在上面获得源代码和文档。同时因为数据库结构简单，系统源代码也不是很多，也适合想研究数据库系统开发的专业人士 SQLite特性下面是访问SQLite官方网站: http://www.sqlite. org/ 时第一眼看到关于SQLite的特性. 　　1. ACID事务　　2. 零配置 – 无需安装和管理配置　　3. 储存在单一磁盘文件中的一个完整的数据库　　4. 数据库文件可以在不同字节顺序的机器间自由的共享　　5. 支持数据库大小至2TB 　　6. 足够小, 大致3万行C代码, 250K 　　7. 比一些流行的数据库在大部分普通数据库操作要快　　8. 简单, 轻松的API 　　9. 包含TCL绑定, 同时通过Wrapper支持其他语言的绑定　　10. 良好注释的源代码, 并且有着90%以上的测试覆盖率　　11. 独立: 没有额外依赖　　12. Source完全的Open, 你可以用于任何用途, 包括出售它　　13. 支持多种开发语言,C, PHP, Perl, Java, C#,Python SQLite类型 SQLite的数据类型　　首先你会接触到一个让你惊讶的名词: Typelessness(无类型). 对! SQLite是无类型的. 这意味着你可以保存任何类型的数据到你所想要保存的任何表的任何列中, 无论这列声明的数据类型是什么(只有在一种情况下不是, 稍后解释). 对于SQLite来说对字段不指定类型是完全有效的. 如: 　　Create Table ex1(a, b, c); 　　诚然SQLite允许忽略数据类型, 但是仍然建议在你的Create Table语句中指定数据类型. 因为数据类型对于你和其他的程序员交流, 或者你准备换掉你的数据库引擎. SQLite支持常见的数据类型, 如: 　　CREATE TABLE ex2( 　　a VARCHAR(10), 　　b NVARCHAR(15), 　　c TEXT, 　　d INTEGER, 　　e FLOAT, 　　f BOOLEAN, 　　g CLOB, 　　h BLOB, 　　i TIMESTAMP, 　　j NUMERIC(10,5) 　　k VARYING CHARACTER (24), 　　l NATIONAL VARYING CHARACTER(16) 　　); 　　前面提到在某种情况下, SQLite的字段并不是无类型的. 即在字段类型为”Integer Primary Key”时. 使用.NET操作SQLLITE 　　先下载ADO.NET2.0 Provider for SQLite。下载binaries zip版就可以了。下载完后解压缩，可以在bin目录下找到System.Data.SQLite.DLL。在vs2008中用Add Refrence功能把System.Data.SQLite.DLL加到工程里就可以了。运行下面代码试试：　　string datasource = "e:/tmp/test.db"; 　　System.Data.SQLite.SQLiteConnection.CreateFile(datasource); 　　//连接数据库　　System.Data.SQLite.SQLiteConnection conn = new System.Data.SQLite.SQLiteConnection(); 　　System.Data.SQLite.SQLiteConnectionStringBuilder connstr = new System.Data.SQLite.SQLiteConnectionStringBuilder(); 　　connstr.DataSource = datasource; 　　connstr.Password = "admin";//设置密码，SQLite ADO.NET实现了数据库密码保护　　conn.ConnectionString = connstr.ToString(); 　　conn.Open(); 　　//创建表　　System.Data.SQLite.SQLiteCommand cmd = new System.Data.SQLite.SQLiteCommand(); 　　string sql = "CREATE TABLE test(username varchar(20),password varchar(20))"; 　　cmd.CommandText = sql; 　　cmd.Connection = conn; 　　cmd.ExecuteNonQuery(); 　　//插入数据　　sql = "INSERT INTO test VALUES('a','b')"; 　　cmd.CommandText = sql; 　　cmd.ExecuteNonQuery(); 　　//取出数据　　sql = "SELECT * FROM test"; 　　cmd.CommandText = sql; 　　System.Data.SQLite.SQLiteDataReader reader = cmd.ExecuteReader(); 　　StringBuilder sb = new StringBuilder(); 　　while (reader.Read()) 　　{ 　　sb.Append("username:").Append(reader.GetString(0)).Append("\n") 　　.Append("password:").Append(reader.GetString(1)); 　　} 　　MessageBox.Show(sb.ToString());

37,721

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章