DolphinDB视频教程丨金融高频数据管理：DolphinDB 与 pickle 的性能对比和分析

DolphinDB智臾科技

企业官方账号

2022-01-11 14:44:12

本期主题: DolphinDB及DolphinDB Python API与Pickle的性能对比测试分析

本篇教程链接： dolphindb/Tutorials_CN

...全文

172 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Python3.2.3官方文档（中文版）由笔者自己翻译，有不当之处希望在博客上相互交流

金融市场 L1/L2 的报价和交易数据是量化交易研究非常重要的数据。国内全市场 L1/L2 的历史数据约为 20~50T，每日新增的数据量约为 20~50G。传统的关系数据库如 MS SQL Server 或 MySQL 均无法支撑这样的数据量级，即便分库分表，查询性能也远远无法达到要求。

金融市场L1/L2的报价和交易数据是量化交易研究非常重要的数据。国内全市场L1/L2的历史数据约为20~50T，每日新增的数据量约为20~50G。传统的关系数据库如MS SQL Server或MySQL均无法支撑这样的数据量级，即便分库分表，查询性能也远远无法达到要求。例如Impala和Greenplum的数据仓库，以及例如HBase的NoSQL数据库，可以解决这个数据量级的存储，但是这类通用的存储引擎缺乏对时序数据的友好支持，在查询和计算方面都存在严重的不足，对量化金融普遍采用的Python的支持也极为有

模型训练中_pickle.PicklingError: Can't pickle问题解决办法一、问题描述二、解决办法欢迎学习交流！邮箱： z…@1…6.com 网站： https://zephyrhours.github.io/ 一、问题描述最近在学习 SiamFC 模型的目标跟踪模型时，发现在window平台进行模型训练时总是出现下面的问题： _pickle.PicklingError: Can’t pickle <class ‘pairwise.GenericDict’>: att

python 多线程时报错：TypeError: cannot pickle ‘_thread.lock‘ object使用进程池时遇到的坑... TypeError: can‘t pickle _thread.lock objectspython 中多进程报错：TypeError: can't pickle _thread.lock objects TypeError: can't pickle _thread.RLock objects使用pickle时遇到TypeError: can't pick

17

社区成员

60

社区内容

发帖

与我相关

我的任务

分布式时序数据库金融企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

速度即价值！

一站式大数据方案
性能优异
快速开发
降低综合使用成本

试试用AI创作助手写篇文章吧

+ 用AI写文章