量化数据库设计.pdf下载

weixin_39822095 2023-01-23 16:30:22
量化数据库设计 量化数据库设计 前⾔ 前⾔ 在业界,评价⼀个策略好坏的标准,通常会去观察收益曲线的波动,看是否平顺,也就是控制最⼤回撤,追求⾼夏普。⽽降低策略波动很重要的⼀个⽅法就是多品种,多参数的对冲, ⽐如同样是多空对冲底层逻辑的策略,往往在单独品种上⾯表现⼀般,但是延伸到多品种,多市场的时候,会有很⼤的改善,若再叠加多组参数(⼀个参数取多个处于参数平原的值去 运⾏,⾮增加参数),也能对降低策略的波动(虽然必然会牺牲收益)。 因此,经常会发⽣在这情况,随着策略优化的进⾏,会发现需要调⽤的数据越来越多,越来越杂,很可能新的数据不兼容历史格式,从⽽单独建库。到最后发现策略每天运⾏需要的数 据杂乱⽆章,调⽤数据相关的API修改频率很⾼,功能划分也⾮常混乱,每次数据的更新修改效率低下,⼗分容易产⽣疏忽。针对这个问题,重新设计了量化数据库,便于后期的数据 管理和调⽤。 数据库选型及结构 数据库选型及结构 结合实际,从业务逻辑出发,量化数据⼊库主要是为了数据的管理以及使⽤,让使⽤者具有清晰的逻辑去调⽤数据。因此,数据库中⼀部分表⽤于维护不同类型数据之间的关系,另外 ⼀部分表⽤于按照调⽤逻辑进⾏实际存储。 量化数据(⾏情数据/指标因⼦/财务数据等等)基本上都是时序类的数据,并且数据的字段往往会随着研究的深⼊慢慢增加,因此数据的实际存储最终选择了ClickHouse(⽬前性能最 好的列式存储数据库,并且⽀持多种查询⽅式,⾮常适合策略回测) ⽽⽤于数据关系维护的表则使⽤Mysql(也可以都使⽤Clickhouse ⽆伤⼤雅,只是关系型数据库做这个事情逻辑上更说得通⽽已加)。 思路 思路 量化数据的管理抽象为三部分: 品种管理:负责记录⼊库的数据属于哪个⾦融类别(股票,期货,期权等),以及每个⾦融类别有哪些划分标准(⽐如:股票能按照指数、⾏业、概念,期货能按照⾏业、交易所等),每个 划分标准由哪些组成(⽐如:股票指数包含 zz500 hs300) 有了这些划分之后,当要⼊库和查询⼀些数据的时候,可以很清晰地去定位。 数据管理:负责记录⼊库的数据属于哪⼀⽅⾯(⾏情数据,因⼦数据,现货数据),每种数据类型由哪些组成(⽐如:⾏情数据有open high low close ,因⼦数据有 alpha1 alpha2... ... ) 最后 还需要记录每个品种管理中的⾦融类别⽀持哪些数据(⽐如:股票数据⽀持⾏情数据,因⼦数据, 期货数据⽀持现货数据) 数据存储:体现数据存储的真实结构 分库分表进⾏存储 按照⾦融类别 分别创建以下数据库 以stock为例: stock_manager (库) --> 每个⾦融类别划分标准组成⼀张表 记录这个类别在每个时间段的具体成员(如 hs300为⼀张表 通过这个表查可以查询hs300某个时段的股票组成) stock_data_⾏情数据(库) ---> 每个品种的每个周期的所有相关数据列构成⼀张表(如 000001.SH_day 的所有数据为⼀张表) stock_data_因⼦数据(库) ---> 每个品种的每个周期的所有相关数据列构成⼀张表(如 000001.SH_day 的所有数据为⼀张表) ... ... 其他⾦融类别 以此类推。 数据库ER图 根据上述表结构,重构数据调⽤API,后期⽆论需要增加什么数据,都能在这个架构下在数据库中进⾏⼊库以及调⽤。 搭建 搭建 clickhouse root权限创建/etc/apt/sources.list.d/clickhouse.list⽂件 并且写⼊: deb http://repo.yandex.ru/clickhouse/deb/stable/ main/ (注意空格 否则后⾯报错) 设置了软件源,开始安装 sudo apt-get install dirmngr # optional sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv E0C56BD4 # optional sudo apt-get update 可以选择⽹络安装 sudo apt-get install clickhouse-client clickhouse-server 也可以⼿动下载安装 先在官⽹下载以下3个⽂件,然后执⾏命令(可以使⽤samba 在window下载完传过去) sudo dpkg -i clickhouse-common-static_20.9.2.20_amd64.deb sudo dpkg -i clickhouse-server_20.9.2.20_all.deb sudo dpkg -i clickhouse-client_20.9.2.20_all.deb 开启服务,可以在/var/lo , 相关下载链接:https://download.csdn.net/download/qq_43966957/87372914?utm_source=bbsseo
...全文
浏览 回复 打赏 收藏 举报
写回复
回复
切换为时间正序
请发表友善的回复…
发表回复
发帖
下载资源悬赏专区

1.1w+

社区成员

CSDN 下载资源悬赏专区
其他 技术论坛(原bbs)
社区管理员
  • 下载资源悬赏专区社区
加入社区
帖子事件
创建了帖子
2023-01-23 16:30
社区公告
暂无公告