量化数据库设计.pdf下载

[weixin_39822095]

量化数据库设计 量化数据库设计 前⾔ 前⾔ 在业界，评价⼀个策略好坏的标准，通常会去观察收益曲线的波动，看是否平顺，也就是控制最⼤回撤，追求⾼夏普。⽽降低策略波动很重要的⼀个⽅法就是多品种，多参数的对冲， ⽐如同样是多空对冲底层逻辑的策略，往往在单独品种上⾯表现⼀般，但是延伸到多品种，多市场的时候，会有很⼤的改善，若再叠加多组参数(⼀个参数取多个处于参数平原的值去 运⾏，⾮增加参数)，也能对降低策略的波动（虽然必然会牺牲收益）。 因此，经常会发⽣在这情况，随着策略优化的进⾏，会发现需要调⽤的数据越来越多，越来越杂，很可能新的数据不兼容历史格式，从⽽单独建库。到最后发现策略每天运⾏需要的数 据杂乱⽆章，调⽤数据相关的API修改频率很⾼，功能划分也⾮常混乱，每次数据的更新修改效率低下，⼗分容易产⽣疏忽。针对这个问题，重新设计了量化数据库，便于后期的数据 管理和调⽤。 数据库选型及结构 数据库选型及结构 结合实际，从业务逻辑出发，量化数据⼊库主要是为了数据的管理以及使⽤，让使⽤者具有清晰的逻辑去调⽤数据。因此，数据库中⼀部分表⽤于维护不同类型数据之间的关系，另外 ⼀部分表⽤于按照调⽤逻辑进⾏实际存储。 量化数据（⾏情数据/指标因⼦/财务数据等等）基本上都是时序类的数据，并且数据的字段往往会随着研究的深⼊慢慢增加，因此数据的实际存储最终选择了ClickHouse(⽬前性能最 好的列式存储数据库，并且⽀持多种查询⽅式，⾮常适合策略回测) ⽽⽤于数据关系维护的表则使⽤Mysql(也可以都使⽤Clickhouse ⽆伤⼤雅，只是关系型数据库做这个事情逻辑上更说得通⽽已加)。 思路 思路 量化数据的管理抽象为三部分： 品种管理：负责记录⼊库的数据属于哪个⾦融类别(股票，期货，期权等)，以及每个⾦融类别有哪些划分标准（⽐如：股票能按照指数、⾏业、概念，期货能按照⾏业、交易所等），每个 划分标准由哪些组成（⽐如：股票指数包含 zz500 hs300） 有了这些划分之后，当要⼊库和查询⼀些数据的时候，可以很清晰地去定位。 数据管理：负责记录⼊库的数据属于哪⼀⽅⾯（⾏情数据，因⼦数据，现货数据），每种数据类型由哪些组成（⽐如：⾏情数据有open high low close ，因⼦数据有 alpha1 alpha2... ... ） 最后 还需要记录每个品种管理中的⾦融类别⽀持哪些数据（⽐如：股票数据⽀持⾏情数据，因⼦数据， 期货数据⽀持现货数据） 数据存储：体现数据存储的真实结构 分库分表进⾏存储 按照⾦融类别 分别创建以下数据库 以stock为例： stock_manager (库) --> 每个⾦融类别划分标准组成⼀张表 记录这个类别在每个时间段的具体成员(如 hs300为⼀张表 通过这个表查可以查询hs300某个时段的股票组成) stock_data_⾏情数据(库) ---> 每个品种的每个周期的所有相关数据列构成⼀张表(如 000001.SH_day 的所有数据为⼀张表) stock_data_因⼦数据(库) ---> 每个品种的每个周期的所有相关数据列构成⼀张表(如 000001.SH_day 的所有数据为⼀张表) ... ... 其他⾦融类别 以此类推。 数据库ER图 根据上述表结构，重构数据调⽤API，后期⽆论需要增加什么数据，都能在这个架构下在数据库中进⾏⼊库以及调⽤。 搭建 搭建 clickhouse root权限创建/etc/apt/sources.list.d/clickhouse.list⽂件 并且写⼊： deb http://repo.yandex.ru/clickhouse/deb/stable/ main/ （注意空格 否则后⾯报错） 设置了软件源，开始安装 sudo apt-get install dirmngr # optional sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv E0C56BD4 # optional sudo apt-get update 可以选择⽹络安装 sudo apt-get install clickhouse-client clickhouse-server 也可以⼿动下载安装 先在官⽹下载以下3个⽂件，然后执⾏命令（可以使⽤samba 在window下载完传过去） sudo dpkg -i clickhouse-common-static_20.9.2.20_amd64.deb sudo dpkg -i clickhouse-server_20.9.2.20_all.deb sudo dpkg -i clickhouse-client_20.9.2.20_all.deb 开启服务，可以在/var/lo , 相关下载链接：https://download.csdn.net/download/qq_43966957/87372914?utm_source=bbsseo