强化学习投资组合管理Portofolio Management

2022-07-27 18:35:47 阅读：190 来源： 互联网

标签：Management 权重 EIIE Asset Learning Portfolio Portofolio 强化

前言

投资组合管理是将资金不断分配到不同的金融产品，以期获得更大累计收益的过程。
在证券组合投资管理中，深度强化学习主要的作用是利用深度神经网络的特征表示能力对强化学习的状态、动作、价值等函数进行拟合，提升强化学习模型性能，实现资产组合权重再更新。

PGPortofolio论文（2017）

1. 论文摘要

同时都用神经网络训练策略函数和奖励函数导致结果不稳定
文章测试虚拟货币市场。因为其'去中心化'，小量交易庞大；以及全天开放。实验中交易周期是 30 分钟。
文章使用CNN/RNN/LSTM作为策略网络，效果良好
EIIE的结构不训练单个Asset
缺失/异常值会被Agent记忆，因此需要平滑填充
Sub-sampling scheme：选择Asset（满足购买影响假设）；周期特征抽取（OHLC）；History cut-off（短时间price特征代表State）

2. 论文实现

Ensemble of Identical Independent Evaluators (EIIE) topology：根据历史数据评估潜在价值。输出重要性权重作为下一次输入。
Portfolio Vector Memory (PVM)：保存投资组合权重。
Online Stochastic Batch Learning scheme (OSBL)：训练EIIE。
奖励函数：平均阶段的对数回报指标（梯度上升更新）

3. 数学理论

第一个asset是报价通货，即现金标准(Cash bias)，其值为1；只在softmax计算权重时作用
权重的更新：旧权重与回报比率（收盘/开盘）的加权

4. 强化学习

State：价格向量和上一次的投资权重
策略网络：输入price tensor，输出权重portofolio vector w.
RNN/LSTM使用PVM保存历史做批次训练——>速度慢

Automatic Financial Trading Agent for Low-risk Portfolio Management using Deep Reinforcement Learning （2019）

DQN网络实现18倍回报，PAMR作为benchmark实现9倍回报

Reinforcement-Learning Based Portfolio Management with Augmented Asset Movement Prediction States (2020, AAAI)

标签：Management,权重,EIIE,Asset,Learning,Portfolio,Portofolio,强化
来源： https://www.cnblogs.com/rayinfos/p/16488918.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9