1.PPO是采用截断来对动作的输出进行约束，保证相同的状态下，同样的输出 ratio = torch.exp(log_probs - old_log_probs) surr1 = ratio * advantage surr2 = torch.clamp(ratio, 1 - self.eps, 1 + self.eps) * advantage # 约束 2.使用一个累积的状态优势值来对ratio进行加权 #
1.这是一种在线的强化学习方法 2.使用的是动作状态概率的输出值，求取最大化的收益Q, 而不是直接输出Q值 log_prob = torch.log(self.policy_net(state).gather(1, action)) G = self.gamma * G + reward loss = -log_prob * G # 最大化log_prob * G 即最小化-log_prob * G 3.对
第 19 天：实施三枪强化 客观的 ：我们如何在计时器上设置我们的三连发加电，使其持续有限的时间？ 所以现在我已经了解了三连击加电是什么，让我们开始实施这些行为以及它何时变得活跃！首先，我们想要 创建一个新的精灵，暗示它是三枪通电 当我们收集它时。我想确保我 设置对撞机并确保通过我们
引言 探索和利用的平衡 (The banlance between exploration and exploitation) 是强化学习中最核心的问题之一。 一般来说，利用指的是利用当前已知知识做出最优动作，探索指的是探索未知的环境以获取新的知识，从而潜在地可能得到回报更大的动作。探索与利用如何平衡的问题即是
资源 DRL慕课@Bilibili DRL（初稿）2021 DRL@Github 慕课笔记 深度强化学习基础 基本概念 价值学习（Value-Based Reinforcement Learning） todo
前言 投资组合管理是将资金不断分配到不同的金融产品，以期获得更大累计收益的过程。 在证券组合投资管理中，深度强化学习主要的作用是利用深度神经网络的特征表示能力对强化学习的状态、动作、价值等函数进行拟合，提升强化学习模型性能，实现资产组合权重再更新。 PGPortofolio论文（2017
※ 对数似然函数与一般似然函数的区别？ 1、方便求导； 2、减少计算量； 3、不影响单调性。 ※ 离散变量如何求导？指示函数如何求导？ ※ 强化学习需要状态都是离散量吗？ 状态空间S和动作空间A都必须使有限的？现在强化学习已经有处理连续变量的technique？ 首先是由于功率控制是MDP
Policy-Based Reinforcement Learning. 策略学习。 本讲用一个神经网络来近似 policy 函数，即 Policy Network，策略网络。 3. 策略学习 3.1 策略函数 我们回顾一下 策略函数 Policy Function ： 策略函数 \(\pi(a | s)\)是一个 概率密度函数（PDF），输入时当前状态s，输出为一个概率分布，表征
Value-Based Reinforcement Learning : 价值学习 2. 价值学习 2.1 Deep Q-Network DQN 其实就是用一个神经网络来近似 \(Q*\) 函数。 agent 的目标是打赢游戏，如果用强化学习的语言来讲，就是在游戏结束的时候拿到的奖励总和 Rewards 越大越好。 a. Q-star Function 问题：假设知道了
1. 基本概念 1.1 概率论的基础知识 a. 随机变量 概念：是一个未知的量，值是由随机事件结果来决定的。 使用大写 X 来表示随机变量 如在抛硬币之前我是不知道硬币结果是什么，但是我知道事件的概率 使用小写 x 来表示随机变量 X 的观测值，只是表示一个数，没有随机性，如下面观测到三次
目录一、介绍二、RL渗透测试三、实验结果四、结论 一、介绍 RL应用于渗透测试的攻击图之中，但是训练有素的代理并不能反映现实情况，因为攻击图缺乏对于网络地形的描述。目前通常使用CVSS及其组件构建攻击图，但是通过完全依赖抽象化，网络表示可能偏向于漏洞，而不是攻击者如何计划或执行
目录一、介绍二、RL三、MDP构建攻击图四、实验评估五、总结 一、介绍 文章提出了一种在攻击图中发现渗透路径的RL方法，在攻击图的动态模型中对基于服务的防御性网络结构进行建模，发现最优的N条攻击路径。 二、RL RL通过与环境交互来学习，描述了一组近似动态规划的求解方法，环境通常通
# Lecture 1：概括与基础 和 supervised learning 的区别： * 强化学习是Sequential data作为input，每次输入并不是独立同分布 * 没有ground truth, learner不会被告知什么action是正确的。需要不断去尝试 * Trail-and-error exploration（balance between explioration and exploita
主要根据B站上王树森强化学习的课程整理而成，也看了一些博主的博客，主要是方便自己回顾，加强学习理解。 主要博客和网址： 强化学习 https://www.cnblogs.com/kailugaji/p/15354491.html 强化学习总结 https://www.cnblogs.com/steven-yang/p/6649213.html 动态规划 https:/
视频课件位置：https://gitee.com/qiangchen_sh/stock-prediction/tree/master/引用baseline来源：https://github.com/huseinzol05/Stock-Prediction-Models（强烈推荐） 整体大纲内容。 1 深度学习作金融数据分析目标：数据+代码实战（Pytorch、TensorFlow）模型：XBoost、LSTM、Reinforcem
强化学习就是评价学习，这个和深度学习有啥区别？ 我个人理解就是深度学习需要对一个一组特征设置标签， 然后反复训练模型，是这个模型尽量接近 一坨特征数据等于标签。 而强化学习是对一坨特征，模型刚开始不知道标签是具体是啥，随便输出一个值y就行，然后我们实现一个奖励函数，对这个输出值
What is RL 基于学习的决策的数学形式 从经验中学习决策和控制的方法 Why should we study this now 深度神经网络特征方法 强化学习的提升 计算能力的提升 我们还需要解决哪些其他问题才能实现现实世界的顺序决策? 1.如何学习 Learning from reward 基本的强化学习处理的是最大
TabLayout TabLayout提供了一个水平布局用于展示tabs，继承自HorizontalScrollView。一般与Viewpager结合使用实现页面和标签联动的效果。 属性： app:tabMode： scrollable：可滑动 app:tabSelectedTextColor 颜色：被选择tab文本颜色 app:tabTextCol
项目基本准备： 包：model，ui(activity,fragment,adapter)，base，utils，persenter，view 主题：theme中设置NOACTIONBAR去除标题 color.xml：设置颜色 Material新组件：BottomNavigationView Fragment：设置基础BaseFragment简化操作。通过getSurpootFragmentManger()获取fragmen
Flex学习 一 Flex 布局是什么？ Flex 是 Flexible Box 的缩写，意为"弹性布局"，用来为盒状模型提供最大的灵活性。 任何一个容器都可以指定为 Flex 布局。 .box{ display: flex; } 行内元素也可以使用 Flex 布局。 .box{ display: inline-flex; } Webkit 内核的浏览器，必须加上-we
每个为决策提供数据的组织都在重新思考其数据架构。与五年前相比，新技术加速改变组织竞争和服务客户的方式。现代数据驱动的组织不是事后对事件做出反应，而是预测业务需求和市场变化，并主动工作以优化结果。不创新或改造其数据架构的公司会失去客户、资金和市场，失去优势和竞争力
GAIL 与 IRL 的理解 Inverse Reinforcement Learning 逆强化学习，顾名思义，就是与强化学习的过程反着走。 Reinforcement Learning 强化学习的过程一般如下： 首先我们有一个可以互动的环境；然后我们定义/设置一个奖励函数；Actor 通过不断与环境互动，来最大化奖励函数，找到一个最优的
关于使用MongoDB的强化练习 练习示例如下： mongo use test 首先准备一个集合的数据。 persons = [{ name:"jim", age:25, email:"7543xx57@qq.com", c:89,m:96,e:87, country:"USA", books:["JS","C++","EXTJS",&q
目录 1. 数学知识 1.1 随机变量与观测值 1.2 概率密度函数 1.3 期望 2. 专业术语 2.1 agent 2.2 action 2.3 state 2.4 policy 2.5 reward 2.6 state transition 2.7 trajectory 2.8 return 2.9 value function 2.9.1 动作价值函数 2.9.2 状态价值函数 3.OpenAI Gym 讲完了神
