IQL、VDN、QMIX、QTRAN 强化学习搜索策略--Intelligent technology investment network-上海优钧机械设备科技

News Message

IQL、VDN、QMIX、QTRAN 强化学习搜索策略

by wittx 2022-03-21

目录：
IQL
VDN
QMIX
QTRAN
QTRAN直观理解
可分解值函数的充分条件
可分解值函数的必要条件
参考

一个完全合作式的多智能体任务(我们有`n`个智能体，这`n`个智能体需要相互配合以获取最大奖励)可以描述为去中心化的部分可观测马尔可夫决策模型(`Dec-POMDP`)，通常用一个元组来表示：
其中表示环境的真实状态信息。在每一个时间步，对于每个智能体都需要去选择一个动作去组成一个联合动作，再将这个联合动作给到环境中去进行状态转移：。之后，所有的智能体都会收到一个相同的奖励：。与单智能体一样表示折扣因子。
对于每个单智能体来说，它接收的是一个独立的部分可观测的状态，不同的智能体具备不同的观测，但是所有的观测都来自环境的真实状态信息，所以可以用函数表示为：。对于每个智能体它都有一个动作观测历史，基于这个动作-观测的历史来构建随机策略函数。联合动作策略是基于状态信息构建的联合动作值函数，其中是折扣回报。

IQL

IQL论文全称为：MultiAgent Cooperation and Competition with Deep Reinforcement Learning

多智能体环境中，状态转移和奖励函数都是受到所有智能体的联合动作的影响的。对于多智能体中的某个智能体来说，它的动作值函数是依据其它智能体采取什么动作才能确定的。因此对于一个单智能体来说它需要去了解其它智能体的学习情况。

这篇文章的贡献在于将DQN扩展到分散式的多智能体强化学习环境中，使其能够去处理高维复杂的环境。

作者采用的环境是雅塔丽的Pong环境。作者基于不同的奖励函数设计来实现不同的多智能体环境。在竞争环境下，智能体期望去获取比对方更多的奖励。在合作的环境下，智能体期望去寻找到一个最优的策略去保持上图中的白色小球一直在游戏中存在下去。

为了测试分散式DQN算法的性能，作者只通过奖励函数的设计就构建出来了不同的多智能体范式环境：

完全竞争式：胜利方奖励+1，失败方奖励-1，是一个零和博弈。
完全合作式：在这个环境设定下，我们期望这个白色小球在环境中存在的时间越长越好，如果一方失去了球，则两方的奖励都是-1。
非完全竞争式：在完全竞争和完全合作式中，失去小球的一方奖励都式-1，对于胜利一方，作者设置一个系数来看参数的改变对实验结果的影响。

IQL(Independent Q-Learning)算法中将其余智能体直接看作环境的一部分，也就是对于每个智能体都是在解决一个单智能体任务，很显然，由于环境中存在智能体，因此环境是一个非稳态的，这样就无法保证收敛性了，并且智能体会很容易陷入无止境的探索中，但是在工程实践上，效果还是比较可以的。

独立的智能体网络结构可以参考下图所示：

VDN

VDN论文全称为：Value-Decomposition Networks For Cooperative Multi-Agent Learning

在合作式多智能体强化学习问题中，每个智能体基于自己的局部观测做出反应来选择动作，来最大化团队奖励。对于一些简单的合作式多智能体问题，可以用中心式(centralized)的方法来解决，将状态空间和动作空间做一个拼接，从而将问题转换成一个单智能体的问题。这会使得某些智能体在其中滥竽充数。

另一种极端方式训练独立的智能体，每个智能体各玩各的，也不做通信，也不做配合，直接暴力出奇迹。这种方式对于每个智能体来说，其它智能体都是环境的一部分，那么这个环境是一个非平稳态的(non-stationary)，理论上的收敛性是没法证明的。还有一些工作在对每个智能体都基于其观测设计一个奖励函数，而不是都用一个团队的团队奖励，这种方式的难点在于奖励函数的设计，因为设计的不好很容易使其陷入局部最优。

VDN中提出一种通过反向传播将团队的奖励信号分解到各个智能体上的这样一种方式。其网络结构如下图所示：

先看上图中的图1，画的是两个独立的智能体，因为对每个智能体来说，观测都是部分可观测的，所以函数是被定义成基于观测历史数据所得到的，实际操作的时候直接用RNN来做就可以。图2说的就是联合动作值函数由各个智能体的值函数累加得到的：

其中表示个智能体，由每个智能体的局部观测信息得到，是通过联合奖励信号反向传播到各个智能体的上进行更新的。这样各个智能体通过贪婪策略选取动作的话，也就会使得联合动作值函数最大。

总结来说：值分解网络旨在学习一个联合动作值函数，其中是一个联合动作-观测的历史轨迹，是一个联合动作。它是由每个智能体独立计算其值函数，之后累加求和得到的。其关系如下所示：

严格意义上说称作值函数可能不太准确，因为它并没有严格估计期望回报。

值分解的独立的智能体网络结构可以参考下图所示：

如果在此基础上在加上底层的通信的话可以表示为如下形式(其实就是将各个智能体的观测给到所有的智能体)：

如果是在高层做通信的话可以得到如下形式：

如果是在底层加上高层上都做通信的话可以得到如下形式：

如果是集中式的结构的话，可以表示为如下形式：

QMIX

QMIX论文全称为：QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning

在之前的值分解网络中，拿到了联合动作的值之后，我们就可以直接取能够获取最大的所对应的联合动作。这种方式就能够实现集中式学习，但是得到分布式策略。并且对全局值函数做argmax与对单个智能体的值函数做argmax能够得到相同的结果：

这样的话，每个智能体都可以基于以贪婪策略选择动作。由于每个子智能体都采用贪婪策略，因此这个算法必定会是off-policy的算法，这一点是很容易实现的，并且样本的利用率会比较高。在VDN中采用的是线性加权，因此上述等式会成立，而如果是采用一个神经网络来学习融合各个智能体的函数的话，上述等式就未必会成立了。

在QMIX中也是需要一个联合动作值函数的，但是与值分解网络的不同之处在于，这个联合动作值函数并不是简单地由各个智能体的值函数线性相加得到的。为了保证值函数的单调性来使得上述等式(1)能够成立，作者对联合动作值函数和单个智能体动作值函数之间做了一个约束：

设计思想如上所示，具体的网络结构如下图所示：

上述这个复杂的网络结构可以拆分为如下三部分：

agent networks: 对于每个智能体都要学一个独立的值函数，单个智能体的网络结构采用DRQN的网络结构，在每个时间步，接收当前的独立观测和上一个动作，如上图(c)所示。
mixing network: 是一个全连接网络，接收每个智能体的输出作为输入，输出联合动作值函数，对每个子智能体的动作值函数做非线性映射，并且要保证单调性约束。想要保证公式(2)的单调性约束的话，我们只需要保证mixing network的权重非负即可。
hypernetworks: hypernetworks网络去产生mixing network的权重，超参数网络输入状态，输出Mixing网络的每一层的超参数向量，激活函数来使得输出非负，对于Mixing网络参数的偏置并没有非负的要求。

QMIX的训练方式是端到端的训练：

其中表示从经验池中采样的样本数量，，为目标网络参数。由于公式(1)的存在，对取argmax的话，就是与智能体数量呈线性增长关系了。

上述算法中，单纯地去考虑前向传播的话，智能体之间其实是没有配合的。仅仅是取每个智能体能够获得的最大的值函数。因为对于单个智能体来说，它的最优动作是基于队友智能体的动作下得到的，但是由于整个网络是端到端进行训练的，所以感觉问题也不大。

还有就是在基于单个智能体的动作值函数下得到联合动作值函数的过程中，也就是在Mixing网络中有考虑状态，所以相当于是有考虑全局的信息下去得到一个联合动作值函数。

QTRAN

QTRAN论文全称为：QTRAN: Learning to Factorize with Transformation for Cooperative Multi-Agent Reinforcement learning
代码：https://github.com/Sonkyunghwan/QTRAN

之前说的VDN和QMIX都是值分解领域的两大标杆性文章，并且在一般的工程项目实战上VDN和QMIX的效果就还是比较好的，不过是在论文中的效果有被弱化，更具体地可以参考看一下这篇文章：RIIT: Rethinking the Importance of Implementation Tricks in Multi-Agent Reinforcement Learning。但是这篇QTRAN从理论层面还是值得分析一下的：

值分解的文章其实就是在保证联合动作取argmax的时候能够是对各个智能体的值函数取argmax。VDN中采用的是线性求和的方式，QMIX中采用的是保证单调性。对于一些任务，比如像联合动作的最优就是各个智能体的单独的最优的值函数，这样的问题可以采用这种方式，对于不是这类型的问题的话，这种限制就太强了。QTRAN提出了一种新的值分解的算法。

不管这个值分解如何分解，其实它们都需要取保证一个东西：

VDN和QMIX中的线性求和和保证单调性都能够去保证上述条件的成立，也就是给了两个充分条件，但不是必要条件。为了之后更好的理论分析，在QTRAN中对上述这个东西做了一个定义IGM (Individual-Global-Max)：

IGM定义：对于一个联合动作值函数，其中是一个联合动作观测的历史轨迹。如果对于独立的智能体存在一个动作值函数，满足如下关系式的话：

我们就说在轨迹下，对满足IGM条件。是能够被分解的，是的分解因子。

QTRAN中将原始的映射成一个新的

QTRAN直观理解

在VDN和QMIX中是将通过累加求和和保证单调性的方式来分解的，作者这里提出一种更加鲁棒的分解方式，将原始的映射成，通过去分解值函数到各个子智能体上，来保证学到的与真实的动作值函数非常接近。这样在学习真实的动作值函数的时候，没有像VDN和QMIX那样对其加上一些累加求和和保证单调性的限制，所以它能学地更好。

但是由于部分可观测的限制，这个是没有办法用来进行具体地决策的，所以我们需要去找到、和三者之间的关系。

可分解值函数的充分条件

由于不提供累加求和和单调性来保证可分解，QTRAN提出了一个满足IGM定义的充分条件：当动作值函数和满足下面这个关系式时，我们认为它是可分解的：

其中。

证明：想要通过上述条件证明出满足IGM条件，也就是时(其中)才能取到全局最大的动作值函数。

当时，由充分条件第一条可以得出：。说明在智能体动作最优的情况下，能够保证全局的也是最优的。

当时，，又因为：

说明只有在各个智能体都采取最优动作的时候才能获得联合动作值函数最大。IGM条件得证。

可分解值函数的必要条件

必要条件说的是，当满足IGM条件时，能够把充分条件给推出来。作者在论文中说到，存在一个仿射函数对进行一个映射，其中为一个对角矩阵，并且。看到这我人都傻了，这不就是QMIX吗，换了个马甲我就不认识你啦。。。其实不是，还多个一个，。

作者将进行了一个缩放，。然后定义：

这个就是VDN了，不同之处就是多了一个修正项。

其网络结构如下：

网络结构中主要有三部分：

独立的动作值网络：。对于每个动作值网络，输入是他自己的动作观测历史，输出动作值函数。各个子智能体的动作值函数累加得到。
联合动作值网络：。如上图所示，网络的前面几层参数是共享的，用所有的独立智能体的动作值函数向量来采样样本，更新联合动作值函数。
状态值网络：。状态值函数类似dueling网络，并且这里可以引入全局的状态信息，它是独立于动作轨迹的，但是可以用来辅助动作值函数的训练。

此时损失函数可以表达成如下形式：

第一个loss可以无忧无虑地去近似最优的联合动作值函数，下面两个就是用来去满足可分解值函数的充分必要条件的。

除此之外作者还提出了几个QTRAN算法的变种，整体算法如下图所示：

参考

MultiAgent Cooperation and Competition with Deep Reinforcement Learning
Value-Decomposition Networks For Cooperative Multi-Agent Learning
QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning
QTRAN: Learning to Factorize with Transformation for Cooperative Multi-Agent Reinforcement learning

Share Http URL: http://www.wittx.cn/get_news_message.do?new_id=939