在MDP环境中训练Q learning

• 创建MDP智能体环境
• 创建Q learning智能体
• 训练Q learning智能体
• 验证Q learning结果

 此示例显示了如何训练Q学习智能体来解决通用的马尔可夫决策过程（MDP）环境。

这里：

每个圆圈代表一个状态。

在每个状态都有一个决定涨跌的决定。

智能体从状态1开始。

智能体收到等于图表中每个过渡值的奖励。

训练目标是收集最大的累积奖励。

创建MDP智能体环境

创建具有八个状态和两个动作的（“上”和“下”）的MDP模型

MDP = createMDP(8,["up";"down"]);

 要从上图建模过渡，请修改MDP的状态过渡矩阵和奖励矩阵。默认情况下，这些矩阵包含零。

指定MDP的状态转换和奖励矩阵。例如，在以下命令中：

1.前两行通过采取操作1（“向上”）指定从状态1到状态2的过渡，并为此过渡提供+3的奖励。

2.接下来的两行通过采取行动2（“按下”）并指定+1的奖励来指定从状态1到状态3的过渡。

MDP.T(1,2,1) = 1;
MDP.R(1,2,1) = 3;
MDP.T(1,3,2) = 1;
MDP.R(1,3,2) = 1;

同样，为图中的其余规则指定状态转换和奖励。

% State 2 transition and reward
MDP.T(2,4,1) = 1;
MDP.R(2,4,1) = 2;
MDP.T(2,5,2) = 1;
MDP.R(2,5,2) = 1;
% State 3 transition and reward
MDP.T(3,5,1) = 1;
MDP.R(3,5,1) = 2;
MDP.T(3,6,2) = 1;
MDP.R(3,6,2) = 4;
% State 4 transition and reward
MDP.T(4,7,1) = 1;
MDP.R(4,7,1) = 3;
MDP.T(4,8,2) = 1;
MDP.R(4,8,2) = 2;
% State 5 transition and reward
MDP.T(5,7,1) = 1;
MDP.R(5,7,1) = 1;
MDP.T(5,8,2) = 1;
MDP.R(5,8,2) = 9;
% State 6 transition and reward
MDP.T(6,7,1) = 1;
MDP.R(6,7,1) = 5;
MDP.T(6,8,2) = 1;
MDP.R(6,8,2) = 1;
% State 7 transition and reward
MDP.T(7,7,1) = 1;
MDP.R(7,7,1) = 0;
MDP.T(7,7,2) = 1;
MDP.R(7,7,2) = 0;
% State 8 transition and reward
MDP.T(8,8,1) = 1;
MDP.R(8,8,1) = 0;
MDP.T(8,8,2) = 1;
MDP.R(8,8,2) = 0;

指定状态"s7"并"s8"作为MDP的终端状态。

MDP.TerminalStates = ["s7";"s8"];

为此流程模型创建强化学习MDP环境。

env = rlMDPEnv(MDP);

要指定智能体的初始状态始终为状态1，请指定一个返回初始智能体状态的重置功能。每次训练和模拟开始时都会调用此功能。创建一个将初始状态设置为1的匿名函数句柄。

env.ResetFcn = @() 1;

修复随机生成器种子以提高可重复性。

rng(0)

创建Q learning智能体

要创建Q learning智能体，请首先使用MDP环境中的观察和操作规范创建Q表。将表示的学习率设置为1。

obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);
qTable = rlTable(obsInfo, actInfo);
qRepresentation = rlQValueRepresentation(qTable, obsInfo, actInfo);
qRepresentation.Options.LearnRate = 1;

接下来，使用此表表示形式创建Q学习代理，配置epsilon-greedy探索。

agentOpts = rlQAgentOptions;
agentOpts.DiscountFactor = 1;
agentOpts.EpsilonGreedyExploration.Epsilon = 0.9;
agentOpts.EpsilonGreedyExploration.EpsilonDecay = 0.01;
qAgent = rlQAgent(qRepresentation,agentOpts);

训练Q learning智能体

 要训练智能体，请首先指定训练选项。对于此示例，使用以下选项：

训练最多200次，每个剧集最多持续50个时间步。

当智能体在30个连续情节中获得的平均累积奖励大于10时，请停止训练。

trainOpts = rlTrainingOptions;
trainOpts.MaxStepsPerEpisode = 50;
trainOpts.MaxEpisodes = 200;
trainOpts.StopTrainingCriteria = "AverageReward";
trainOpts.StopTrainingValue = 13;
trainOpts.ScoreAveragingWindowLength = 30;

使用train功能训练代理。这可能需要几分钟才能完成。为了节省运行本示例的时间，请通过将设置doTraining为来加载预训练的智能体false。要自己训练智能体，请设置

doTraining为true。

doTraining = false;

if doTraining
    % Train the agent.
    trainingStats = train(qAgent,env,trainOpts);
else
    % Load pretrained agent for the example.
    load('genericMDPQAgent.mat','qAgent');
end

验证Q learning结果

要验证训练结果，请使用该sim功能在训练环境中模拟座席。智能体成功找到导致累积奖励的最佳路径13。

Data = sim(qAgent,env);
cumulativeReward = sum(Data.Reward)

累积奖励= 13

由于折扣因子设置为1，受过训练的智能体的Q表中的值与环境的未折现收益匹配。

QTable = getLearnableParameters(getCritic(qAgent));
QTable{1}

TrueTableValues = [13,12;5,10;11,9;3,2;1,9;5,1;0,0;0,0]