● 在使用MATLAB強化學習工具箱時我們主要思考的env和agent兩個方面。

● 首先看env，MATLAB提供了幾個已經搭建好的，只要

env = rlPredefinedEnv(env名字)

env名字可以選擇以下幾個

'BasicGridWorld'

簡單的網格環境

'CartPole-Discrete'

離散型外力輸入值的倒立擺

'CartPole-Continuous'

連續型外力輸入值的倒立擺

'DoubleIntegrator-Discrete'

'DoubleIntegrator-Continuous'

一個木塊在木板上滑動，就是這樣

'SimplePendulumWithImage-Discrete'

'SimplePendulumWithImage-Continuous'

一根擺桿，可以觀測到圖像

'WaterFallGridWorld-Stochastic'

'WaterFallGridWorld-Deterministic'

一個逆水行舟的網格環境，全局有外力在把agent往回推

其中網格環境是可以從空網格自定義起點終點障礙物的，也可以添加全局外力，甚至跳躍障礙物的特殊功能

還有2個是simulink搭建的環境模型

'SimplePendulumModel-Discrete'

'SimplePendulumModel-Continuous'

'CartPoleSimscapeModel-Discrete'

'CartPoleSimscapeModel-Continuous'

功能上和m語言搭建的一致

除了上面說的用基礎網格搭建環境，還可以搭建復雜環境，需要注意的是這樣幾點

1. 初始化，設定環境的輸入輸出，根據情況選擇離散還是連續，維度也要在這里確定

2. 執行一步，計算輸出，reward，是否結束

3. 繪圖，重點關注是否繪圖，因為訓練過程每次都繪圖嚴重降低效率

另外我們還試驗成功了調用Python搭建強化學習環境的方法MATLAB調用pygame實現強化學習環境

● 接著就是agent了，可以完全自行編程實現，但這就失去了使用MATLAB的意義，要是整個功能都是在使用m語言基礎函數構建，真的不要用MATLAB，隔壁python真香

提供的agent有這樣的幾個(排名不分先后，以字母序)

rlACAgent | rlDDPGAgent | rlDQNAgent | rlPGAgent | rlQAgent | rlSARSAAgent

其中rlQAgent和rlSARSAAgent只能在輸入輸出都是離散型而且維度較小時使用

如果在構建agent時需要搭建神經網絡，直接編寫的話基本上就是一句一層，基礎的

卷基層convolution2dLayer，

池化層averagePooling2dLayer，

全連接層fullyConnectedLayer，

一句添加一層

也可以打開Deep Network Designer工具界面操作來搭建網絡結構

這個工具的使用和simulink一樣，從左邊拖拽想要的網絡層到中間，在右邊設置參數，連接起來就可以導出網絡結構了