立即学习:https://edu.csdn.net/course/play/4916/88706?utm_source=blogtoedu
Deep-Qnetwork
1. 因为色彩没有影响，所以 convert image to grayscale
2. resize image to 80x80
3. stack last 4 frames to produce an 80x80x4 input array for network.
变成灰度图之后，再进行二值化。黑色代表可以走的区域
之前每次都是选当前最优的状态，但是当前最优容易陷入局部最优解，无法找到全局最优。
开发-探索：
每次出来当前最优的动作之后，有10%的可能不走这个动作，而是随机选择其他动作进行探索。所以deep-q network可以加入探索机制;