【发布时间】：2021-02-03 15:20:40
【问题描述】：
如何奖励特工在《超级马里奥兄弟》这样的游戏中继续前进？我拥有的唯一数据是分数和生命，但有没有办法获得代理的坐标？我正在使用 NEAT 来训练我的代理，这里是代码。我目前正在奖励它以获得尽可能高的分数，并且奖励它按右键将不起作用，因为它只会推入墙壁并获得奖励，直到计时器用完。
import retro
import numpy as np
import cv2
import neat
import pickle
env = retro.make('SuperMarioWorld-Snes', 'Start.state')
imgarray = []
xpos_end = 0
def eval_genomes(genomes, config):
for genome_id, genome in genomes:
ob = env.reset()
ac = env.action_space.sample()
inx, iny, inc = env.observation_space.shape
inx = int(inx / 8)
iny = int(iny / 8)
net = neat.nn.recurrent.RecurrentNetwork.create(genome, config)
current_max_fitness = 0
fitness_current = 0
frame = 0
counter = 0
xpos = 0
xpos_max = 0
done = False
# cv2.namedWindow("main", cv2.WINDOW_NORMAL)
while not done:
env.render()
frame += 1
# scaledimg = cv2.cvtColor(ob, cv2.COLOR_BGR2RGB)
# scaledimg = cv2.resize(scaledimg, (iny, inx))
ob = cv2.resize(ob, (inx, iny))
ob = cv2.cvtColor(ob, cv2.COLOR_BGR2GRAY)
ob = np.reshape(ob, (inx, iny))
# cv2.imshow('main', scaledimg)
# cv2.waitKey(1)
imgarray = np.ndarray.flatten(ob)
nnOutput = net.activate(imgarray)
for i in range(len(nnOutput)):
nnOutput[i] = int(nnOutput[i])
if nnOutput[i] < 0:
nnOutput[i] = 0
ob, rew, done, info = env.step(nnOutput)
# xpos = info['x']
# xpos_end = info['screen_x_end']
# if xpos > xpos_max:
# fitness_current += 1
# xpos_max = xpos
# if xpos == xpos_end and xpos > 500:
# fitness_current += 100000
# done = True
fitness_current += rew
print(env.statename)
if fitness_current > current_max_fitness:
current_max_fitness = fitness_current
counter = 0
else:
counter += 1
if done or counter == 250:
done = True
print(genome_id, fitness_current)
genome.fitness = fitness_current
config = neat.Config(neat.DefaultGenome, neat.DefaultReproduction,
neat.DefaultSpeciesSet, neat.DefaultStagnation,
'config.txt')
p = neat.Population(config)
p.add_reporter(neat.StdOutReporter(True))
stats = neat.StatisticsReporter()
p.add_reporter(stats)
p.add_reporter(neat.Checkpointer(10))
winner = p.run(eval_genomes)
with open('winner.pkl', 'wb') as output:
pickle.dump(winner, output, 1)
【问题讨论】：
-
我不知道它是否可以给出位置，但您可以尝试使用
cv2将当前帧与前一帧进行比较 - 如果它不移动，那么两个帧上的许多像素都是相同的- 然后你可以计算相同的像素。如果相同像素的数量大于某个值，那么您可以假设它不会移动。这是一种原始方法，只需要减去两个帧（为相同的像素获取零）并将所有值相加以获得可以与一些预定义值进行比较的单个值。对于使用 numpy 的 cv2，它可能是sum(grey_frame_previous - grey_frame_current) > some_value -
我认为会有多个移动敌人的问题
-
最好在下面查看我的答案 - 当您替换
data.json时，有一种方法可以获取x,y
标签： python artificial-intelligence reinforcement-learning openai-gym