激动!
感谢OpenAI为我们发掘出深度学习这么大的潜力!
---------------------------------------------------------
规则:
在17个英雄中ban选
没有召唤、没有幻象
1个正常信使
前两场对战OG
第三场是每队都由两人与3个AI agent组队
胜率不是大老师给的,是OpenAI Five的计算
(多说一句,扩大英雄池对AI不算真的难点,有了现在的算法,基本只要加钱把并行训练规模扩大个100倍大概就行了。)
---------------------------------------------------------
算法:
算法依旧是LSTM网络+强化学习
这些AI经历了相当于人类45000年的训练时间
值得指出的是,AI的学习方法是纯粹的试错,因为他们不能阅读并理解装备与施法说明。
这种试错学习法对建立短期因果联系(在这里指大约<30秒)非常有效,但一般而言不容易训练出长期规划。
这种训练方式导致AI对游戏的理解应当有质的不同。因此,人类与AI相互都有可学习的地方。
官网链接:
https://openai.com/blog/how-to-train-your-openai-five/
https://openai.com/five/
他们上次给出的神经网络架构在这里:
https://d4mucfpksywv.cloudfront.net/research-covers/openai-five/network-architecture.pdf
---------------------------------------------------------
意义:
即使对AI研究者而言,使用深度学习在这种超大决策空间中训练依然是非常困难、甚至是难以置信的。
OpenAI的这项工作显示了深度学习的潜力。
---------------------------------------------------------
为什么人们要研究AI打Dota:
AlphaGo在围棋领域举世瞩目的成果让人们认识到了深度学习在做复杂决策上的能力,但如果要将这套算法用于解决现实世界中的问题,需要解决的一大难题是如何分析大量即时输入信号,及如何在巨大的行动空间中选出最佳决策。(相比之下,围棋只需研究棋盘这个小且离散的时空上的输入输出。)但由于直接在现实世界中训练AI会面临诸多困难,在竞争性的虚拟场景中研究就成了现在许多机构(如DeepMind,OpenAI)的首选,因为虚拟场景的运行可以被加速,而且比现实场景更便宜。
既然现在的结果显示深度学习有潜力解决这种难度的问题,这会激励更多团队来由此解决现实问题。
---------------------------------------------------------
其他:
0)AI没有真正的对线期。
1)AI打团和支援真的牛。
2)AI不省技能,小部分大招释放明显没有收益。这显示了现在的深度学习还是不太擅长做远期规划。
3)第三局挺难看,AI不懂如何和人类配合,人类也不知道AI想干什么。暴露了很多问题。
4)视频最后给出了连接https://arena.openai.com/#/,邀请全球的dota玩家参与挑战。