* Join our webinar: Machine learning using simulation, July 11th.
强化学习是机器学习的一个快速发展的分支。最近人工智能领域的一些令人兴奋的成就是深度强化学习快速发展的结果。在这篇博文中，我们将向您展示为什么强化学习需要仿真，并提供一个包含源文件和说明的示例模型供您下载和尝试。
深度强化学习的成功
可能最著名的深度强化学习的例子是DeepMind的阿尔法围棋（AlphaGo）击败世界围棋冠军李世石（Lee Sedol）。尽管规则很简单，但围棋的游戏复杂性使其变得非常困难，并且它被认为是古典游戏中人工智能掌握的最大挑战。据估计，完成围棋游戏的有效方法比可观测宇宙中的原子还要多。
AlphaGo使用深度强化学习来完成这个看似无法实现的目标，在数百万场比赛中训练自己。该系统能够学习如何从头开始玩游戏，并在几天内积累数千年的人类知识。
为了更好地理解阿尔法围棋（AlphaGo）的成功，我们应该了解一下计算机是如何学习的。 从广义上讲，人们通过两种方式学习：通过知识转移（来自教师或书本）或通过反复试验。 计算机也是如此。
对于计算机程序来说，知识转移的方法就像是将国际象棋规则和策略硬编码到计算机中，这样它就可以使用它们来下棋。 相比之下，试错法类似于计算机反复下棋，直到它发展出自己的知识和直觉，认识到什么是优越的游戏玩法。
仿真的场所
对于试验和错误，计算机程序需要一个场所来尝试它的想法，并从它的错误和成就中学习。这样的环境要么存在于现实世界中（例如在私家道路上、在受限的空域中或者在模拟装配线上），要么是虚拟的。
虽然现实世界的环境更加逼真，但是与仿真环境相比它们具有许多的缺点，例如购置和建造的成本很高以及可能会对生命和环境产生影响。监管层面的一些繁文缛节也同样会限制实验的运行。
相比之下，仿真模型则没有任何限制，它们的运行过程几乎是完全免费的并且能够以可控的方式进行设置。虚拟环境中的模型也比现实世界中的模型运行得更快，因为随着时间的推移它们不会被相同的束缚所约束。OpenAI在复杂的合作战略游戏Dota 2中轻松击败了世界冠军，也明确了这一优势。
虽然深度强化学习是人工智能领域的一个新发展，并且仍然主要被认为是一个研究课题，但仿真建模已经日常实践使用了几十年。它有一个非常成熟的社区，带有大量的现实世界的例子。
仿真社区的常见做法是采用仿真模型运行实验（优化，蒙特卡罗，参数变化等）并使用输出结果对真实世界做出更好的决策。使用这种方法，需要人们试验仿真模型并从中获取信息。
如前所述，深度强化学习的最新发展清楚地表明，学习型智能体（计算机算法）也能够从仿真系统中提取有用的决策（策略）。因此，将仿真建模环境与机器学习相结合是有意义的，尤其是当兴趣从游戏挑战转向面向业务目标时。
强化学习示例模型
为了展示强大的通用仿真工具作为培训环境的功能，AnyLogic与Skymind合作开发了一个基于交通灯控制交叉口仿真的简单但具有说明性的示例模型。该模型的相似版本作为使用AnyLogic进行深度强化学习实际应用演示[视频]的一部分，在德克萨斯州（Texas）奥斯汀（Austin）举行的2019年AnyLogic会议上进行了演示。
现已更新多个示例模型，请通过以下集合访问它们：
- 微软Project Bonsai
- PathmindAI 仿真优化
- h2o.ai 无驱动机器学习
请访问我们的AI页面了解关于AnyLogic和AI的更多信息。
⭐ 非常感谢Skymind团队参与这个项目 - 特别是Samuel Audet和Eduardo Gonzalez，感谢他们对这个项目做出的宝贵贡献。 您可以在他们的Gitter页面上询问有关示例模型中使用的DL4J库（深度学习库）的更多问题。 .
