OpenAI开课了!深度强化学习最全课程包,教程、代码、一网打尽

OpenAI开课了!深度强化学习最全课程包,教程、代码、一网打尽

大数据文摘出品

作者:魏子敏、蒋宝尚

继谷歌和微软的人工智能实践课程后,Elon Musk和Sam Altman主导创立的OpenAI刚刚也发布了一门教学+练手的全能课程“Spinning Up in Deep RL”,希望将他们最擅长的技术——深度强化学习能力分享出来,让更多技术人掌握。

先上课程地址

OpenAI地址:

https://spinningup.openai.com/en/latest/index.html

GitHub地址:

https://github.com/openai/spinningup/blob/master/docs/user/running.rst

由OpenAI来上强化学习这门课再合适不过了。今年8月份,OpenAI率领的AI战队,就是凭借这一核心技术能力,在与人类高手对决的DOTA2比赛中,赢得了个人赛,并且在团战中表现不俗。

强化学习是目前最流行的教机器人玩游戏的方法之一,也是在复杂场景下,人工智能进行决策的重要技术。

简单来解释下强化学习,假设你交给机器人一个任务,比如拾取金币,强化学习会在机器人完成任务时给予适当的奖励。这样机器人下一次执行任务时,就更愿意采取“正确”行动。在经历数百次、数千次,甚至数百万次的尝试之后,机器就能逐渐学习到完成任务时所需的策略。

OpenAI人工智能研究实验室一直通过强化学习技术训练机器人玩游戏,也一直是这一技术的全球引领者。昨天,OpenAI发博客宣布了深度强化学习教学资源集的正式发布。“Spinning Up in Deep RL”项目内含教程、清晰的RL代码示例、课程习题、文档等同步学习资料,称旨在让任何人学习成为深度强化学习的熟练实践者。

OpenAI开课了!深度强化学习最全课程包,教程、代码、一网打尽

在DEEP RL中迈出第一步

在博客中,OpenAI强调了深度强化学习的重要性,虽然市面上有非常多的资源帮助人们快速学习这些知识。但是深入下去还是会遇到非常多的困难。OpenAI发布的Spinning Up能够帮助人们学习使用这些人工智能技术并培养对人工智能的直觉。

据悉,这个项目的设计灵感,来自于和OpenAI学者和研究员计划的合作。OpenAI观察到,机器学习非常小白的玩家,如果在一开始能够获得正确的指导和资源,就会在短时间大幅度提升他的专业能力。

Spinning Up in Deep RL 还能够为一些跨学科的领域提供帮助,例如人工智能安全,不光需要强化学习,还需要其他学科技能的辅助。

OpenAI开课了!深度强化学习最全课程包,教程、代码、一网打尽

OpenAI认为,了解RL算法最好的方法是在代码中运行一遍,通过借助Spinning Up,代码编写变得会更加简单:

OpenAI开课了!深度强化学习最全课程包,教程、代码、一网打尽

代码示例:python -m spinup.run ppo --env CartPole-v1 --exp_name hello_world

Spinning Up实现了与Classic Control,Box2D或MuJoCo任务套件中的Gym环境兼容。OpenAI还为新手设计了Spinning Up的代码。简洁,友好,易于学习的设计使得小白更容易上手。OpenAI目标是避免通常存在于深度RL库中的抽象和混淆层。并且对代码进行了注释,以便编程者更加了解所使用的代码。

Spinning Up in Deep RL项目 主要由以下几部分组成:

  • RL术语,各种算法和基本理论的简短介绍。
  • 一篇关于如何成长为RL研究员的文章。
  • 按主题分类的重要论文的精选清单。
  • 详细记录了关键算法的文档、使用其可以独立实现代码,包括: Vanilla Policy Gradient (VPG), Trust Region Policy Optimization (TRPO), Proximal Policy Optimization (PPO), Deep Deterministic Policy Gradient (DDPG), Twin Delayed DDPG (TD3), and Soft Actor-Critic (SAC).
  • 当然,为了实践需要,还有一些必不可少的练习。

OpenAI开启全球教育计划

OpenAI也通过这一项目宣告了一个全球教育计划的开启,“Spinning Up in Deep RL只是OpenAI新教育计划的一部分,在一定程度上是对OpenAI愿景的延伸:创建一个全球的社区,共同应对AGI的挑战。OpenAI希望利用这个项目帮助迅速推进安全且广泛有益的人工智能。

OpenAI开课了!深度强化学习最全课程包,教程、代码、一网打尽

2019年2月2日,在旧金山OpenA将会I举办一场关于Spinning Up in Deep RL的研讨会。研讨会将包括3小时的讲座和5小时的半结构化黑客攻击,项目开发和分组会议,研讨会期间OpenAI技术人员全程指导。

奉上工作坊报名链接,旧金山的读者可以顺路一看哦:

https://docs.google.com/forms/d/e/1FAIpQLSdWbG3H3JYC2Vp-bC1yeP1SL_DSi6laLNjW1RjvEEzlA1V6rg/viewform

OpenAI也欢迎更多人参与这一教育项目,并开放了相关工作职位

https://openai.com/jobs/

OpenAI称还将与其他组织合作,帮助他们开展教育计划,包括加州大学伯克利分校的人类兼容人工智能中心(CHAI)。

OpenAI开课了!深度强化学习最全课程包,教程、代码、一网打尽

最后,附上这一课程项目的完整内容表

OpenAI开课了!深度强化学习最全课程包,教程、代码、一网打尽

相关推荐