用C++实现强化学习,速度不亚于Python,这里有个框架可用

时间:2022-10-09 18:08:50 | 浏览:521

乾明 发自 凹非寺 量子位 报道 | 公众号 QbitAI没法用Python,怎么实现强化学习?现在,有了一个新选择。一位名叫Isaac Poulton的英国小哥,开源了一个名为CppRL的C++强化学习框架。整个框架,用PyTorch C

乾明 发自 凹非寺

量子位 报道 | 公众号 QbitAI

没法用Python,怎么实现强化学习?

现在,有了一个新选择。

一位名叫Isaac Poulton的英国小哥,开源了一个名为CppRL的C++强化学习框架。



整个框架,用PyTorch C++编写而成,主要的使用场景,就是在没法使用Python的项目中实现强化学习。

现在,这个框架已经可以实现A2C(Advantage Actor Critic)、PPO(近端策略优化)算法。

而且,用户只需要很少的设置,就能够在电脑的桌面程序中使用。

小哥说,之所以做这个框架,是因为C++中还没有一个通用的强化学习框架。

但自己的个人项目中需要一个,就借着PyTorch C++前端的发布,做了一个出来,还顺便训练了一批LunarLander-v2游戏中的智能体。

框架有何特性?用起来效果如何?

根据小哥的介绍,这个框架一共有五大特性:

    首先,它能够实现强化学习中很关键的两个算法A2C和PPO。

    其次,支持基于门控循环单元(GRU)的循环策略。

    第三,具备跨平台兼容性,已经在Windows 10和Ubuntu 16.04和Ubuntu 18.04上进行了测试。

    第四,有可靠的测试覆盖率。

    第五,能够适度进行优化,可以开放PR来推进框架优化。

此外,框架中还有对OpenAI Gym的实现,其通过ZeroMQ通信来测试框架在Gym环境中的表现。

基于当前的版本的框架,小哥在自己的笔记本电脑(i7-8550处理器)上,平均用60秒训练一个智能体就可以获得200奖励。在登月游戏LunarLander-v2中实现的效果如下:



这8个智能体中,有5个智能体完成了任务。

在回答Reddit上网友的提问时,他介绍了训练智能体的速度,基本上和用Python实现速度相当。

但是,在一些环境中速度会比较慢。比如OpenAI Gym客户端中,必须要与Python接口,并通过TCP发送观察结果,所以训练速度会大幅下降。

不过,小哥说会通过重做Gym客户端来解决这个问题。

这一框架未来会如何?

小哥表示,要把它打造成一个可扩展的、经过合理优化的、随时可以使用的框架。

在Reddit的帖子中,他也发起了呼吁,如果你有兴趣来一起完成这一项目,非常欢迎提交PR~

传送门

C++强化学习框架项目地址:

https://github.com/Omegastick/pytorch-cpp-rl

— 完 —

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ"ᴗ" ի 追踪AI技术和产品新动态

相关资讯

鄂州梁子湖区委书记蔡和林召开区委常委会学习贯彻市委书记孙兵来梁子湖巡湖时讲话精神

鄂州市梁子湖区委书记蔡和林主持召开区委常委会学习贯彻市委书记孙兵来梁子湖巡湖时讲话精神11月11日上午,鄂州市梁子湖区委书记蔡和林主持召开区委常委会,专题传达学习市委书记孙兵11月10日在梁子湖巡湖时的讲话精神,强调全区各级领导干部要牢固树

南阳市宛城区行政审批服务中心组织学习《一个人是否靠谱,闭环很重要》

近日,区行政审批服务中心组织机关全体干部职工学习区委书记袁钢批示推荐《一个人是否靠谱,闭环很重要》,中心负责人主持会议并领学该文章。会上,中心负责人强调,要认真领会袁书记关于学习《一个人是否靠谱,闭环很重要》的指示要求,认真落实和把握文章所

基层风采|新荣区党史学习教育基地正式揭牌!

大同市新荣区党史学习教育基地揭牌仪式在庆祝建党101周年华诞,喜迎党的二十大的热烈氛围中,6月30日上午,新荣区党史学习教育基地揭牌仪式在新荣区人民检察院隆重举行。大同市人民检察院党组书记、检察长郑黎明,新荣区委书记刘中文共同为新荣区党史学

C++20即将于年底发布,C++23提上日程

作者 | Herb Sutter译者 | 弯月,责编 | 屠敏出品 | CSDN(ID:CSDNnews)C++20已全票通过,有望于今年晚些时候发布9月4日,C++ 20的国际标准草案投票结束,而且获得了全票通过。这意味着C++ 20已完

图解Python算法

普通程序员,不学算法,也可以成为大神吗?对不起,这个,绝对不可以。可是算法好难啊~~看两页书就想睡觉……所以就不学了吗?就一直当普通程序员吗?如果有一本算法书,看着很轻松……又有代码示例……又有讲解……怎么会有那样的书呢?哎呀,最好学了算法

1200万像素有什么好苹果iPhone手机为何依旧坚持

转眼间,已经到了苹果iPhone面世的第16年。从初代iPhone到现在的iPhone13系列,给我们带来了许多经典与回忆。但让许多朋友不解的是,在手机像素动辄过亿的时代,iPhone依旧坚持1200万像素的“初心”。回首初代iPhone,

让语文学习融会贯通,3个辅导原则,帮助家长明确语文学习的内容

关注语文教学发展,解决语文学习困惑。细心的家长就会发现,辅导孩子学习了一段时间,孩子的学习能力,就能完全了解了。可是面对孩子身上的学习问题,家长困惑的是,如何帮助孩子去解决和提高学习成绩。尤其是语文,又需要积累的过程,学习的效果不如数学和英

免费!文玩压花葫芦制作全过程,分段学习,简单易懂,不来试试?

大家好,我是阿泰,是一名压花葫芦的民间手艺人,好多朋友们都已经看过我的视频了,有压花葫芦作品的视频,也有制作过程的视频,为了不同用户的阅读需求,也为了传统文化能够永久的留存,今天来写个详细的小文章,图文并茂,分步骤让大家都学习一下: 首先

家长注意!男童高度近视,原来每天都是用这个学习

【原标题】男童3岁用早教机,5岁时近视1000度!医生叹息:不可逆转眼看就要放寒假了家长们开始担心起一件事:假期里孩子们一“沾上”电视、电脑、手机就“无法自拔”了...近日广东东莞5岁男童乐乐(化名)到医院检查出近视将近1000度!让人意想

居家学习,如何保护视力健康

眼下,停课不停学,使得学生使用电子屏幕的时间在明显增加,我想就如何保护学生视力健康跟大家交流一下。导致学生近视最主要的原因是不良用眼环境与行为习惯、过早过多使用电子视频、高强度近距离用眼以及缺乏户外活动。要管理好视力健康,最重要的是要做到以

友情链接

SEO域名抢注宝宝起名网妈妈知道币圈小说阅读网富士山旅游网数字电商资讯网平原上的火焰电影网鸡宝宝取名网蔚来汽车股票宁夏旅游网比亚迪A股信用卡申请中心平衡车资讯网长沙交友相亲网袁大头银元收藏康佳冰箱评测网釜山旅行网二手房产网
python编程教学网-python数据库开发教程、python基础知识入门、python数据库编程入门、python语法基础、python下载安装教程、python下载手机版、python翻译器下载手机版、python翻译器代码、python语言翻译、python基础代码、python编程自学网。
python编程教学网 dadeji.cn ©2022-2028版权所有