开云kaiyun.com怎么创建出丰富各种的环境？Karpathy回忆说念-kai云体育app官方下载app最新版本-kai云体育app官方登录入口

发布日期：2026-08-12 13:41    点击次数：186

新智元报说念

裁剪：桃子 艾伦

【新智元导读】强化学习中枢是什么？Karpathy言简意该——环境。全新开源Environments Hub横空出世，为强化学习教师带去翻新性阻塞。

强化学习期间，什么最进犯？

Karpathy给出了谜底，环境！惟有环境，才智让LLM真实进行交互、引申动作、不雅察成果。

如今，一个开源的环境中心——Environments Hub肃穆登场了，它由一家专注于去中心化AI配置公司Prime Intellect发布。

一直以来，RL环境是割裂的、阻滞的，以致难以分享。

但有且惟有环境，界说了天下、行动，以及「气象—动作—奖励」的响应闭环。

从游戏到编程，再到聊天对话，它们是AI学习发生的场景。莫得它们，RL仅仅一套无从效能的算法。

Environments Hub的出生，八成让任何东说念主模拟出各种种种、高质料的环境，为开源AGI作念出孝敬。

AI智能体交互，缺的是环境

RL环境，是智能体学习的熟谙场。

回念念一下，在预教师期间，互联网数据是中枢。LLM主要通过无数各种，且高质料的数据来学习。

到了监督微调阶段，重点酿成了「对话数据」。

东说念主们会雇佣外包团队，来为问题创建谜底，访佛Stack Overflow、Quora平台的情势，但又专为LLM使用场景而议论。

如今到了强化学习期间，前两个阶段不会隐没，但不同的是，环境成为了重点。

这些环境，不错用于模子教师，也可用于评估。不外，问题在于，怎么创建出丰富各种的环境？

Karpathy回忆说念，OpenAI最早的一个神气Gym，一个但愿用结伙框架去构建大范畴环境荟萃。

GitHub地址：https://github.com/openai/gym

不外，这齐是近十年前，大模子还未兴起的神气了。是以，那时的环境，齐是一些陋劣的经典驱散任务，比如cartpole、ATARI之类的。

而当今，Environments Hub是一个特意针对LLM构建的版块。

Karpathy欢叫地暗示，「这是个相等棒的勤苦和念念法」。本年头，他还发文提议过有东说念主应该作念访佛的事情。

Environments Hub有个特色，一朝框架构建完成，原则上社区和行业就不错在不同规模并行配置。

何况，环境和智能体交互的标的，是下一个改日。

大厂斥资几百万，搞出围墙花圃

为什么需要打造一个Environments Hub呢？

咫尺，多数强化学习环境是由初创公司构建，并将其出售给少数几家不合外洞开的大型实际室。

要是高质料的学习环境一直保握阻滞且奋发，开源模子将进一步过期于闭源模子。

要念念扭转这种场面，需要有一个高大的开源学习环境和教师器用生态系统能崛起。

Environments Hub恰是承载着这个劳动应时而生，旨在让下一波初创公司和AI的发展八成构建于洞开的基础神气和开源模子之上。

中枢功能，一键生成评估涌现

追念来说，Environments Hub具备了以下功能亮点：

通过Hub或CLI（敕令行）拉取、推送并解决环境

生成跨模子的评测涌现

与verifiers框架深度集成

prime-rl教师器原生支握环境

提供用于代码引申的原生沙箱支握

你不错创建、解决和分享用于强化学习及评估的环境：

不错为不同模子创建和浏览环境评估涌现：

可彭胀教师器prime-rl原生支握这些环境：

还有沙盒功能，可平直与Verifier Environments对接，以达成安全的代码引申。

要是还有你需求的功能莫得知足，你也不错躬行动作该开源神气配置者去孝敬代码。

下一步：全栈式开源AGI基础神气

夙昔几个月中，Environments Hub将基于Agent的强化学习教师彭胀到范畴最大的开源模子，并取得了显贵推崇。

跟着宽敞众包环境被引入INTELLECT-3，教师出一个十足洞开、开头进的Agent模子将成为可能。

除此除外，Environments Hub关爱的重点是，让东说念主东说念主齐能用上这套基础神气，使扣问东说念主员和初创公司齐能为我方的任务教师模子、集成器用、启动强化微调，以及优化Agent支撑框架。

prime-rl的通盘技能栈齐是开源的，正在彭胀到行家的计较资源上无缝启动。

强化学习不仅是通往AGI的必经之路，亦然构建AI原坐褥物的基础。

改日最告捷的初创公司，将是那些能把柄自己需求，创造出相反化环境的公司。

如今，最大的羁系并非获得高大模子，而在于大范畴教师和部署它们所需的基础神气及老本。

通过裁减这一门槛，Environments Hub旨在为整个AI构建者提供低价、无缝的计较、推理和教师资源，以及全套的强化学习基础神气。

参考贵府：

https://www.primeintellect.ai/blog/environments

https://x.com/karpathy/status/1960803117689397543