近年来，视觉-语言-动作模型（Vision-Language-Action, VLA）在诸多机器人任务上取得了显著的进展，但它们仍面临一些关键问题，例如由于仅依赖从成功的执行轨迹中进行行为克隆，导致对新任务的泛化能力较差。

点击上方“Deephub Imba”,关注公众号,好文章不错过 !基于人类反馈的强化学习(RLHF)已成为大型语言模型(LLM)训练流程中的关键环节，并持续获得研究界的广泛关注。本文将探讨RLHF技术，特别聚焦于直接偏好优化(Direct ...

娜塔莎·雅克（Natasha Jaques）是美国华盛顿大学的助理教授。此前在美国麻省理工学院读博期间，她曾开发一种语言模型微调技术，后被用于 OpenAI 使用基于人类反馈强化学习（RLHF，Reinforcement Learning from ...

目前关于 RLHF 的 scaling（扩展）潜力研究仍然相对缺乏，尤其是在模型大小、数据组成和推理预算等关键因素上的影响尚未被系统性探索。针对这一问题，来自清华大学与智谱的研究团队对 RLHF 在 LLM 中的 scaling 性能进行了全面研究，并提出了优化策略。

RLHF 的 scaling 效率要低于预训练。 基于人类反馈的强化学习（RLHF）是优化大语言模型（LLM）行为的关键技术，能够让模型更符合人类偏好和需求 ...

因此，基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，简称RLHF）应运而生，为模型的训练提供了一种新的思路。 什么是RLHF？ RLHF是一种结合了机器学习中的强化学习算法与人类主观判断的训练技术。这种方法旨在利用人类的直觉和判断力来指导 ...

她强调奖励黑客行为在大模型的RLHF训练中的潜在影响，并呼吁更多研究关注理解和缓解这一问题。 在我看来，这是现实世界部署更多自主AI模型应用 ...

在人工智能领域，又一位重量级人物踏上了新的征程。江旭，前OpenAI资深算法团队的领军人物，近期宣布创立了一家名为“亮源新创”（LightRobotics）的机器人公司，正式进军具身智能陪伴机器人市场。江旭作为ChatGPT核心训练算法RLHF的关键 ...

近日，前OpenAI资深算法负责人江旭宣布创办了全新的公司亮源新创（LightRobotics），正式进入具身智能陪伴机器人领域。这一消息无疑为科技界增添了新的热议话题，作为ChatGPT及其深度学习算法RLHF的核心开发者之一，江旭的团队将带来怎样 ...

o3之后，OpenAI下一个项目曝光了：人形机器人。 这次不只是投资像Figure、1x和Physical Intelligence这样的机器人初创公司，也不只是算法团队搞机器人强化学习。 而是自己涉足硬件，研发有双臂、双腿的实体人形机器人。 Information的消息称，两位直接了解这个项目的人透露了这个消息。 甚至人事上也能看出这种迹象，11月挖来了Meta机器人和消费硬件团队负责人Cait ...

她强调奖励黑客行为在大模型的RLHF训练中的潜在影响，并呼吁更多研究关注理解和缓解这一问题。 传统概念强化学习中，Agent利用奖励函数中的缺陷 ...