传统MLLM在视觉感知和理解人类语言指令方面等通用任务上一直表现出极大的潜力,但缺乏与现实环境的物理交互能力。而具身智能往往受限于单一模态的感知与决策瓶颈。智源最新发布RoboBrain,融合了多模态大模型+具身智能,突破了像“提起茶壶并将水倒入杯子”的现有MLLMs任务难题。
该论文已被CVPR2025录用,商汤、Figure等巨头都在纷纷下场具身智能交互新模型,找准方向,这就是下一个顶会风口!
研梦非凡邀请了曾在某上市公司担任高级算法工程师的张导师,4月23日独家上线《RoboBrain-开启具身智能交互新纪元!》从机器人领域难点数据集ShareRobot入手,到RoboBrain模型结构,重点演示RoboBrain推理Demo!!
扫码找助教预约直播👇🏻300+篇相关论文(各大顶会最新机器人+140篇多模态+120篇大模型)
课程内容
-
MLLM机器人基本信息
-
潜在应用场景 -
应用能力
(1) 长距离操作任务规划
(2) 物体可供性感知
(3) 操作轨迹预测
(4) 视觉问答任务
-
大规模、细粒度数据集ShareRobot
-
特性
(1)细粒度
(2)多维度
(3)高质量
(4)大规模
(5)丰富多样性
(6)易扩展性
-
数据筛选原则 -
数据标注流程
(1)规划标注
(2)可供性标注
(3)轨迹标注
-
数据构造过程
-
RoboBrain模型结构(重点)
视觉编码器(ViT)+Projectior+大语言模型(LLM)
-
可供性感知和轨迹预测 A-LoRA + T-LoRA -
训练流程
-
Phase1通用 OV 训练 -
Phase2机器人训练
-
RoboBrain推理Demo演示(重点) 👇🏻扫码预约领300+篇相关论文(各大顶会最新机器人+140篇多模态+120篇大模型)
导师介绍
张老师
985高校硕士毕业,现在某上市公司担任高级算法工程师
在自动驾驶感知领域有超5年工作经验,熟练掌握python、pytorch,对目标检测、目标跟踪、图像分割、点云、多模态、模型轻量化和部署方向有多年的项目经验。
同学们面临的科研困境
-
辅导少-导师放养 -
选题难-担心方向踩坑 -
没idea-创新点挖不到 -
实验难-没数据bug多 -
写作难-没结构没逻辑 -
投稿难-期刊会议要求不了解
想做好科研,用对方法、找对领路人非常重要。
研梦非凡1v1定制化论文指导
选靠谱的
论文辅导周期比较长,建议大家选择正规机构,确保签订合同、费用透明以及流程规范化。研梦非凡背靠研途考研(名师张雪峰、徐涛),深耕教育行业十余年,一直秉持着重交付,重口碑的公司理念,信誉有保障。
4对1服务:导师+班主任+助教+教研全程跟进
1、顶会审稿人主讲
-
负责经典论文+前沿论文讲解 -
idea给予/方向建议 -
写作方法 -
投稿建议
2、私人群
-
每个同学都有与主讲导师私人讨论的小群 -
方便随时进行idea探讨以及课程内容答疑
3、全程线上meeting
-
随时开麦沟通 -
学习沟通群文字/语音答疑 4. 班主任实时督学,跟进学习进度
扫码预约研梦非凡1v1导师meeting
通过Meeting获得科研大牛的选题分析、idea思路等指导
论文指导方案
idea并不是直接拍脑门拍出来的,是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。研梦非凡1V1定制化论文指导,和研梦导师一起找idea,研梦导师指导实验,共同解决数据问题。全程手把手,1对1,辅导至你成功发表为止。我们授之以渔重交付——搭建论文写作框架,增删改查,针对性实验指导!哪里薄弱补哪里。
辅导方案经过上千位同学验证和优化,已经非常成熟、且高效。扫码咨询指导方案👇
研梦非凡可指导的研究方向
研梦非凡现有idea
扫码优化你的idea/指导构思idea
研梦非凡导师团队
研梦非凡的导师来自海外QStop50、国内华五、C9、985高校的教授/博士导师/博士后,世界500强公司算法工程师,以及国内外知名人工智能实验室研究员。
这是一支实力强大的高学历导师团队,在计算机科学、机器学习、深度学习等领域,积累了丰富的科研经历,研究成果也发表在国际各大顶级会议和期刊上,在指导学员的过程中,全程秉持初心,坚持手把手个性化带教。包括但不限于以下导师~~
<<< 左右滑动见更多 >>>
扫码加助教为你匹配合适课题的大牛导师
Q&A
Q:具体的报名流程?A:扫码添加顾问老师企业微信→匹配导师→导师Meeting→签署协议→科研辅导开始→论文发表成功。
Q:没有基础怎么办?A:提供基础课程,供学员在课下自主学习基础内容。
Q:你们可以代写吗?A:不可以,我们不代写,会全程辅导至你成功发表为止。
Q:你们是如何保录的?A:真正的保录不是走后门暗箱操作,这样潜藏的风险远超过学生宝贵前程。我们凭借的是资深导师的指引、高效的辅导策略及严谨的流程,帮助学生解决在论文撰写过程中遇到的问题,提高学生的科研素养和论文质量。
Q:如何收费?A:不同的分区价格不同,meeting后会根据你的情况给你做详细的介绍。
(文:老刘说NLP)