首页>房产 > 正文

AntGPT:一个视频中长期行为预测大型语言模型

2023-08-08 00:43:27    出处:站长之家


【资料图】

编程客栈()8月7日 消息:AntGPT 是一个将大型语言模型应用于视频长期行为预测(LTA)的视觉语言框架。研究人员通过使用监督动作识别算法识别人类活动,并将其作为离散化的视频表示输入给 OpenAI GPandroidT 模型。通过自回归方法、微调或上下文学习,GPT 模型可以预测未来的行动序列,从而实现从底向上的行动预测。

项目地址:https://brown-palm.github.io/AntGPT/

论文地址:https://arxiv.org/abs/2307.16368

他们还利用目标信息来提供以目标为条件的预测,并研究了 AntGPT 在上下文推理和少样本学习方面的能力。

定量和定性评估表明,LLMs 可以从视频观察的离散化动作标签中推断出演员的高级目标,并且在 EPIC-Kitchens-55、EGTEA GAZE + 和 Ego4D LTA v1和 v2基准测试中取得了最先进的长期行动预测性能。该研究提出了使用大型语言模型进行长期行动预测的方法,并通过 AntGPT 框架将 LLMs 与计算机视觉算法相结合,取得了显著的成果。

核心功能:编程

1)预测目标:AntGPT 利用大型语言模型推断演员的目标,即使只有少量观察到的人类行为。

2)目标条件预测:AntGPT 通过将目标信息嵌入视觉框架,实现了基于目标的行为预测。

3)建模动作时序:AntGPT通过将大型语言模型调整到特定领域的行动序列上,直接建模动作的时间动态。

4)少样本预测:AntGPT 探索了大型语言模型在少样本情况下的预测能力,并尝试了不同的提示策略。

关键词:

消费
产业
西青区防汛抗旱指挥部发布关于确保河道行洪安全的紧急通告 8月6日17时,独流减河进洪闸下泄流量582立方米 秒,大清河第六堡水位4
集泰股份:子公司拟投资建设高端新材料智造基地项目 集泰股份(002909)8月7日晚间公告,全资子公司从化兆舜拟以自有或自筹资
2023年火盆股票名单(8/7) 2023年火盆股票名单(8 7),南方财富网为您整理的2023年火盆概念股,供
宁德时代股价创近半年新高 宁德时代涨幅扩大至超4%,股价创近半年新高。新能源权重逐步转暖,阳光
基金