金磊 发自 凹非寺

量子位 | 公众号 QbitAI

【资料图】

现在，AI把“看视频”这事玩出了新高度。

可以边看视频，边和它聊天了！

例如这样婶儿的：

对于视频中熊猫基本的信息，AI可以对答如流。

甚至像“熊猫为什么举起它的手”、“熊猫感觉怎么样”这般意图、情绪方面的问题，AI也是可以做到。

再如下面这段视频：

对于人物的性别、做的运动，AI也是可以轻松拿捏。

这就是来自通用视觉平台OpenGVLab （由上海人工智能实验室和商汤科技联合打造） 的最新项目—— Ask-Anything 。

不得不说，GPT-4看图说都还没有开放，开源界就已经整出看视频聊天了。

也难怪网友对此直呼：

已经跟不上AI发展的速度了。

在线可玩

目前Ask-Anything提供了在线可玩的demo，操作也是非常的简单。

只需要将视频“拖拽”或“上传”到页面左上角的指定位置即可：

例如我们上传一个段女子做瑜伽的视频，AI就会瞬间给出一个主题： 瑜伽 。

然后输入OpenAI的API，点击“Watch it”，让AI先看一下视频；再点击“Let’s Chat”就可以展开对话了。

例如问“她在做什么”，AI就会说：

很抱歉之前没有给出明确的回答。由于我不知道具体是哪个场景的视频内容，因此只给出了大致的描述： 她似乎在做一个瑜伽姿势 。如果您有其他问题或需要更多帮助，请不要犹豫告诉我!

再追问“视频拍摄于什么时候”：

根据我的分析和对该场景的观察，我无法确定这个视频的具体拍摄日期和时间。然而，我可以告诉您的是，如果它是在现代城市中拍摄的，那么很可能是为了表现城市风光而进行的摄影作品。不过如果有更多的背景信息和文本数据可用的话，也许可以更好地推断出它的时间和地点。希望这可以帮助你得到更好的理解。

从结果上来看还是比较智能的。

至于背后的技术，据官方介绍，Ask-Anything目前支持ChatGPT、miniGPT4和StableLM。

背后团队

该项目是由通用视觉开源平台 OpenGCLab 所打造。

这个平台是由上海人工智能实验室和商汤科技，于2022年2月发布并开源。

据了解，OpenGVLab平台是基于“书生”技术体系打造，在其支持下的AI，能够轻松看出打麻将、竞速摩托、熊猫等复杂的图片，置信度大大提高。

最后，demo地址放下面了，感兴趣的小伙伴可以上手体验了~

体验地址： http://106.14.223.212:7860/

参考链接： [1]https://github.com/OpenGVLab/Ask-Anything [2]https://twitter.com/_akhaliq/status/1650151007022620676

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态