来源:《科创板日报》
编辑宋子乔
当地时间5月9日,Meta宣布开源了一种可以将可以横跨6种不同模态的全新AI模型ImageBind,包括视觉、温度、文本、音频、深度信息、运动读数。目前,相关源代码已托管至GitHub。
何为横跨6种模态?
即以视觉为核心,ImageBind可做到6个模态之间任意的理解和转换。Meta展示了一些案例,如听到狗叫画出一只狗,同时给出对应的深度图和文字描述;如输入鸟的图像+海浪的声音,得到鸟在海边的图像。
新兴市场教父:比特币或跌穿1万美元,加密货币繁荣与美联储疯狂印钞有关:金色财经报道,新兴市场教父Mark Mobius表示,比特币价格可能在2023年跌破1万美元,较当前价格再下跌40%以上。此前,他曾准确预测比特币跌破2万美元。他表示,比特币已经跌破1.8万美元、1.7万美元的技术支撑位,那么距离跌破1万美元已经不远了。
他对媒体表示,他沽空比特币的理由是利率上升和美联储收紧货币政策。随着利率上升,持有比特币或者其他加密货币的吸引力不再那么大,因为仅仅持有比特币是无法赚取利息的。
他说,当然,有很多公司为加密货币存款提供5%甚至更高的利息,但这些公司基本都破产了。因此,随着投资者遭遇损失,人们会更害怕为赚取利息而持有加密货币。加密货币的繁荣与美联储疯狂印钞有关。在过去几年,美元货币供应量增长了40%以上。他解释道,当美联储开始收回流动性时,人们在市场上的投资能力就会变得困难。[2022/12/4 21:21:50]
梓岑:真正的疯狂要在减半之后 供求平衡被打破后到来:针对本次减半行情,HelloEOS创始人梓岑对金色财经表示:对减半行情高度怀疑很正常,对大多数人而言,看不到,看不懂,看不起,来不及,这个认知路径在减半这件事上同样适用。减半行情同样貌似“反常理”,很多人都需要真正经历过才能体会减半的威力。
而2020年的这次减半,更有里程碑式的意义,比特币的实际通胀将降低至1.8%左右,史上首次低于美元的增发比例。减半之前,实际上只是二级市场追“预期”而已,增量供给并没有变化。真正的疯狂要在减半之后,供求平衡真正被打破之后才会到来。[2020/3/3]
而此前的多模态AI模型一般只支持一个或两个模态,且不同模态之间难以进行互动和检索。ImageBind无疑具有突破性意义,Meta称,ImageBind是第一个能够同时处理6种感官数据的AI模型,也是第一个在没有明确监督的情况下学习一个单一嵌入空间的AI模型。
声音 | V神:在没有大型反DoS安全因素的情况下建立公链都是疯狂的:V神在推特中称,任何人在没有大型反DoS安全因素的情况下建立公链都是疯狂的。推特用户John Galt@Brainvelli回应称,收取燃气费并不是真正的反DoS。你不能向普通用户收取燃料费,他们不明白什么是燃料。我不是在谈论txfees。我的意思是将区块大小限制设置为区块链理论上可以处理的几倍,以防万一有人想出一种聪明的方法来创建异常高负荷的事务。[2019/8/22]
ImageBind能做到这些,核心方法是把所有模态的数据放入统一的联合嵌入空间,无需使用每种不同模态组合对数据进行训练
先利用最近的大型视觉语言模型它将最近的大规模视觉语言模型的零样本能力扩展到新的模态,它们与图像的自然配对,如视频-音频和图像-深度数据,来学习一个联合嵌入空间。
而以图像/视频为中心训练好AI后,对于原始数据中没有直接联系的模态,比如语音和热量,ImageBind表现出涌现能力,把他们自发联系起来。
有行业观察者已经迫不及待地将ImageBind于元宇宙联系在一起。
正如Meta的研究团队所说,ImageBind为设计和体验身临其境的虚拟世界打开了大门。该团队还表示,未来还将加入触觉、语音、嗅觉和大脑功能磁共振信号,进一步探索多模态大模型的可能性,“人类可使用多种感官学习、了解世界,借助ImageBin,机器离人类又近了一步”。
值得注意的是,Meta还表示,ImageBind可以利用DINOv2强大的视觉功能进一步提高其能力。DINOv2是Meta开源的计算机视觉领域的预训练大模型,同样与Meta的元宇宙愿景密不可分,MetaCEO扎克伯格此前强调,DINOv2可以极大地加持元宇宙的建设,让用户在元宇宙中的沉浸体验更出色。
尽管ImageBind目前只是研究项目,没有直接的消费者用户或实际应用。但可以想象的是,随着ImageBind模型逐步完善,AI应用场景将进一步拓展,元宇宙建设也将更进一步。
比如当ImageBind融入虚拟现实设备,使用者能获得更沉浸式的体验,玩家进入游戏后不仅能感受游戏场景的温度,还能感知物理层面上运动。
国盛证券分析师刘高畅此前大胆预测,1-5年内,随着多模态的发展带来AI泛化能力提升,通用视觉、通用机械臂、通用物流搬运机器人、行业服务机器人、真正的智能家居会进入生活。未来5-10年内,结合复杂多模态方案的大模型有望具备完备的与世界交互的能力,在通用机器人、虚拟现实等领域得到应用。
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。