欢迎来到矜功伐善网

矜功伐善网

混合专家更有主见了,能感知多模态分情况行事,Meta提出模态感知型专家混合

时间:2024-09-27 03:10:07出处:时尚阅读(143)

混合专家更有主见了,混合混合能感知多模态分情况行事,专家主见知多知型专Meta提出模态感知型专家混合 2024年08月10日 12:58 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

混合专家,模态也得术业有专攻。分情

对于目前的况行混合模态基础模型,常用的提态感架构设计是融合特定模态的编码器或解码器,但这种方法存在局限:无法整合不同模态的出模信息,也难以输出包含多种模态的混合混合内容。

为了克服这一局限,专家主见知多知型专Meta FAIR 的模态 Chameleon 团队在近期的论文《Chameleon: Mixed-modal early-fusion foundation models》中提出了一种新的单一 Transformer 架构,它可以根据下一个 token 的分情预测目标,对由离散图像和文本 token 组成的况行混合模态序列进行建模,从而在不同模态之间进行无缝推理和生成。提态感

出模

分享到:

温馨提示:以上内容和图片整理于网络,仅供参考,希望对您有帮助!如有侵权行为请联系删除!

友情链接:

Baidu
map