您的当前位置:首页>综合>提升生成式零样本学习能力,视觉增强动态语义原型方法入选CVPR 2024正文

提升生成式零样本学习能力,视觉增强动态语义原型方法入选CVPR 2024

时间:2024-05-22 15:07:04来源:网络整理编辑:综合

核心提示

提升生成式零样本学习能力,视觉增强动态语义原型方法入选CVPR 2024 2024年03月15日 12:44机器之心Pro

为了达到这个目的提升,更新的生成式零视觉后语义原型中也包含了域视觉知识 。这些知识取代了纯高斯噪声  ,样本语义原型

学习 研究团队将两个模块的增强输出连接为一个动态语义原型向量,而在零样本学习(ZSL)任务中 ,动态这个生成过程是入选以前面提到的属性标签等语义描述为条件驱动的 。即域视觉知识 ,提升而不是生成式零视觉描述每个样本实例  ,而且作为一个即插即用的样本语义原型方法 ,在零样本学习领域中是学习具有创新性的方法。人们希望模型能够举一反三 ,增强训练出可以识别未见类的动态分类模型。另外 ,入选研究提出了 VDKL 和 VOSU 两个组件  ,提升

第三,视觉增强动态语义原型方法入选CVPR 2024 2024年03月15日 12:44 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

虽然我从来没见过你,大量实验表明,让模型获得对这些图像的识别能力。在传统的图像识别任务中 ,上述研究呈现了三个创新点 :

第一,限制了知识从已见类到未见类的迁移。推动生成器学习准确的语义 - 视觉映射 ,导致模型的泛化性能较差。在生成式零样本学习中  ,

生成式零样本学习(GZSL)是实现零样本学习的一种有效方法。首先需要训练一个生成器来合成未见类的视觉特征 ,理想状态下  ,提供了更丰富的先验噪声信息;(2)面向视觉的语义更新模块(VOSU)学习如何根据样本的视觉表示更新其语义原型,华中科技大学研究生与阿里巴巴旗下银泰商业集团的技术专家提出了视觉增强的动态语义原型方法(称为 VADS)  ,

生成器的训练是生成式零样本学习算法的关键 ,具有较强的通用性 。人们在带有不同类别标签的大量图像样本上训练算法模型,将已见类的视觉特征更充分地引入到语义条件中 ,都是以高斯噪声和类别整体的语义描述为条件的,并可以与其他生成式零样本学习方法结合,即域知识,有效地获取数据集的视觉先验并用图像的视觉特征动态更新预定义好的类别语义描述 ,研究论文《Visual-Augmented Dynamic Semantic Prototype for Generative Zero-Shot Learning》已被计算机视觉顶级国际学术会议 CVPR 2024 接收 。来为零样本学习中的未见类生成可靠的视觉特征 ,但是我有可能「认识」你 —— 这是人们希望人工智能在「一眼初见」下达到的状态。

在现有的生成式零样本学习方法中,从而有效地实现了对视觉特征的利用。应与此类别真实样本的视觉特征具有相同的分布 。这限制了生成器只能针对整个类别进行优化  ,也没有在生成器的训练过程中被充分利用,

具体而言,已见类与未见类所共享的数据集视觉信息 ,研究使用视觉特征对生成器进行增强,VADS 方法在常用的零样本学习数据集上实现了显著超出已有方法的性能,作为生成器的条件 。识别在训练阶段没有见过图像样本的类别 。就可以像训练传统的分类器一样 ,生成器在被训练和使用时 ,

为了解决这些问题,从试验结果上看  ,有了生成的视觉特征作为样本  ,提升生成式零样本学习能力,

最终,

第二,

研究细节

VADS 由两个模块组成 :(1)视觉感知域知识学习模块(VDKL)学习视觉特征的局部偏差和全局先验,获得精度的普遍提升 。生成器根据语义描述生成的某个未见类的视觉特征样本  ,本研究使用视觉特征对生成器进行增强的效果显著 ,所以难以准确反映真实样本视觉特征的分布,

Baidu
map