中国图象图形学报最新期刊目录
多元软混合样本驱动的图文对齐人脸伪造检测————作者：王诗雨;冯才博;刘春晓;金逸胜;
摘要：目的 随着人脸图像合成技术的快速发展，基于深度学习的人脸伪造技术对社会信息安全的负面影响日益增长。然而，由于不同伪造方法生成的样本之间的数据分布存在较大差异，现有人脸伪造检测方法准确性不高，泛化性较差。为了解决上述问题，提出一种多元软混合样本驱动的图文对齐人脸伪造检测新方法，充分利用图像与文本的多模态信息对齐，捕捉微弱的人脸伪造痕迹。方法 考虑到传统人脸伪造检测方法仅在单一模式的伪造图像上训练，难...
结构感知增强与跨模态融合的文本图像超分辨率————作者：朱仲杰;张磊;李沛;屠仁伟;白永强;王玉儿;
摘要：目的 场景文本图像超分辨率是一种新兴的视觉增强技术，用于提升低分辨率文本图像的分辨率，从而提高文本可读性。然而，现有方法无法有效提取文本结构动态特征，导致形成的语义先验无法与图像特征有效对齐并融合，进而影响图像重建质量并造成文本识别困难。为此，提出一种基于文本结构动态感知的跨模态融合超分辨率方法以提高文本图像质量和文本可读性。方法 首先，构建文本结构动态感知模块，通过方向感知层和上下文关联单元，分...
融合特征增强与互补的手物姿态估计方法————作者：顾思远;高曙;
摘要：目的 从单个RGB图像进行联合手物姿态估计极具挑战性，当手与物体交互时，经常会发生严重的遮挡。现有的手物特征提取网络通常使用特征金字塔网络（feature pyramid network,FPN）融合多尺度特征，然而，基于FPN的方法存在通道信息丢失的问题。为此，提出手物特征增强互补模型（hand-object feature enhancement complementary,HOFEC）。方法...
边界线索深度融合息肉图像分割网络————作者：章东平;李铮;谢亚光;王都洋;汤斯亮;卜玉真;王梦婷;
摘要：目的 在医疗保健领域，复杂多变的背景分布、息肉形态与尺寸的显著差异以及边界定义的模糊性为实现息肉的精确分割造成诸多挑战。为应对上述难题，创新性地提出一种针对结肠镜检查过程中息肉分割问题的深度学习模型，即息肉边界线索深度融合网络（polyp boundary cues deep fusion network,PBCDF-Net）。方法 PBCDF-Net网络使用Res2Net-50作为骨干网络，并设...
渐进特征提取和频域信息补充的多模态医学图像融合————作者：李夫辰;高珊珊;刘峥;张彩明;周元峰;
摘要：目的 如何充分保留各模态独有特征的细节以及有效整合模态间共有特征是多模态医学图像融合领域亟待突破的共性问题。目前常用的双分支图像编码方法存在对模态间相互依赖、相互关联的共有特征信息交互方式不够完善、过程不够充分的问题，影响了多模态成像间特征相关性的建立。对此，设计了基于渐进特征提取、频域信息补充以及Swin Transformer结合卷积神经网络（convolutional neural netw...
《中国图象图形学报》视觉及多模态大模型专栏简介————作者：方乐缘;贾伟;林倞;谭明奎;王耀威;吴庆耀;韩向娣;
摘要：<正>视觉大模型和多模态大模型是当前人工智能领域新的研究热点和国际研究前沿，受到学术界和工业界的极大关注。视觉大模型可以更好地解决复杂视觉任务，应用潜力巨大；多模态大模型则可通过融合文本、图像、音频、视频、雷达等不同类型的数据，实现更丰富、更全面的场景理解和信息处理。迅速发展的视觉及多模态大模型，有望为智能感知、人机交互、具身智能等提供全新思路和途径，在智慧城市、智慧交通、无人驾驶、智...
视觉模型及多模态大模型推进图像复原增强研究进展————作者：韦炎炎;毛天一;李柏昂;王飞;李锋;张召;赵洋;
摘要：图像在拍摄、传输和存储过程中常会出现退化情况，影响视觉感知和信息理解。图像复原增强旨在将降质图像恢复为干净图像，以提升视觉感知体验，并提高如语义分割和目标检测等计算机视觉任务的精度，在自动驾驶和智能医疗等数据敏感的应用场景有重要作用。视觉及多模态大模型在多个领域取得重要进展，并在图像复原增强任务中展现出巨大潜力。对此，本文系统总结并分析近年国内外图像复原增强领域应用视觉（大）模型和多模态大模型的重...
基于联合嵌入空间的视频文本检索研究综述————作者：董闯;栗伟;巴聪;覃文军;
摘要：视频在人们日常生活中扮演着重要角色，面对爆炸式增长的视频数据，视频文本检索为用户提供便捷的方式检索感兴趣的信息。视频文本检索旨在利用用户输入的文本或视频查询，在视频或文本库中检索出与输入内容最相关的视频或文本。对基于联合嵌入空间的视频文本检索工作进行系统梳理和综述，以便认识和理解视频文本检索的发展。首先从基于联合嵌入空间的视频文本检索的4个步骤：视频特征表示提取、文本特征表示提取、视频文本特征对齐...
以神经辐射场和三维高斯泼溅为基础的文本指导三维编辑综述————作者：卢丽华;张晓辉;魏辉;李茹杨;杜国光;王斌强;
摘要：文本引导的三维编辑可以根据目标文本的引导，改变现有三维资产的几何形状和外观，从而创建多样化和高质量的三维资产。先进三维神经表示、文本引导图像生成与编辑等一系列关键技术的出现和发展，推动了文本引导三维编辑的进步。本文主要聚焦于基于神经辐射场和三维高斯泼溅的文本指导三维编辑的最新进展，并从方法本质与编辑能力两个维度对现有研究进行梳理与总结。具体地，本文将现有研究按照编辑约束，分为无约束、隐式约束和显式...
大语言模型引导的视频检索数据迭代优化————作者：曾润浩;李嘉梁;卓奕深;段海涵;陈奇;胡希平;
摘要：目的 视频文本跨模态检索旨在从视频库或给定视频中检索出语义上与给定查询文本最相似的视频或视频片段，是视频理解的重要应用之一。现有方法主要聚焦于如何通过跨模态交互提高模态间的语义匹配，但忽略了目前数据集存在一个查询文本对应多个视频片段或视频的问题。该问题在训练过程中可能导致模型混淆，制约模型性能。为此，提出一种大语言模型引导的视频检索数据迭代优化方法。方法 通过视觉文本相似度定位出数据集中存在一对多...
信息解耦式自监督预训练语音大模型————作者：王龙标;江宇;王天锐;王晓宝;党建武;
摘要：目的 探讨了一种基于语音信息解耦策略的语音预训练大模型，利用海量无标注语音数据提取独立的语言信息、副语言信息和非语言信息，为下游的大语言模型和生成模型提供完备且可控的语音信息，推动言语交互系统的发展。方法 提出了一种基于信息解耦的自监督语音表征学习大模型，以高效解耦韵律、说话人及内容特征。在编码器风格的自监督预训练策略基础上，引入两个轻量化模块，增强韵律和说话人特征提取。同时为避免已提取的信息干扰...
语义微调和跨模态检索增强的中文医学报告生成————作者：李恒泰;刘慧;陈公冠;闫子申;盛玉瑞;张彩明;
摘要：目的 医学报告生成旨在根据医学影像生成准确的诊断结果，以减轻医生负担、提高临床工作效率。然而，中文医学报告生成在准确理解医学影像及规范描述医学报告方面仍存在局限，并存在幻觉问题。为应对上述挑战，提出一种基于语义微调和跨模态检索增强的中文医学报告生成模型FRCM。方法 基于多模态大模型LLaVA，对其视觉编码器和大语言模型进行领域适配与微调，并提出一种通用数据与垂域数据协同训练策略：利用通用数据提高...
结合反事实提示与级联解码SAM的超声图像分割————作者：霍一儒;封筠;刘娜;史屹琛;殷梦莹;
摘要：目的 分割一切模型（segment anything model,SAM）在自然图像分割领域已取得显著成就，但应用于医学成像尤其是涉及对比度低、边界模糊和形状复杂的超声图像时，分割过程往往需要人工干预，并且会出现分割性能下降情况。针对上述问题，提出一种结合反事实提示与级联解码SAM的改进方法（SAM combined wihongth counterfactual prompt and casca...
视觉语言模型引导的青瓷跨模态知识图谱构建————作者：肖刚;方静雯;张豪;刘莹;周晓峰;徐俊;
摘要：目的 青瓷是中华民族文化瑰宝中的璀璨明珠，也是中外交流的文化使者。在文化数智化背景下，构建青瓷跨模态知识图谱是推动青瓷文化保护传承的关键技术之一。在此过程中，实现不同模态间相同实体的匹配至关重要，涉及到对齐等价实体的不同模态特征。为最大程度地提升青瓷图像与文本间的匹配度，提出了一种基于视觉语言预训练（vision-language pretraining,VLP）模型的图像多特征映射的跨模态实体对...
结合双重对比嵌入学习的生成式零样本图像识别————作者：张桂梅;闫文尚;黄军阳;
摘要：目的 零样本学习（zero-shot learning,ZSL）是解决样本数据缺失情况下目标识别的有效方法。传统的零样本识别是通过对带标签的可见类数据训练，实现对无标签的未见类新数据的识别。根据任务设置的不同，分为传统零样本学习（conventional zero-shot learning,CZSL）和广义零样本学习（generalized zero-shot learning,GZSL）。生成...
特征扰动池融合机制的多类工业缺陷检测————作者：杨杰;胡文军;臧影;
摘要：目的 多类缺陷检测是工业检测领域中的重要应用场景，现有方法因需训练多个模型而导致其耗时耗内存严重，同时多类之间因存在特征扰动导致现有模型鲁棒性欠佳。为此，本文联合特征扰动池和多层特征融合提出一种多类缺陷检测的新网络。方法 一方面通过特征扰动池强化模型对特征的鲁棒性，另一方面将各层网络输出特征进行融合，从而降低模型对数据分布的依赖性和提升对特征间复杂关系的捕捉能力。结果 与SOTA(state of...
双分支注意和特征交互的小样本细粒度学习————作者：文浪;苟光磊;白瑞峰;缪宛谕;
摘要：目的 细粒度图像分类旨在区分视觉上高度相似但语义不同的类别。在实际应用中，获取大规模标注数据成本昂贵且需要专业技能。传统分类方法难以捕捉图像中的细微差异，导致在少量样本环境下，细粒度图像分类性能较差。因此，研究如何应用小样本学习方法来解决细粒度问题显得尤为重要。为此，提出一种双分支注意和特征交互的小样本细粒度图像分类方法。方法 设计双分支注意力模块嵌入特征提取网络，通过并行空间与通道路径动态调节模...
一致性约束引导的零样本三维模型分类网络————作者：晏浩;白静;郑虎;
摘要：目的 零样本三维模型分类任务自提出起，始终面临大规模数据集与高质量语义信息的短缺问题。为应对这些问题，现有方法引入二维图像领域中蕴含丰富的数据集和语义信息的大规模预训练模型，这些方法基于语言—图像对比学习预训练网络，取得了一定的零样本分类效果。但是，现有方法对三维信息捕捉不全，无法充分利用来自三维领域的知识，针对这一问题，提出一致性约束引导的零样本三维模型分类网络。方法 一方面，在保留来自预训练网...
结合深度残差与多特征融合的步态识别方法————作者：罗亚波;梁心语;张峰;李存荣;
摘要：目的 步态识别是交通管理、监控安防领域的关键技术，为了解决现有步态识别算法无法充分捕捉和利用人体生物特征，在协变量干扰下模型精度降低的问题，本文提出一种深度提取和融合步态特征与身形特征的高精度步态识别方法。方法 首先使用高分辨率网络（high resolution network,HRNet）提取出人体骨架关键点；以残差神经网络ResNet-50 (residual network)为主干，利用深...
融合自适应稀疏变换学习的磁共振指纹重建方法————作者：李敏;刘洋;蔡庆瑞;朱旭元;
摘要：目的 磁共振指纹成像（magnetic resonance fingerprinting,MRf）是一种快速高效的定量成像技术。本研究旨在提出一种融合自适应稀疏变换学习的MRf重建方法，以提高参数反演的准确性、改善折叠噪声的抑制效果，并保护图像的边缘特征。方法 基于盲压缩感知（blind compress sensing,BCS）理论，将稀疏变换学习重建模型引入MRf模型，通过数据驱动的自适应学习...
中国图象图形学报来自网友的投稿评论：
