CLIP - Tag - 堂堂一跑堂https://spacetop.win/tags/clip/CLIP - Tag - 堂堂一跑堂Hugo -- gohugo.iozh-CNkingcopper@whu.edu.cn (WangTong)kingcopper@whu.edu.cn (WangTong)Mon, 01 Jun 2026 12:00:00 +0800ConInfer：无需训练，用上下文推理实现遥感开放词汇分割https://spacetop.win/2026/06/20260601_034035_coninfer_open_vocabulary/Mon, 01 Jun 2026 12:00:00 +0800WangTonghttps://spacetop.win/2026/06/20260601_034035_coninfer_open_vocabulary/ ConInfer：无需训练，用上下文推理实现遥感开放词汇分割

论文解读 | CVPR 2026 Findings | 2026-06-01

📄 论文信息

项目 内容
标题 ConInfer: Context-Aware Inference for Training-Free Open-Vocabulary Remote Sensing Segmentation
作者 详见论文
会议 CVPR 2026 Findings
arXiv 暂未公开
GitHub https://github.com/Dog-Yang/ConInfer
关键词 开放词汇分割、遥感图像、免训练、上下文推理、CLIP、DINOv3

🎯 解决的核心问题

遥感图像分割是地球观测领域的核心任务，广泛应用于城市规划、环境监测、灾害评估等场景。传统的语义分割方法依赖于封闭词汇表——模型只能识别训练时见过的固定类别（如建筑、道路、水体等）。然而，真实世界的遥感应用场景远比固定类别复杂：

  • 灾害响应中需要识别"被洪水淹没的农田"
  • 城市规划中需要识别"临时搭建的工棚"
  • 环境监测中需要识别"入侵物种覆盖区域"

这些类别在标准训练数据集中几乎不存在，传统模型对此无能为力。

当前的开放词汇分割方法主要面临两个挑战：

  1. 训练成本高昂：大多数方法需要在大规模标注数据上进行微调，遥感图像的标注成本极高（需要专业知识，且图像尺度巨大）
  2. 领域迁移困难：CLIP等视觉-语言模型在自然图像上预训练，直接应用于遥感场景时存在严重的领域鸿沟——遥感图像的俯视视角、多光谱特性、尺度多样性等都与自然图像截然不同

能否在不进行任何训练的情况下，直接利用预训练视觉-语言模型实现高质量的遥感开放词汇分割？

💡 解决方案

设计动机：CLIP模型在图像级别进行预训练，其特征缺乏像素级的空间细节。直接将CLIP特征用于分割会导致边界模糊、类别混淆。

具体实现：ConInfer提出了一种上下文感知的推理机制，通过以下步骤增强CLIP的像素级理解能力：

  1. 多尺度特征提取：利用DINOv3和SimFeatUp获取高分辨率的细粒度视觉特征
  2. 上下文建模：通过高斯混合模型（GMM）对特征空间进行聚类，自动发现图像中的语义区域
  3. 上下文引导分类：利用发现的上下文信息来校准CLIP的分类结果，消除领域偏差

设计动机：避免昂贵的微调过程，直接利用预训练模型的能力。

具体实现：

  • 使用BLIP生成图像描述，提供文本级别的上下文
  • 利用OpenCLIP的文本编码器计算开放词汇相似度
  • 通过自适应的提示工程（Prompt Engineering）弥合领域差距