RS-46 Synthetic Instruction Data Quality for RS-VLM

细问题：遥感 VLM 的合成 instruction/caption 数据质量如何评估、过滤和人工抽检？

摘要

2024-2026 年遥感 VLM 的核心数据路线可以概括为三类：把已有 caption/VQA/检测/分割数据转成 instruction；用 GPT-4V/通用 VLM/LLM 生成多轮问答、细粒度 caption 或 scene graph；再用人工验证、负样本或 benchmark 协议约束模型幻觉。问题是，遥感图像有小目标、俯视视角、尺度/GSD、地理上下文和类别层级，通用 VLM 生成的数据很容易出现“看不见却说有”“模板句式过强”“类别先验替代图像证据”“地理常识编造”等伪细节。

本方向最值得做的小课题不是再堆一个更大的 instruction 数据集，而是提出一个可复现的 Synthetic RS-VLM Data Quality Protocol：对每条 image-instruction-answer 做来源追踪、视觉证据检查、地理/尺度一致性检查、负样本压力测试、人工分层抽检和训练收益验证。

问题由来

遥感 VLM 训练数据的难点来自两个冲突：

• 大规模 instruction 数据必须自动化生成，否则成本不可承受。
• 遥感场景又极其依赖证据，自动生成的一句 caption 或 QA 只要错一个小目标、方向、类别层级，就会把模型训练成“会说但不看图”。

2024 年的 RS-LLaVA、SkyEyeGPT、GeoChat、RS-GPT4V、SkySenseGPT、VHM 都在扩充 instruction 数据；2025-2026 年的 GEOBench-VLM、OmniEarth、RSHBench/RADAR 则开始反过来诊断这些数据和模型是否真的可靠。这个演化说明：数据质量本身已经成为遥感 VLM 的研究问题。

代表论文与资源

数据构造路线对比

质量问题分类

1. 伪细节幻觉：caption 里出现图像中没有的飞机、船、道路、建筑损毁等。
2. 小目标误读：把 tiny vehicle、storage tank、greenhouse、ship 等当成纹理或相似类别。
3. 空间关系错误：left/right、near、inside、parallel、surrounded by 在俯视图中容易错。
4. 尺度/GSD 错误：把球场、停车场、房屋屋顶等按自然图像尺度理解。
5. 类别层级混乱：land cover 与 object label 混用，例如 impervious surface/road/runway/building。
6. 模板偏置：模型靠问题句式猜答案，而不是看图。
7. 答案分布偏置：yes/no、选项位置、常见类别过度集中。
8. 地理常识编造：根据地区名、典型场景或语言先验推断不可见信息。
9. 多粒度不一致：同一图像的 image-level caption、region QA、mask label 互相矛盾。
10. 训练-测试污染：合成数据来自公开 benchmark 或同一区域瓦片，导致评测虚高。

可执行的数据过滤协议

Stage 0: 数据血缘记录

每条样本保存：

• image_id
• source_dataset
• geo_bbox
• timestamp
• sensor
• gsd
• label_source: human / GPT-4V / LLM-from-label / detector / SAM / mixed
• generator_model
• prompt_template_id
• evidence_type: none / bbox / obb / mask / point / polygon
• verification_status: unchecked / auto_pass / human_pass / human_revised / reject

Stage 1: 自动一致性检查

Stage 2: 分层人工抽检

建议每轮训练数据发布前，按以下维度分层抽检，而不是随机抽样：

• 任务：caption、VQA、counting、grounding、relation、change、segmentation。
• 来源：GPT-4V 直接生成、LLM from labels、human、detector/SAM。
• 场景：urban、agriculture、water、forest、industrial、disaster。
• 难度：小目标、密集目标、相似类别、低分辨率、遮挡/云影。
• 地理：不同国家/气候带/城市形态。
• 类别频率：head、medium、tail classes。

推荐抽检字段：

Stage 3: 训练收益验证

过滤协议不能只报告“通过率”，还要验证是否改善模型：

• 固定 base model，比较 raw synthetic、filtered synthetic、human-verified subset、mixed data。
• 下游评测覆盖 GEOBench-VLM、OmniEarth、VRSBench、RSHBench/RADAR 和一个 held-out 私有或新区域测试集。
• 同时报告 open-ended accuracy、MCQ accuracy、grounding IoU、mask IoU、hallucination rate、calibration、跨区域性能。
• 记录每类过滤规则移除多少样本，以及对应性能变化，避免过度过滤导致长尾类别消失。

实验矩阵

一个可投稿的小方法方案

题目草案：TrustFIT-RS: Evidence-Calibrated Filtering for Synthetic Instruction Data in Remote Sensing Vision-Language Models

核心假设：遥感 VLM 的合成 instruction 数据中，真正损害泛化的不是语言质量低，而是“语言断言缺少可见证据”。如果把 evidence consistency、hard negatives、taxonomy consistency 和 geo/scale sanity check 加入数据过滤，就能在不增加大量人工标注的情况下减少幻觉并提升跨区域评测。

方法模块：

1. 数据血缘记录器：对每条样本记录来源、生成模型、prompt 模板、地理时间元数据和证据类型。
2. Evidence verifier：用 detector/SAM/grounding/VLM 交叉验证 answer 中对象是否有 bbox/mask/region 支撑。
3. Geo-scale verifier：基于 GSD 和类别尺寸先验过滤不合理描述。
4. Taxonomy normalizer：把自由文本类别映射到统一遥感层级词表。
5. Hard-negative generator：为每个正样本生成相似但不存在的对象/关系问题。
6. Human audit sampler：按任务、来源、场景、难度和长尾类别分层抽检。

最小实验：

• 数据：从 RS-GPT4V、SkySenseGPT/FIT-RS、GeoChat 数据格式中抽取 50k-200k 样本，构造 raw、auto-filtered、human-audited 三个版本。
• 模型：选择一个开源 LLaVA-style RS-VLM 或 GeoChat/SkyEyeGPT 兼容框架。
• 评测：GEOBench-VLM、VRSBench、OmniEarth、RSHBench/RADAR；若资源有限，先做 VQA + grounding + honest QA 三项。
• Baseline：随机过滤、CLIP similarity 过滤、只按 generator confidence 过滤、人工小样本过滤。
• 预期贡献：不是新模型，而是 RS-VLM instruction 数据的质量控制协议和可复现过滤器。

风险

• 很多遥感 VLM 数据集并非完全开放，可能需要用公开子集或复刻格式。
• GPT-4V 生成数据的原始 prompt 和中间输出不一定公开，难以完整复现。
• 自动 evidence verifier 自身会犯错，尤其对小目标和密集目标。
• 过滤过强可能移除难样本和长尾样本，提升短期准确率但损害泛化。
• 人工抽检需要遥感知识，普通众包可能无法判断细粒度地物。

下一步阅读队列

1. RS-GPT4V 与 SkySenseGPT/FIT-RS：重点看生成 prompt、任务类型和数据清洗。
2. VHM：重点看 HnstD 欺骗性问题如何定义。
3. GEOBench-VLM 与 OmniEarth：重点看人工验证和语义一致性。
4. RSHBench/RADAR：重点看 hallucination taxonomy。
5. Cambrian-1 与 What matters when building VLMs?：迁移通用 MLLM 数据策展消融到遥感。