ViTeX-Bench:高保真视频场景文本编辑基准测试
近期视频生成日益逼真可控,但视频编辑发展仍较滞后,尤其是必须保留原场景动态的精确局部编辑。视频场景文本编辑替换店面招牌、白板与产品标签等场景表面文本,同时保留周边内容、运动与摄像机动态。尽管图像场景文本编辑已被充分研究,但兼具高视觉质量、时间一致性与编辑局部性的视频场景文本编辑仍探索不足。现有资源提供的成对真实视频数据有限,且通用视频编辑指标未直接衡量所需文本随时间推移是否保持正确。我们提出ViTeX-Bench,一套包含ViTeX-Dataset与三轴评估协议的基准。该数据集含387个带文本区域掩码与编辑指令的真实720p视频:230个提供经审查的流水线生成的成对编辑以供训练,157个构成冻结的评估集。该协议通过13项指标评估文本正确性、视觉与时间质量及编辑局部性,每轴一项主指标,并对其权衡作Pareto比较。OCR校准、人工评估与标注敏感性分析支撑对这些分数的解读。在四个编辑类别的八个基线中,准确文本、时间稳定与场景保留难以同时实现。我们还发布ViTeX-Edit-14B,一款以运动对齐字形-视频条件在成对训练集上微调的开源参考编辑器。其CharAcc达0.688,在受测视频原生编辑器中均值居首,且在原始编辑器输出中具备最低的可比text-crop Warp。ViTeX-Bench为研究视频场景文本编辑中的此类权衡提供可复现基础。
赞
评论
请
登录后发表观点

