（论文速读）DarkIR：稳健的微光图像恢复

论文题目DarkIR: Robust Low-Light Image RestorationDarkIR稳健的微光图像恢复会议CVPR2025摘要夜间或黑暗条件下的摄影通常会受到噪音、光线不足和模糊问题的困扰这是因为环境昏暗和常见的长时间曝光。虽然去模糊和微光图像增强(LLie)在这些条件下是相关的但大多数图像恢复方法都是单独解决这两个问题的。本文提出了一种用于多任务微光图像恢复的高效、稳健的神经网络。我们没有跟随当前基于变压器的模型的发展趋势而是提出了新的注意机制来增强有效的CNN的接受场。与以前的方法相比我们的方法在参数和MAC运算方面减少了计算代价。我们的模型DarkIR在流行的LOLBlur、LOLv2和Real-LOLBlur数据集上取得了新的最先进的结果能够在真实世界的夜晚和黑暗图像上生成。代码https://github.com/cidautai/DarkIRDarkIR让夜间拍摄不再是噩梦的高效图像恢复网络一、问题背景夜间拍摄到底难在哪我们都经历过这样的沮丧在昏暗的餐厅、夜晚的街头举起手机拍照结果要么一片漆黑要么模糊不清要么充满颗粒感噪声。这不是手机性能不够好而是夜间摄影在物理层面上就面临三重叠加的退化我们拍到的暗图理想中清晰、明亮的场景镜头模糊核PSF代表运动模糊传感器噪声动态范围压缩函数为了让更多光线进入传感器夜间摄影往往需要长曝光。长曝光意味着快门速度慢手持拍摄的轻微抖动就会留下运动模糊。而手机传感器尺寸有限暗光下噪声本就高三种退化同时存在共同毁掉一张照片。【论文 Figure 1 — 展示有无模糊的低光图像以及现有方法 vs DarkIR 的对比效果】现有方法的根本缺陷面对这一问题学界长期以来分两条路线走低光增强LLIERetinexFormer、LEDNet、FourLLIE 等方法专注于把暗图变亮但它们对模糊无能为力。图像去模糊DeblurGAN-v2、NAFNet、Restormer 等方法专注于恢复清晰度但在低光场景中严重失效。最自然的想法是将两步串联——先增光再去模糊或者先去模糊再增光。但论文的实验数据给出了残酷的答案【论文 Table 2 — 两步串联管道的量化结果】任何两步管道PSNR 最高只有18.33 dB而 DarkIR 端到端达到27.00 dB差距接近9 dB。这是因为两个任务之间存在强烈的相互干扰未经修复的噪声会放大去模糊的误差而未经去模糊的残影则会误导增光的方向。二、核心思路分而治之各司其职DarkIR 的出发点清晰而优雅既然低光增强和去模糊是两种性质不同的任务何不让网络的不同部分分别专精于此论文观察到两个关键物理事实低光问题本质上是全局的图像的整体亮度与 Fourier 频域的振幅amplitude高度相关而且这种相关性在不同分辨率下一致——这意味着可以在低分辨率下高效地做低光修复。去模糊问题本质上是局部的运动模糊是空间域的非均匀退化需要大感受野的空间注意力才能捕捉长程模糊核。于是DarkIR 设计了一个非对称编码器-解码器网络编码器在频域做低光增强解码器在空间域做去模糊。【论文 Figure 2 — DarkIR 完整网络架构图包含 EBlock、DBlock 和整体 encoder-decoder 流程】三、网络设计详解DarkIR 整体遵循 Metaformer 框架将每个 block 分为两个部分全局注意力模块token mixer 前馈网络FFN。但编码器和解码器采用了完全不同的专用设计。3.1 编码器块EBlock——频域低光增强EBlock 由两个核心组件构成SpAM空间注意力模块类似 NAFBlock使用倒残差结构 简化通道注意力SCA通过门控机制而非激活函数提取空间信息。FreMLP频域前馈网络这是 EBlock 最关键的设计对特征图做快速 Fourier 变换FFT只操作振幅不动相位相位包含结构信息不应干扰通过 1×1 卷积 LeakyReLU 增强振幅做逆 Fourier 变换IFFT回到空间域这种做法计算开销极低却能精准地修正全局光照。编码器使用 stride 卷积逐层下采样在更低的分辨率上用更少的 MACs 完成低光修复。架构引导损失编码器最终输出一个 8× 下采样的中间重建图像并用额外损失监督这个设计确保编码器真的在做低光增强而不是把任务都甩给解码器。3.2 解码器块DBlock——大感受野空间去模糊解码器的输入已经是光照修复后的编码特征因此可以专注于一件事恢复清晰度。DBlock 的核心创新是Di-SpAM膨胀空间注意力模块灵感来自 LKA大核注意力但做了关键改进使用3 个并行的膨胀深度可分离卷积膨胀率分别为 1、4、9三个分支的特征逐元素相乘融合之后经简化通道注意力处理最终通过带门控的 FFN 输出三种不同膨胀率组合在一起感受野大幅扩展能捕捉长程的非均匀运动模糊同时参数量远少于直接使用大核卷积。消融对比Table 7Di-SpAM vs LKA参数减少 18%计算减少 21%PSNR 还提升 0.55 dB——这正是专用设计的价值所在。【论文 Table 7 — Di-SpAM vs LKA 消融对比】3.3 损失函数设计四个损失各有分工像素损失保证像素级保真度LPIPS 感知损失基于 VGG19 特征保证视觉感知质量梯度边缘损失专门监督高频边缘细节的恢复架构引导损失监督编码器中间输出确保低光增强任务的正确解耦【论文 Table A补充材料— 不同损失函数组合的消融实验】四、实验结果4.1 与现有方法的全面比较LOLBlur 数据集LOLBlur 是低光去模糊任务的主要 benchmark包含 10200 组训练对和 1800 组测试对使用真实传感器噪声版本。【论文 Table 1 — LOLBlur 上的完整量化对比】核心数据方法PSNR(dB)↑SSIM↑LPIPS↓参数量(M)↓MACs(G)↓LEDNet25.740.8500.2247.438.65Restormer26.720.9020.13326.13144.25DarkIR-m27.000.8830.1623.317.25DarkIR-l27.300.8980.13712.9627.19DarkIR-m 以比 LEDNet 少55%的参数量、少81%的计算量取得了比 LEDNet 高1.26 dB PSNR的效果。DarkIR-l 的 LPIPS 甚至与 Restormer 持平0.137 vs 0.133但参数量只有后者的50%计算量只有后者的19%。【论文 Figure 3 — LOLBlur 测试集上的定性对比图】4.2 真实数据泛化能力Real-LOLBlurReal-LOLBlur 包含 482 张真实夜间模糊照片没有 ground truth使用盲质量评估指标评测。【论文 Table 5 — Real-LOLBlur 上的感知质量指标对比】DarkIR 在 MUSIQ颜色对比度与清晰度指标上达到48.79全面超越 LEDNet39.11和 RetinexFormer45.30证明了模型对真实世界场景的强泛化能力。【论文 Figure 5 — Real-LOLBlur 真实夜景定性对比】4.3 纯低光增强任务LOLv2将 DarkIR 扩展为多任务版本DarkIR-mt联合 LOLBlur LOLv2 LSRW 训练在纯低光增强 benchmark 上同样取得 SOTA【论文 Table 3 — LOLv2-Real 和 LOLv2-Synthetic 上的结果对比】DarkIR-mt 在 LOLv2-Real 上取得23.87 dB超过 RetinexFormer22.80 dB同时只需 7.25 GMACs 的计算量RetinexFormer 为 15.57 GMACs。【论文 Figure 7 — LOLv2-Real 上与 RetinexFormer 的定性对比】4.4 消融实验每个设计的贡献Block 组合的影响Table 6【论文 Table 6 — 不同 block 组合的消融实验】只用 NAFBlock26.24 dB只用 EBlock26.17 dB频域擅长增光但感受野不足只用 DBlock26.68 dB空间能力强但缺少频域引导EBlock DBlockDarkIR-m27.00 dB✓两种专用 block 各取所长组合后才能发挥最大效果。模型规模的可扩展性Table 8【论文 Table 8 — 不同 channel embedding 维度的扩展实验】三个版本覆盖了从边缘设备到服务器端的不同部署需求且随参数量增加性能持续提升说明架构设计具有良好的可扩展性。五、局限性与未来方向论文作者诚实地指出了一个现实问题DarkIR 大量使用深度可分离卷积depth-wise convolution来降低参数量和 MACs但这类操作在许多 GPU 架构上缺乏算术强度实际推理速度的提升并不与 MACs 的减少成正比。换言之理论计算量减少了 4 倍实际运行速度未必有同等加速。未来工作方向在保持低计算量的同时探索对硬件更友好的算子设计实现更大幅度的实际推理加速——这对真正落地到手机端至关重要。六、总结DarkIR 的贡献可以用三个词概括分工、高效、强泛化。分工编码器做频域低光增强解码器做空间域去模糊专用设计远胜通用模块。高效DarkIR-m 以 3.31M 参数、7.25 GMACs击败参数量是其 2 倍以上的所有竞品。强泛化从合成数据集到真实夜景从低光增强到联合去模糊均取得 SOTA 或接近 SOTA 的结果。对于计算摄影领域而言DarkIR 提供了一个清晰的范式理解任务的物理本质让网络的不同部分各司其职往往比堆叠更多的通用注意力机制更加有效。