資料來源

● 國家太空中心影像搜尋下載系統

● 提取[450 550 650]nm附近波段製作RGB影像

● 針對10張市區及3張郊區影像進行超解析成像

 

資料處理與工具

1. 將所選區域作為Ground truth(GT)，另以Bicubic interpolation下採樣為1/2倍，

作為參考的低解析度影像(LR)。

2. 再以Bicubic上採樣為2倍還原至同GT大小，作為對照組(BCU)。

3. 將LR以ZSSR(by Assaf Shocher)演算法上採樣為2倍同GT大小，作為實驗組(ZS)。

4. 使用峰值訊噪比(PSNR)及結構相似性(SSIM)檢驗SR的影像品質。

主要使用工具：

Tensorflow (深度學習 for ZSSR)

pillow/scikit-image (影像處理、分析影像品質)

超解析度成像品質檢驗方法

峰值訊噪比(PSNR)是建立在均方差(MSE)上的評分方式，

其中I為原始影像(Ground Truth, GT)，

I(hat)為重建的超解析度影像(SR)，N為影像的像素數量。

由MSE得到峰值訊噪比，L為像素最大可能的值，

峰值訊噪比的單位是dB，數字越大代表重建的SR與GT越接近，成果表現越佳。

 

 

結構相似性(SSIM)是評估兩張影像結構相似程度的指標，

也可以看成是失真影像的影像品質衡量指標。

影像像素位置排列是高度結構化的狀態，

亦即在影像中相鄰像素之間有很緊密的關聯性，代表了場景中物體的結構資訊。

實驗結果：市區

image name: city0.png
Zere Shot Super-resolution: PSNR:38.0892, SSIM:0.9391
Bicubic interpolation: PSNR:35.7520, SSIM:0.9078

image name: city1.png
Zere Shot Super-resolution: PSNR:37.4608, SSIM:0.9419
Bicubic interpolation: PSNR:35.0783, SSIM:0.9079

image name: city2.png
Zere Shot Super-resolution: PSNR:37.7709, SSIM:0.9537
Bicubic interpolation: PSNR:35.7665, SSIM:0.9174

image name: city3.png
Zere Shot Super-resolution: PSNR:37.6492, SSIM:0.9453
Bicubic interpolation: PSNR:35.4998, SSIM:0.9171

image name: city4.png
Zere Shot Super-resolution: PSNR:34.0507, SSIM:0.9330
Bicubic interpolation: PSNR:32.2307, SSIM:0.8967

image name: city5.png
Zere Shot Super-resolution: PSNR:35.0214, SSIM:0.9518
Bicubic interpolation: PSNR:32.3796, SSIM:0.9109

image name: city6.png
Zere Shot Super-resolution: PSNR:38.4859, SSIM:0.9527
Bicubic interpolation: PSNR:36.6285, SSIM:0.9295

image name: city7.png
Zere Shot Super-resolution: PSNR:38.3241, SSIM:0.9609
Bicubic interpolation: PSNR:35.7716, SSIM:0.9292

image name: city8.png
Zere Shot Super-resolution: PSNR:40.1830, SSIM:0.9560
Bicubic interpolation: PSNR:38.0137, SSIM:0.9303

image name: city9.png
Zere Shot Super-resolution: PSNR:39.6960, SSIM:0.9569
Bicubic interpolation: PSNR:37.3708, SSIM:0.9282

實驗結果：郊區

image name: outskirt0.png
Zere Shot Super-resolution: PSNR:45.2889, SSIM:0.9409
Bicubic interpolation: PSNR:45.2461, SSIM:0.9331

image name: outskirt1.png
Zere Shot Super-resolution: PSNR:41.7037, SSIM:0.9617
Bicubic interpolation: PSNR:39.8089, SSIM:0.9463

image name: outskirt2.png
Zere Shot Super-resolution: PSNR:40.7025, SSIM:0.9669
Bicubic interpolation: PSNR:38.6678, SSIM:0.9454

 

結論與後續工作

● ZSSR屬於不需預訓練的自監督(self-supervised)超解析方法，可直接提供超解析度影像。

● ZSSR在任何地貌的還原程度及品質都優於Bicubic interpolation。

● 根據ZSSR原始論文，增加超解析過程中學習的迭代次數，可以提高結果的品質，

或是在LR加入特定雜訊，也有提高PSNR的結果。

● 未來嘗試應用於High level vision的Target detection及Classification，

檢驗超解析度遙測影像是否有比擬高空間解析度遙測影像的能力。