PyShawn

應用於高光譜機載影像與Bicubic interpolation之比較

資料來源


● 國家太空中心影像搜尋下載系統

● 提取[450 550 650]nm附近波段製作RGB影像

● 針對10張市區及3張郊區影像進行超解析成像

 

資料處理與工具


1. 將所選區域作為Ground truth(GT),另以Bicubic interpolation下採樣為1/2倍,

作為參考的低解析度影像(LR)。

2. 再以Bicubic上採樣為2倍還原至同GT大小,作為對照組(BCU)。

3. 將LR以ZSSR(by Assaf Shocher)演算法上採樣為2倍同GT大小,作為實驗組(ZS)。

4. 使用峰值訊噪比(PSNR)及結構相似性(SSIM)檢驗SR的影像品質。

主要使用工具:

Tensorflow (深度學習 for ZSSR)

pillow/scikit-image (影像處理、分析影像品質)

超解析度成像品質檢驗方法


峰值訊噪比(PSNR)是建立在均方差(MSE)上的評分方式,

其中I為原始影像(Ground Truth, GT),

I(hat)為重建的超解析度影像(SR),N為影像的像素數量。

由MSE得到峰值訊噪比,L為像素最大可能的值,

峰值訊噪比的單位是dB,數字越大代表重建的SR與GT越接近,成果表現越佳。

 

 

結構相似性(SSIM)是評估兩張影像結構相似程度的指標,

也可以看成是失真影像的影像品質衡量指標。

影像像素位置排列是高度結構化的狀態,

亦即在影像中相鄰像素之間有很緊密的關聯性,代表了場景中物體的結構資訊。


實驗結果:市區

image name: city0.png
Zere Shot Super-resolution: PSNR:38.0892, SSIM:0.9391
Bicubic interpolation: PSNR:35.7520, SSIM:0.9078


image name: city1.png
Zere Shot Super-resolution: PSNR:37.4608, SSIM:0.9419
Bicubic interpolation: PSNR:35.0783, SSIM:0.9079


image name: city2.png
Zere Shot Super-resolution: PSNR:37.7709, SSIM:0.9537
Bicubic interpolation: PSNR:35.7665, SSIM:0.9174


image name: city3.png
Zere Shot Super-resolution: PSNR:37.6492, SSIM:0.9453
Bicubic interpolation: PSNR:35.4998, SSIM:0.9171


image name: city4.png
Zere Shot Super-resolution: PSNR:34.0507, SSIM:0.9330
Bicubic interpolation: PSNR:32.2307, SSIM:0.8967

image name: city5.png
Zere Shot Super-resolution: PSNR:35.0214, SSIM:0.9518
Bicubic interpolation: PSNR:32.3796, SSIM:0.9109


image name: city6.png
Zere Shot Super-resolution: PSNR:38.4859, SSIM:0.9527
Bicubic interpolation: PSNR:36.6285, SSIM:0.9295


image name: city7.png
Zere Shot Super-resolution: PSNR:38.3241, SSIM:0.9609
Bicubic interpolation: PSNR:35.7716, SSIM:0.9292


image name: city8.png
Zere Shot Super-resolution: PSNR:40.1830, SSIM:0.9560
Bicubic interpolation: PSNR:38.0137, SSIM:0.9303


image name: city9.png
Zere Shot Super-resolution: PSNR:39.6960, SSIM:0.9569
Bicubic interpolation: PSNR:37.3708, SSIM:0.9282

實驗結果:郊區

image name: outskirt0.png
Zere Shot Super-resolution: PSNR:45.2889, SSIM:0.9409
Bicubic interpolation: PSNR:45.2461, SSIM:0.9331


image name: outskirt1.png
Zere Shot Super-resolution: PSNR:41.7037, SSIM:0.9617
Bicubic interpolation: PSNR:39.8089, SSIM:0.9463


image name: outskirt2.png
Zere Shot Super-resolution: PSNR:40.7025, SSIM:0.9669
Bicubic interpolation: PSNR:38.6678, SSIM:0.9454

 

結論與後續工作

● ZSSR屬於不需預訓練的自監督(self-supervised)超解析方法,可直接提供超解析度影像。

● ZSSR在任何地貌的還原程度及品質都優於Bicubic interpolation。

● 根據ZSSR原始論文,增加超解析過程中學習的迭代次數,可以提高結果的品質,

或是在LR加入特定雜訊,也有提高PSNR的結果。

● 未來嘗試應用於High level vision的Target detection及Classification,

檢驗超解析度遙測影像是否有比擬高空間解析度遙測影像的能力。

 

主辦單位

協辦單位

競賽相關事宜 連絡信箱:vivian.huang@ecloudvalley.com