像素偏移 (英語:Pixel Shift,也譯作像素位移)是一種輔助提升成像畫質的技術,用於數碼成像獲得更好的色彩解像度,或生成獲得超解像度圖像

配置像素偏移技術的奧林巴斯 E-M5II 相機


原理與實現

編輯

原理

編輯
 
拜爾式排列的色彩濾鏡,單一位置只能採集單色信息

像素偏移具有兩種特定的實現,而其對應的原理並不相同。像素與像素之間存在間隙,而傳感器無法捕捉這其中的信號,在亞像素(英語:Sub Pixel)範疇內,進行信息採集,用於補充圖像,可以使最終獲得圖像,得到比傳感器本身更高的解像度。而就拜耳傳感器結構而言,其固有的限制在於單一亞像素位置只能獲得R、G、B其中一種色彩光線的信息,在合成中損失了其他部分;如果復用這些位置,則可以獲得較高色彩解像度的圖像,同時也可以抑制摩爾紋

額外信息的採集,可以通過佈置多傳感器,或是單一傳感器位移後多張拍攝併合成實現;後者通常利用了相機上配置的傳感器防抖機構實現,這也是「像素位移」這一名稱的由來。

技術實現

編輯

在數碼攝影早期,受限於單塊傳感器像素數限制,通常會採用空間多塊圖像傳感器,邏輯上偏移亞像素單位,以獲得畫質提升。這類排布與3CCD英語3CCD技術存在交集,故往往一同使用。1995年,由美能達愛克發聯合開發的RD-175即為應用像素偏移式分佈的單鏡反光機[1]

在早期的高清製作中,受限於圖像傳感器成本或產能,流行的做法是在3CCD結構中,採用單塊解像度為較低的傳感器,彼此錯開像素,由機內插值合成全高清影像。例如松下的HVX200,使用三片960x540傳感器;索尼的HDV採用三片960x1080傳感器[2]

利用單塊傳感器位移後,進行多幀拍攝合成的技術,則利用了出現在數碼相機上的防抖機構,利用移動傳感器補償進行防抖的分支。

首先做出實踐的是哈蘇,其在2008年推出的H3DII-39 MS上首先推出[3],MS即代表「Multi-Shot」,這一模式下,會輪換RGB亞像素位置進行拍攝,最終同樣生成39MP圖像,但具有更好的圖像解像度。2011年的哈蘇H4D-200 MS,將這一功能擴展到超解像度獲取,可以以50MP的傳感器,移動並拍攝6張,實現200MP輸出。

2015年,賓得與奧林巴斯分別在自己的相機產品上配置像素位移功能,代表作分別是K3 IIE-M5 MarkII英語Olympus OM-D E-M5 Mark II,各自的實現也分別是更好的色彩解像度與更高的像素輸出。在此之後,索尼、松下以及徠卡公司紛紛在自己的數碼相機中加入該功能。

由於應用到防抖組件,也有玩家將該功能戲稱作「搖搖樂」。

由於從成像機理上說,現今的顯微鏡望遠鏡也有採用傳感器成像,本質上來說是一類特殊用途的數碼相機,故也可以應用到像素偏移技術,例如徠卡的DMC6200[4],而例如奧林巴斯公司,其將應用在自己顯微鏡上的技術命名為OSR,並設立了專門的介紹頁面,號稱可以圖片光學繞射極限,獲得水平清晰度120nm的圖像[5]

除了內置功能,一些愛好者也將應用可能拓展到所有相機。由於手持拍攝時,天然具有輕微的位移,在此條件下拍攝多張,之後以軟件進行對齊疊加處理,以獲得解像度收益[6][7] 。這一應用可能也迅速在手機攝影上得以實施,由於相對受限的傳感器及鏡頭模組配置,以及較為強力的計算處理能力,使得這一領域對於計算攝影相關的提升十分有興趣,2015年即出現了可以輸出4倍解像度(32MP)的應用Hydra[8][9];在2018年,Google在Pixel 3世代手機上配置了單枚後置攝像頭,但依然以超解像度方式,於Google Camera內提供了長焦拍攝功能,稱作「Super Res Zoom」,即以此實現[10],次年,該研究於SIGGRAPH 2019發佈[11]

應用

編輯

消費級數碼相機

編輯

不同廠商和相機之間,實現不同。賓得偏向於輸出等像素高色深的照片,奧林巴斯則一貫致力於輸出四倍像素。而機能差異也導致了差別,有的機器,如索尼,無法完成機內處理,需要打包保存在存儲卡,等待後續處理;奧林巴斯和松下可以完成機內合成,也保留以電腦後制的可能。

在拍攝題材方面,通常集中限制在靜物;但松下公司的S1系列,提供了動體識別,可以在拍攝合成中識別運動物體,而不進行疊加,以免產生虛影[12]。雖然其間使用電子快門,但現今多數拍攝仍不支持閃光燈

應用像素偏移技術的消費類數碼相機[13]
廠商 相機名稱 發佈年份 傳感器像素 輸出像素
哈蘇
Hasselblad
H3DII-39 MS 2008 39MP 39MP
哈蘇
Hasselblad
H3DII-50 MS 2009-11 50MP 50MP
哈蘇
Hasselblad
H4D-50 MS 2010-05 50MP 50MP
哈蘇
Hasselblad
H4D-200 MS 2011-05 50MP 200MP
哈蘇
Hasselblad
H5D-200 MS 2014-08 50MP 200MP
哈蘇
Hasselblad
H6D-400C MS 2018-10 100MP 400MP
奧林巴斯
Olympus
E-M5 MarkII 2015-02 16MP 64MP
奧林巴斯
Olympus
PEN-F 2016-01 20MP 80MP
奧林巴斯
Olympus
E-M1 MarkII 2016-12 20MP 80MP
奧林巴斯
Olympus
E-M1 X 2019-01 20MP 80MP
手持模式50MP
奧林巴斯
Olympus
E-M5 Mark III 2019-10 20MP 80MP
奧林巴斯
Olympus
E-M1 Mark III 2020-02 20MP 80MP
手持模式50MP
賓得
Pentax
K3 II 2015-04 24MP 24MP
賓得
Pentax
K1 2016-02 36MP 36MP
賓得
Pentax
K70 2016-06 24MP 24MP
賓得
Pentax
KP 2017-01 24MP 24MP
賓得
Pentax
K1 II 2018-02 36MP 36MP
賓得
Pentax
K3 III 2021-03 26MP 26MP
理光
Ricoh
GR III[14] 2018-09*
2019-03
24MP 24MP
索尼
SONY
α7R III 2017-10 42MP 42MP
索尼
SONY
α7R IV 2019-07 61MP 240MP
索尼
SONY
α1 2021-01 50MP 50MP/200MP
松下
Panasonic
G9 2017-11 20MP 80MP
松下
Panasonic
S1 2019-02 24MP 96MP
松下
Panasonic
S1R 2019-02 47MP 187MP
松下
Panasonic
S1H 2019-05 24MP 96MP
松下
Panasonic
S5 2020-09 24MP 96MP
徠卡
Leica
SL2 2019-11 47MP 187MP
徠卡
Leica
SL2-S 2020-12 24MP 96MP
富士膠片
Fijifilm
GFX100[15] 2019-06
2020-11*
102MP 400MP
富士膠片
Fijifilm
GFX100S 2021-01 102MP 400MP
  • 理光GR III機型,其開發階段披露時間為2018年9月的Photokina,但實際售賣在2019年3月。
  • 富士膠片的GFX100於2019年6月售賣,但像素位移合成功能在2020年11月追加,同時還推出了專屬支持程序「Pixel Shift Combiner」[13]

智能手機

編輯

以Hydra為代表的app可以實現高解像度輸出,通常在8MP的iOS設備上,實現生成32MP圖像。

Google相機在2018年更新,伴隨Pixel 3提供了Super Res Shot,彌補了沒有配置長焦鏡頭的缺憾。

命名

編輯

不同廠商於不同地區,可能使用不相同的命名,以下為部分命名:

廠商 英語 日語 簡體中文 繁體中文
哈蘇 Multi Shot - - -
奧林巴斯 High Res Shot ハイレゾショット 高解像度拍攝[16]
賓得 Real Resolution[17] 超解像技術
英文轉譯:リアル・レゾリューション・システム
像素偏移解像度系統
索尼 Pixel Shift Multi Shooting[18] ピクセルシフトマルチ撮影[19] 像素轉換多重拍攝[20] 像素偏移多重拍攝[21]
松下 高解像撮影モード 高解像度模式[22]
徠卡 multishot mode[23] - - -

參考與引用

編輯
  1. ^ John Henshall. MINOLTA RD-175 = AGFA ACTIONCAM. 1996-05 [2020-05-14]. (原始內容存檔於2014-01-07) (英語). 
  2. ^ The ProHD Report (PDF). JVC. [2020-05-14]. (原始內容存檔 (PDF)於2020-05-14) (英語). 
  3. ^ Hasselblad creates 50MP multi-shot full-color camera. DPReview. 2009-11-19 [2020-05-14]. (原始內容存檔於2016-05-17). 
  4. ^ Pixel Shift Camera DMC6200. [2020-05-14]. (原始內容存檔於2020-05-14) (英語). 
  5. ^ 奥林巴斯的超分辨率技术. 奧林巴斯. [失效連結]
  6. ^ Ian Norman. A Practical Guide to Creating Superresolution Photos with Photoshop. Petapixel. 2015-02-21 [2020-05-14]. (原始內容存檔於2020-11-29) (英語). 
  7. ^ Dan Bracaglia, Rishi Sanyal. Here's how to create a super resolution photo with any camera. DPReview. 2018-04-25 [2020-05-14]. (原始內容存檔於2020-11-12). 
  8. ^ Hydra. [2020-05-14]. (原始內容存檔於2020-11-11). 
  9. ^ Lars Rehm. Hydra for iOS uses multi-frame techniques for higher resolution and lower noise. 2015-01-30 [2020-05-14]. (原始內容存檔於2019-08-29). 
  10. ^ Bartlomiej Wronski. See Better and Further with Super Res Zoom on the Pixel 3. Google AI Blog. [2020-05-14]. (原始內容存檔於2020-12-14). 
  11. ^ B. Wronski, I. Garcia-Dorado, M. Ernst, D. Kelly, M. Krainin, C.K. Liang, M. Levoy, and P. Milanfar. Handheld Multi-frame Super-resolution. [2020-05-14]. (原始內容存檔於2020-12-09) (英語). 
  12. ^ 特長|新たな表現を切り拓く. Panasonic. [2020-05-14]. (原始內容存檔於2020-09-29). 
  13. ^ 13.0 13.1 应用像素位移的相机. 2019-11-08 [2020-05-14]. (原始內容存檔於2021-01-11) (中文(簡體)). 
  14. ^ GR III 特長 [高画質]. Ricoh jp. [2020-07-09]. (原始內容存檔於2020-07-09) (日語). 
  15. ^ Fujifilm develops the new “Pixel Shift Multi-Shot” function to capture and generate the world's highest resolution of 400MP images with accurate color reproduction. 2020-11-25 [2020-11-25]. (原始內容存檔於2020-11-27) (英語). 
  16. ^ OM-D E-M1 Mark II 产品特点 高画质. 奧林巴斯. [2020-05-14]. (原始內容存檔於2020-02-20). 
  17. ^ Chris M Williams. Pentax K-1 Pixel Shift Resolution: Updated Field Test. DPReview. [2020-05-14]. (原始內容存檔於2020-11-11) (英語). 
  18. ^ Pixel Shift Multi Shooting. 索尼. [2020-05-14]. (原始內容存檔於2020-11-12) (英語). 
  19. ^ ピクセルシフトマルチ撮影. 索尼. [2020-05-14]. (原始內容存檔於2020-08-11) (日語). 
  20. ^ 像素转换多重拍摄. 索尼 (中文(簡體)). 
  21. ^ 像素偏移多重拍攝. 索尼 (中文(繁體)). 
  22. ^ 照片拍摄性能. 松下電器. [2020-05-14]. (原始內容存檔於2020-01-12) (中文(簡體)). 
  23. ^ THE NEW LEICA SL2. It's your choice.. Leica. [2020-05-14]. (原始內容存檔於2020-10-01).