影像感測器是什麼?手機相機把光變成電的原理
影像感測器是一種半導體晶片,負責把相機鏡頭收集到的光,變成電的訊號。表面排列著數千萬個小小的受光部(像素),每一個都把照到的光量,當成電子的個數來計數。把這些個數換成數字並排好,就是數位照片的原始資料。
這篇文章可以了解
- 光變成電子、再變成電壓、最後變成數字的流程
- 每個像素只量1種顏色,卻能拍出彩色照片的原因
- 背照式、堆疊式是什麼,以及CMOS取代CCD成為主流的原因
- 「5,000萬像素」的意思,以及像素不一定越多越好的原因
先備知識:沒有特別需要。如果知道半導體是「導電難易度會隨光或電壓改變的材料」,會比較容易閱讀(「半導體是什麼?」)。
生活中的例子:「電子的眼睛」到處都有
手機背面的圓形小窗後面,有鏡頭,鏡頭後方還放著一顆小晶片。這顆晶片就是影像感測器。鏡頭收集光線、形成影像,影像感測器再把這個影像變成電的訊號。
除了手機和數位相機,影像感測器也用在很多地方。例如看車子周圍的鏡頭、監視器、門口對講機、電腦的網路攝影機。在工廠裡,也用在檢查生產線上產品有沒有刮傷的檢測相機。
原理1:光的粒子讓電子能夠移動
光的行為,就像一小團一小團能量的集合。這一小團稱為光子。這裡為了簡化,把光當成「粒子的流動」來說明。光越亮,每秒抵達的粒子就越多。
矽晶體中的電子,平常用來把原子彼此連結起來,不能自由移動。光的粒子打到電子時,電子得到粒子的能量,就變成可以自由移動的狀態。像這樣,光讓物質中的電子能夠移動的現象,稱為內光電效應。電子離開後也會留下「洞」,但這裡只追蹤電子。
讓電子能夠移動所需的能量,每種材料都是固定的(就是「半導體是什麼?」裡提到的「高低差」)。看得見的光的粒子,在矽中擁有足以越過這道高低差的能量。所以,矽能把可見光有效地變成電子。
負責把能移動的電子收集起來、不讓它跑掉並存放起來的元件,是光二極體。兩種性質不同的矽相接的交界處,會產生把電子拉到同一個地方的電力。靠著這股力量,光產生的電子會聚集在一個小小的「蓄水池」裡。
接收光線、累積電子的時間,稱為曝光。曝光期間,光二極體會依照照到的光量累積電子。在暗的地方拉長曝光時間就能拍得比較亮,是因為電子累積的時間變長了。
原理2:把電子的個數變成數字
累積的電子,還不能直接變成照片。這裡用手機使用的方式(後面會說明的CMOS)來說明。像素裡的小電路,會把電子的量變成電壓。電壓是推動電流的力道,是容易測量的量。電子越多,電壓的變化就越大。
接著,再把這個電壓換成整數。把連續變化的電壓,換成一格一格的數字,稱為AD轉換(類比數位轉換)。例如,換成「0到1,023的整數中的某個數」這樣的形式。這樣一來,每個像素的亮度就變成了數字。
把數千萬個像素的數字,照像素的排列方式排好,就是照片的原始資料。手機會對這張數字表做顏色的計算、減少粗糙感等處理,完成我們平常看到的照片。
原理3:顏色要怎麼分辨?
光二極體只知道照到的光有多少。因為不管是紅光還是藍光,產生電子的方式都一樣。所以,要在每個像素上方,放一層只讓特定顏色的光通過的小小有色薄膜。這層薄膜稱為彩色濾光片。
濾光片的排列方式中,用得最廣的是拜耳陣列。以2×2的4個像素為一組,放2個綠、紅和藍各1個,再往橫向、縱向重複排列。這是柯達的布萊斯·拜耳想出來的排法,1976年在美國取得專利。綠色比較多,是因為人眼對綠光最敏感。亮度和細微的花紋,主要從綠色像素讀取。
用這種排法,1個像素只量1種顏色的亮度。例如紅色像素,沒有綠和藍的值。所以,要從周圍綠色和藍色像素的值,推算出缺少的2種顏色來補上。這個計算稱為去馬賽克(色彩內插)。
因為是推算,也有不順利的時候。拍攝細條紋的衣服時,可能出現實際上不存在的彩色暈染或花紋。相機的影像處理會檢查輪廓的方向等,來減少這類錯誤。
原理4:不浪費光線的巧思
像素的面積,並不是全部都能接收光。因為像素裡還有讀出電子用的電晶體和配線。所以在每個像素上方,各放一個把光集中到受光部的小凸透鏡。這稱為微透鏡。
晶片的做法也有巧思。一般的晶片,是在矽晶圓的表面做出電晶體,再往上疊好幾層金屬配線(「半導體晶片是怎麼做出來的?」)。從正面讓光進來的傳統做法,稱為前照式。這種做法中,光必須穿過配線的縫隙,有一部分會被配線擋住。
於是出現了新的做法:把晶片翻過來,把晶圓磨薄到幾µm(微米。1 µm是1 mm的1,000分之1),讓光從沒有配線的背面進來。這稱為背照式。Sony在2009年量產這種方式的CMOS影像感測器,最早用在攝影機「Handycam」上。根據該公司當時的發表,感度約為以往產品的2倍。
背照式要從背面貼上一片晶圓,來支撐磨薄的晶片。把這片支撐用的晶圓,換成處理訊號的電路晶片,就是堆疊式。Sony在2012年1月發表開發成果,同年10月開始出貨第一個產品。因為像素和電路上下疊在一起,晶片可以做小,電路也能增加。
3種構造的差異,整理在「前照式、背照式與堆疊式影像感測器的差異」的表格中。
CMOS和CCD:讀出方式的差異
影像感測器有2種方式,差別在於讀出電子的方法。其中一種是CCD。它把每個像素的電子,像水桶接力一樣一格一格傳給旁邊,在出口用1個電路統一變成電壓。CCD在1969年由美國的貝爾實驗室發明,2位發明者獲得2009年的諾貝爾物理學獎。
另一種是CMOS影像感測器。CMOS是製作電晶體電路的一種方式的名稱,和CPU等用的是同一種(「電晶體是什麼?」)。這種方式在每個像素裡把電子變成電壓,再用每一直行的電路同時並行讀出。
CMOS方式的優點是讀出快、耗電少。AD轉換和影像處理的電路,也能放在同一顆晶片或疊上去的晶片上。不過,過去CCD造成照片粗糙的雜訊比較少,所以重視畫質的用途會選CCD。
之後,CMOS也不斷改良,減少了雜訊。現在,手機和數位相機的感測器幾乎都是CMOS。CCD則用在天文觀測、科學量測等部分領域。差異整理在「CMOS影像感測器與CCD的差異」的表格中。
像素越大,越適合暗處的原因
在同樣亮度的地方拍很多次,1個像素累積的電子數,每次都會有一點不同。因為光的粒子像雨滴一樣,在零散的時間抵達。這種偶然造成的起伏,稱為散粒雜訊。這是暗的照片看起來粗粗的主要原因之一。
起伏的大小有固定的關係。平均累積100個電子的像素,起伏約為±10個,是平均的10%。平均是1萬個的話,起伏約為±100個,只有1%。用數學的說法,起伏的大約值是平均個數的平方根(乘2次會等於那個數的值)。
也就是說,1個像素收集到的光的粒子越多,起伏所占的比例越小,拍起來越平滑。像素越大、整個感測器越大,能收集的光就越多。手機的夜景模式中,有的會拍好幾張再疊合。這也是為了收集更多光的巧思。這裡為了簡化,省略了電路加入的雜訊等。
「5,000萬像素」是什麼的數量?
「50MP」的MP是百萬像素(megapixel),也就是100萬像素的意思。50MP表示感測器大約有5,000萬個像素。如果是寬高比4:3的畫面,算起來橫向約8,200個、縱向約6,100個。
在同樣大小的感測器上塞進更多像素,每個像素就會變小。於是每個像素分到的光變少,上一節說的起伏比例就變大。增加像素數,可能拍得更細緻,但在光線少的場合可能比較吃虧。
所以高像素的手機感測器中,有的會在相鄰的4個像素上放同一顏色的濾光片。在暗的場景,把這4個像素的訊號合起來,當成1個大像素處理。這種合併的做法,稱為像素合併。
例如Apple在2022年推出的iPhone 14 Pro,使用4800萬像素的感測器。平常把4個像素合成1個,拍出1200萬像素的照片。依設定不同,也能不合併,直接用4800萬像素拍攝。
讀出的順序與變形
很多CMOS影像感測器,會從最上面一列開始,一列一列依序讀出像素。配合這個順序,曝光的開始和結束也會一列一列稍微錯開。這種方式稱為捲簾快門。所以拍攝快速移動的電車或旋轉的螺旋槳時,可能會拍成傾斜或彎曲的樣子。
也有讓所有像素同時曝光,把電子暫時存放在像素裡再讀出的方式。這稱為全域快門。移動的物體不會變形,但像素的電路要多出存放用的部分。用在工廠的檢測相機等。2023年,Sony發表了搭載這種感測器的相機「α9 III」。
製造影像感測器的公司
影像感測器的大廠有Sony、三星電子、OmniVision等。Sony集團中,由Sony半導體解決方案公司(Sony Semiconductor Solutions)負責製造。手機用的部分,根據調查公司TechInsights和Counterpoint在2024年的調查,Sony居首。
根據該公司的說法,前面介紹的背照式和堆疊式,都是Sony在全世界最先量產的。該公司在2022年公開的文章中提到,自家的影像感測器約9成是堆疊式。
常見的誤解
誤解:像素越多的相機,越能拍出好照片
實際上,拍出來的效果是由鏡頭、感測器大小、每個像素的大小、影像處理一起決定的。感測器大小相同時,增加像素數會讓每個像素接收的光變少,暗的場景就容易變粗糙。像素數在規格表上很容易比較,所以特別容易被當成畫質的指標。
誤解:1個像素會測量紅、綠、藍全部的顏色
實際上,大多數感測器的1個像素,只量1種顏色的亮度。缺少的2種顏色,是從周圍像素的值計算補上的。完成的照片中,每個像素都有3種顏色的值,所以看起來好像一開始就量了全部的顏色。
誤解:感測器像底片一樣,把影像本身烙印下來
實際上,每個像素只是測量曝光期間累積的電子量,變成數字送出去而已。讀出結束後,電子就被丟掉,像素回到準備下一次拍攝的狀態。留下來成為照片的,是存在記憶體裡的一串數字。「拍照」這個說法,容易讓人以為感測器上會留下圖像。
從數字來看
| 項目 | 數字 | 補充 |
|---|---|---|
| 50MP(5,000萬像素)的排列 | 橫約8,200×縱約6,100 | 4:3畫面的情況(本站計算) |
| 拜耳陣列的顏色比例 | 綠1/2、紅1/4、藍1/4 | 2×2的4個像素為1組 |
| 電子100個時的起伏 | 約±10個(10%) | 散粒雜訊 |
| 電子1萬個時的起伏 | 約±100個(1%) | 光越多,比例越小 |
| 合併4個像素時的光 | 4倍 | 起伏的比例約變成一半 |
| iPhone 14 Pro的主鏡頭 | 4800萬像素→1200萬像素 | 2022年。把4個像素合成1個 |
| 背照式的量產 | 2009年 | Sony。感度約為以往的2倍(該公司) |
| 堆疊式的發表 | 2012年1月 | Sony。同年10月出貨第一個產品 |
只考慮散粒雜訊的話,合併4個像素讓光變成4倍,起伏的比例也只會變成一半。因為4的平方根是2。這也是收集光的巧思只能一點一點見效的原因。
進一步學習
- 用表格看差異:CMOS影像感測器與CCD的差異、前照式、背照式與堆疊式影像感測器的差異、捲簾快門與全域快門的差異
- 下一步的用語:量子效率(光的粒子中變成電子的比例)、暗電流(沒有光也會產生的電子)。
- 再進一步:飽和電子數(1個像素能存放的電子上限)、相關雙重取樣(抵消讀出雜訊的方法)。
- 用數字試試看:用能隙與波長換算工具,可以確認矽能變成電子的光的波長上限(約1,100 nm)。用影像、聲音、影片資料量計算工具,可以從像素數計算照片的資料量。
- 從基礎讀起:「半導體是什麼?」「電晶體是什麼?」