イメージセンサとは? スマホのカメラが光を電気に変えるしくみ

身近なところでは: 「電子の目」はあちこちに

スマホの裏側にある丸い窓の奥には、レンズと、その後ろに置かれた小さなチップがあります。このチップがイメージセンサです。レンズが光を集めて像を結び、イメージセンサがその像を電気の信号に変えます。

イメージセンサは、スマホやデジタルカメラのほかにも使われています。車の周りを見るカメラ、防犯カメラ、ドアホン、パソコンのWebカメラなどです。工場では、流れてくる製品の傷を見つける検査のカメラにも使われます。

しくみ① 光の粒が電子を動けるようにする

光は、エネルギーの小さなかたまりの集まりとしてふるまいます。このかたまりを光子(こうし)と呼びます。ここでは話を簡単にするため、光を「粒の流れ」として説明します。明るい光ほど、1秒あたりに届く粒の数が多くなります。

シリコンの結晶の中の電子は、ふだんは原子どうしの結びつきに使われていて、自由に動けません。そこに光の粒が当たると、粒のエネルギーを受け取った電子が、自由に動ける状態になります。このように、光が物質の中の電子を動けるようにする現象を、内部光電効果と呼びます。電子が抜けた跡には「穴」も残りますが、ここでは電子だけを追います。

電子が動けるようになるのに必要なエネルギーは、材料ごとに決まっています(「半導体とは?」の「段差」の話です)。目に見える光の粒は、シリコンでこの段差を越えるのに十分なエネルギーを持っています。そのため、シリコンは目に見える光をよく電子に変えられます。

動けるようになった電子を、逃がさずに集めてためておく部品がフォトダイオードです。性質の違う2種類のシリコンが接する境目には、電子を1か所に引き寄せる電気の力が生まれます。この力で、光が生んだ電子が小さな「ため池」に集まります。

光を受けて電子をためる時間を、露光と呼びます。露光の間、フォトダイオードには届いた光の量に応じて電子がたまっていきます。暗い場所で露光の時間を長くすると明るく写るのは、電子がたまる時間が長くなるからです。

しくみ② 電子の数を数字にする

たまった電子は、そのままでは写真になりません。ここでは、スマホで使われている方式(後で説明するCMOS)で説明します。画素の中の小さな回路が、電子の量を電圧に変えます。電圧は、電気を押し出す強さのことで、測りやすい量です。電子が多いほど、電圧は大きく変わります。

次に、この電圧を整数の値に直します。連続して変わる電圧を、とびとびの数字に直すことをAD変換(アナログ・デジタル変換)と呼びます。たとえば「0から1,023までの整数のうち、いくつか」という形にします。こうして、それぞれの画素の明るさが数字になります。

数千万個の画素の数字を、画素の並びどおりに並べたものが、写真の元のデータです。スマホは、この数字の表に色の計算やざらつきを減らす処理などを加え、ふだん見る写真に仕上げます。

しくみ③ 色はどうやって見分けるのか

フォトダイオードは、届いた光の量しかわかりません。赤い光でも青い光でも、電子は同じように生まれるからです。そこで、各画素の上に、決まった色の光だけを通す小さな色付きの膜を置きます。この膜をカラーフィルタと呼びます。

フィルタの並べ方で最も広く使われているのが、ベイヤー配列です。2×2の4画素を1組にして、緑を2つ、赤と青を1つずつ置き、これを縦横にくり返します。コダックのブライス・ベイヤーが考えた並べ方で、1976年に米国で特許になりました。緑が多いのは、人の目が緑の光に最も敏感だからです。明るさや細かい模様を、主に緑の画素から読み取れます。

この並べ方では、1つの画素は1色の明るさしか測っていません。たとえば赤の画素には、緑と青の値がありません。そこで、周りにある緑や青の画素の値から、足りない2色を推定して補います。この計算をデモザイク(色補間)と呼びます。

推定なので、うまくいかない場面もあります。細かい縞模様の服などを撮ると、本当はない色のにじみや模様が出ることがあります。カメラの画像処理は、輪郭の向きを調べるなどして、こうした誤りを減らしています。

しくみ④ 光をむだなく集める工夫

画素の面積の全部が、光を受けられるわけではありません。画素の中には、電子を読み出すトランジスタや配線もあるからです。そこで各画素の上に、光を受光部へ集める小さな凸レンズを1つずつ置きます。これをマイクロレンズと呼びます。

チップの作り方にも工夫があります。ふつうのチップは、シリコンの板の表面にトランジスタを作り、その上に何層もの金属の配線を重ねます(「半導体チップはどうやって作られる?」)。表側から光を入れる従来の作り方を、表面照射型と呼びます。この作り方では、光が配線のすき間を通り抜けなければならず、一部が配線にさえぎられます。

そこで、チップを裏返して板を数µm(マイクロメートル。1µmは1mmの1,000分の1)まで薄く削り、配線のない裏側から光を入れる作り方が生まれました。これを裏面照射型と呼びます。ソニーは、2009年にこの方式のCMOSイメージセンサを量産し、最初にビデオカメラ「ハンディカム」に載せました。当時の同社の発表では、従来の製品に比べて感度は約2倍でした。

裏面照射型では、薄くしたチップを支える板を、裏から貼り合わせます。この支えの板を、信号を処理する回路のチップに置き換えたのが積層型です。ソニーは2012年1月に開発を発表し、同年10月に最初の製品の出荷を始めました。画素と回路を上下に重ねるので、チップを小さくでき、回路も増やせます。

3つの構造の違いは「表面照射型・裏面照射型・積層型の違い」で表にしています。

CMOSとCCD: 読み出し方の違い

イメージセンサには、電子の読み出し方が違う2つの方式があります。1つはCCDです。各画素の電子を、バケツリレーのように隣へ隣へと送り、出口にある1つの回路でまとめて電圧に変えます。CCDは1969年に米国のベル研究所で発明され、発明者の2人は2009年のノーベル物理学賞を受けました。

もう1つがCMOSイメージセンサです。CMOSは、CPUなどと同じ種類のトランジスタ回路の作り方の名前です(「トランジスタとは?」)。この方式では、各画素の中で電子を電圧に変え、列ごとの回路で並行して読み出します。

CMOS方式には、読み出しが速く、使う電力が少ないという長所があります。AD変換や画像処理の回路も、同じチップや重ねたチップに載せられます。ただ、かつてはCCDのほうが、写真のざらつきのもとになる雑音(ノイズ)が少なく、画質を重んじる用途で選ばれていました。

その後、CMOSも雑音を減らす改良が進みました。今では、スマホやデジタルカメラのセンサのほとんどがCMOSです。CCDは、天体観測や科学計測などの一部で使われています。違いは「CMOSイメージセンサーとCCDの違い」で表にしています。

大きな画素ほど暗い場所に強い理由

同じ明るさの場所を何度撮っても、1つの画素にたまる電子の数は毎回少しずつ変わります。光の粒は、雨粒のようにばらばらの時刻に届くからです。この偶然によるばらつきをショットノイズと呼びます。暗い写真がざらざらして見える主な原因の一つです。

ばらつきの大きさには決まった関係があります。平均で100個の電子がたまる画素なら、ばらつきはおよそ±10個で、平均の10%です。平均が1万個なら、ばらつきはおよそ±100個で、1%にすぎません。数学の言葉でいうと、ばらつきの目安は平均の数の平方根(2回かけるとその数になる値)です。

つまり、1つの画素に集まる光の粒が多いほど、ばらつきの割合は小さくなり、なめらかに写ります。画素が大きいほど、またセンサ全体が大きいほど、たくさんの光を集められます。スマホの夜景モードには、何枚も撮って重ね合わせるものがあります。これも、集める光を増やすための工夫です。ここでは話を簡単にするため、回路から加わる雑音などは省いています。

「5,000万画素」は何の数?

「50MP」の MP はメガピクセル、つまり100万画素の意味です。50MP は、センサの画素が約5,000万個あることを表します。横と縦の比が4:3の画面なら、横に約8,200個、縦に約6,100個並ぶ計算です。

同じ大きさのセンサに画素を多く詰めると、1つの画素は小さくなります。すると1画素あたりの光が減り、前の節のばらつきの割合が大きくなります。画素数を増やすと細かいところまで写せる可能性は高まりますが、光の少ない場面では不利になることがあるわけです。

そこで高画素のスマホのセンサには、隣り合う4画素に同じ色のフィルタを置くものがあります。暗い場面では、この4画素の信号をまとめて、大きな1画素として扱います。このようにまとめることを、ビニングと呼びます。

たとえばAppleの2022年のiPhone 14 Proは、4800万画素のセンサを使います。4画素を1つにまとめて、ふだんは1200万画素の写真にします。設定によっては、まとめずに4800万画素で撮ることもできます。

読み出しの順番とゆがみ

多くのCMOSイメージセンサは、画素を上の行から順に1行ずつ読み出します。これに合わせて、露光の始まりと終わりも1行ずつ少しずつずれます。この方式をローリングシャッターと呼びます。そのため、速く動く電車や回るプロペラを撮ると、斜めに傾いたり曲がったりして写ることがあります。

すべての画素で同時に露光し、電子を画素の中に一時的に預けてから読み出す方式もあります。これをグローバルシャッターと呼びます。動く物がゆがみませんが、預ける部分の分だけ画素の回路が増えます。工場の検査用カメラなどで使われています。2023年には、ソニーがこの方式のセンサを積んだカメラ「α9 III」を発表しました。

イメージセンサを作る会社

イメージセンサの大手には、ソニー、サムスン電子、オムニビジョンなどがあります。ソニーの中では、ソニーセミコンダクタソリューションズが作っています。スマホ用では、調査会社TechInsightsやCounterpointの2024年の調べで、ソニーが首位でした。

同社によると、前に紹介した裏面照射型と積層型は、どちらもソニーが世界で初めて量産しました。同社が2022年に公開した記事では、自社のイメージセンサの約9割が積層型だとしています。

よくある誤解

数字で見る

ショットノイズだけを考えると、4画素をまとめて光が4倍になっても、ばらつきの割合は半分にしかなりません。4の平方根が2だからです。光を集める工夫が、少しずつしか効かない理由でもあります。

もっと詳しく学ぶ

• 違いを表で見る: CMOSイメージセンサーとCCDの違い、表面照射型・裏面照射型・積層型の違い、ローリングシャッターとグローバルシャッターの違い
• 次の一歩の用語: 量子効率(光の粒のうち電子になる割合)、暗電流(光がなくても生まれる電子)。
• さらに: 飽和電子数(1画素にためられる電子の上限)、相関二重サンプリング(読み出しの雑音を打ち消す方法)。
• 数字で試す: バンドギャップと波長の換算ツールで、シリコンが電子に変えられる光の波長の上限(約1,100nm)を確かめられます。画像・音声・動画のデータ量の計算ツールでは、画素数から写真のデータ量を計算できます
• 土台から読む: 「半導体とは?」「トランジスタとは?」