動画のオーバーサンプリングとは

はじめに

動画のオーバーサンプリングとは何なのでしょう。

下にあるソニーの宣伝文句によれば、7Kオーバーサンプリングによる高解像度4K動画記録とありますので、飛んでもなく素晴らしいものの様に思えてしまいます。

おまけに”モアレやジャギーが少なく、ディテール再現や解像度に優れた4K動画を実現します”となると、これこそベストな動画のリサイズ方式だと思わずにはいられません。

確かに従来の画素混合（画素加算）や画素間引きと比べればそうかもしれませんが、実はドットバイドットの方が画質は上なのです。

という話をこれからしたいと思います。

もし、そんな訳がないと思われた方は必見です。

オーバーサンプリングと画素混合の違い

下は、キヤノンのEOS R6 Mark IIにおける6Kオーバーサンプリングに関する説明です。

これをご覧頂ければ一目瞭然でしょう。

オーバーサンプリングとは、（静止画の画像ファイルの様に）一度1画素に3色の情報を持たせて、それを基にリサイズしているのです。

一方従来の画素混合は、撮像素子から読み込んだばかりの1画素が1色の色情報しかない状態でリサイズします。

ところがご存知の様にベイヤー配列においては、同じ色の画素は飛び飛びで配置されています。

このためこれをリサイズするには非常に厄介で、例えば下にあります等色９画素混合の場合、25画素をブロック単位に分けて1色の1画素にリサイズし、その後補完して3色の色情報を持たせなければなりません。

このため、どうしても解像度が大幅に低下しまうのです。

また画素間引きについても、単に画素を間引くだけなのでリサイズとしては非常にシンプルなのですが、本来あるべき画素が抜けるのですから当然ながらジャギーが発生します。

これに対してオーバーサンプリングは、先ほどの説明にもあります様に、1画素に3色の情報を持たせて、それを元にリサイズしています。

このため画素混合と比べて、近接した画素をひとまとめにできるため、遥かに解像度の劣化が防げるのです。

また画素間引きも必要ないので、ジャギーの発生も防げます。

以前でしたら、1画素に3色の色情報を持たせてからまたリサイズするなどというのは、1秒間に数十フレームが必要となる動画の場合時間的に無理な芸当だったのですが、今では映像エンジンが速くなってそれが可能となったという訳です。

いつからオーバーサンプリングが使われる様になったのか

ところで、その昔キヤノンは頑（かたく）なにドットバイドットにこだわっていたのをご存知でしょうか。

実際EOS 5D Mark IV（2016/9発売）やEOS R（2018/10）までの4K動画は、クロップされたドットバイドット方式でした。

恐らくその理由は、画素混合と画素間引きを組み合わせたリサイズより、クロップながらもドットバイドットの方が画質は良いと判断したからなのでしょう。

ではいつからオーバーサンプリングで4K動画が撮れる様になったかと言えば、下にありますEOS-1D X Mark III（2020/2発売）からです。

このときに映像エンジンがDIGIC 8からDIGIC Xに変わっていますので、これによってようやくオーバーサンプリングに画像処理速度が追い付いたのでしょう。

ちなみにソニー機がいつからオーバーサンプリングができる様になったかと言えば、4K24P限定（4K30Pはクロップ）でしたがα9（2017/5）からです。

恐らくこれはα9において、撮像素子に積層型を採用した事で読み込み速度が速まったせいなのでしょう。

なおその後発売されたα7R III（2017/11）においては、クロップの4K30Pはオーバーサンプリングだったものの、フルサイズでの4K30Pは画素混合と画素間引きの組み合わせでした。

このためソニー自身も、4K30Pはクロップの方が画質が良い、と言っていたほどです。

ドットバイドット

それはともかく、同じ大きさの撮像素子であれば、オーバーサンプリングよりドットバイドットの方が画質は良いのは間違いありません。

何しろ複数の小さな画素をまとめて大きな1個にするより、元から大きな1画素の方が画質は良いのは、誰がどう考えても明らかでしょう。

すなわちオーバーサンプリングはドットバイドットに近付く事はできても、決して追い抜く事はできないのです。

それ故業務用の動画機は、ドットバイドットが主流なのです。

例えば下にありますRED社のKOMODO 6Kですが、センサーサイズはスーパー35mmで、画素数は6Kフォーマットと同じ2000万画素です。

という事は、ドットバイドット方式なのです。

国産で言えば、キヤノンのシネマEOS C70は、センサーサイズはやはりスーパー35mmで、画素数は4Kフォーマットと同じ880万画素ですので、やはりドットバイドットです。

また下にあります様に、7Kオーバーサンプリングのα7 IVよりドットバイドットのα7S IIIの方が画質は良いのが見て取れます。

それと同じ理由で、7Kオーバーサンプリングより、6Kオーバーサンプリングの方が画質は良いのです。

ピクセルビニング

さて、これで話は終わりかと思いきや、申し訳ございません、まだ続きます。

最後はピクセルビニングです。

ピクセルビニングとは、いくつかの画素をひとまとめにするという意味なので、今までお伝えした等色画素混合もこれに入るかもしれません。

ただし下にあります2×2の4画素を1画素にまとめる場合は、それらと全く異なります。

では2×2画素を一つにまとめるとどんな良い事があるかと言えば、ベイヤー配列の場合ウマイ具合に異なる3色を1画素にピッタリまとめられるのです。

ご存知の様にベイヤー配列は、本来1画素に1色しかない色情報を周囲の色情報を使って（補完して）3色の色情報を持たせています。

ですが、ローパスフィルターによって一本の光をこの4つの受光素子に均等に照射し、それぞれの受光素子が受け取った光の量をこの2×2の大きさの3色の色情報だとすれば、解像度は1/4になるものの全く色補完のない純粋な画像を再現できるのです。

色補完がないという事は、単に偽色が無いだけと思われるかもしれませんが、見た目の最も顕著な差は解像度が大幅に上がる事です。

ではこんな事をどのカメラがやっているかと言えば、8K動画の撮れるEOS R5とEOS R5 Cです。

確認が取れている訳ではないのですが、恐らく両機の4K30Pの高画質モードはこのピクセルビニングを使っていると思われます。

ご存知の様にキヤノンは、高画素機においてもローパスフィルターを採用していますが、こんな所にも理由があったのかもしれません。

このためソニーのα7S IIIより4K30Pの画質が良いのでしょう。

という事で、動画の画質が良いのは以下の順という事になります。

　　　　　　　　　　　　　　　　　　　　　　　①ピクセルビニング
　　　　　　　　　　　　　　　　　　　②ドットバイドット
　　　　　　　　　　　　　　③オーバーサンプリング
　　　　　　　　　④画素混合+画素間引き

キヤノンもこの事をもっとアピールすれば良いのにと思うのですが、どうしてしないのでしょう。

また同じく8K30P動画が撮れるソニーのα1の4K動画も気になる所です。

まとめ

それではまとめです。

1）動画のリサイズにおいて、画素混合や画素間引きは、1画素が1色しかない状態でリサイズするので、解像度低下やジャギーが発生する。

2）それに対して、オーバーサンプリングは1画素に3色の色情報を持たせてからリサイズするので、近接した画素を合算でき解像度低下やジャギーの発生が抑えられる。

3）またドットバイドットの場合、リサイズする必要もなく、複数の画素を合算するより1画素の受光量が多い事から、オーバーサンプリングより画質は良い。

4）更に4画素を一つにまとめるピクセルビニングは色補完する必要が一切ない事から、最も画質は良い。

という事で、これが100％正しいと言わないまでも、凡そ理に適っていると思うのですがいかがでしょうか。