マット（映画製作）

マットは、写真や特殊効果の映画制作で使用され、2つ以上の画像要素を1つの最終画像に結合します。通常、マットは前景画像（セットや宇宙船の俳優など）と背景画像（風光明媚な景色や惑星のある星空など）を組み合わせるために使用されます。この場合、マットは背景画です。フィルムやステージでは、マットは塗装されたキャンバスの物理的に巨大な部分であり、風景の大きな景色の広がりを描写します。

フィルムでは、マットの原理により、フィルムエマルジョンの特定の領域をマスクして、露光する領域を選択的に制御する必要があります。ただし、多くの複雑な特殊効果シーンには、非常に複雑なマットの使用を必要とする多数の個別の画像要素が含まれており、マットを互いに重ねることができます。単純なマットの例として、店の屋根の上に巨大な都市と空が見える状態で、店の前にいる俳優のグループを描くことができます。セットの俳優と都市の画像の2つの画像を組み合わせて、3つ目の画像にします。これには、2つのマスク/マットが必要です。 1つは店舗の屋根の上にあるすべてのものをマスクし、もう1つはその下にあるすべてのものをマスクします。これらの画像を3番目にコピーするときにこれらのマスク/マットを使用することで、幽霊のような二重露光を作成せずに画像を結合できます。フィルムでは、これは静的なマットの例であり、マスクの形状はフレームごとに変化しません。他のショットでは、人間や宇宙船などの動く物体の形状を隠すために、変化するマットが必要になる場合があります。これらは、 移動マットとして知られています。移動マットは、構成と移動の自由度を高めますが、達成するのがより困難です。

記録から特定の色のすべての領域を削除するクロマキーイングと呼ばれる合成技術-使用される最も人気のある色の後に「ブルースクリーン」または「グリーンスクリーン」として知られる-は、おそらく旅行を作成するための最もよく知られ、最も広く使用されている現代の技術ですロトスコープと複数のモーションコントロールパスも過去に使用されていますが、マット。静的またはアニメーションのコンピューター生成画像も、透明な背景でレンダリングされることが多く、デジタル画像マスクであるマットと同じ原理を使用して、現代のフィルム記録の上にデジタルでオーバーレイされます。

歴史

マットは非常に古い技術で、リュミエール兄弟に遡ります。元々、マットショットは、カットアウトカードで背景を覆い隠す映画製作者によって作成されました。シーンの実写部分が撮影されたとき、映画の背景部分は露出されませんでした。実写が撮影されると、実写の上に別の切り抜きが配置されます。映画は巻き戻され、映画製作者は新しい背景を撮影しました。この技術はカメラ内マットとして知られており、1880年代後半の深刻な特殊効果よりも目新しいと考えられていました。初期のアメリカの良い例は、 The Great Train Robbery （1903）に見られます。そこでは、切符売り場の窓の外に列車を置き、後に列車「セット」の手荷物車の外に動く背景を使用します。この頃、ガラスショットと呼ばれる別の手法も使用されていました。ガラスのショットは、一片のガラスにディテールをペイントし、実写映像と組み合わせて手の込んだセットの外観を作成することで作成されました。最初のガラスショットはエドガー・ロジャースに帰属します。

マットショットの最初の主要な開発は、ノーマンドーンASCによる1900年代初頭でした。ドーンは、映画Missions of Californiaの崩壊しつつあるCalifornia Missionsなど、彼の映画の多くにシームレスにガラスショットを織り込んでおり、ガラスショットを使用してカメラ内マットに革命をもたらしました。現在、実写映像を実際の場所に持ち込む代わりに、映画製作者は、カットアウトカードを所定の位置に置いて以前のように実写を撮影し、フィルムを巻き戻し、振動を最小限に抑えるように設計されたカメラに転送します。その後、映画製作者は実写の背景の代わりにガラスのショットを撮影しました。生のアクションからペイントされた背景への移行の場所であるマットラインは、非常に揺れが少ないため、結果の合成物はかなり高品質でした。さらに、新しいカメラ内マットは、実写が撮影された日にグラスを準備する必要がないため、はるかに費用対効果が高くなりました。この方法の欠点の1つは、フィルムが2回露光されたため、誤ってフィルムを過度に露光し、以前に撮影された映像を台無しにするリスクが常にあったことです。

1920年代にフィルムの品質が向上し始めるまで、カメラ内のマットショットは引き続き使用されていました。この間、バイパックカメラ方式として知られる新しい技術が開発されました。これはカメラ内のマットショットに似ていましたが、バックアップとしてポジティブなマスターに依存していました。これにより、何かが失われた場合でも、マスターはそのまま残ります。 1925年頃、マットを作る別の方法が開発されました。古いマットの欠点の1つは、マットラインが静止していたことです。実写とマットバックグラウンドの間に直接接触することはできません。走行マットはそれを変えました。移動マットは、マットラインがフレームごとに変化することを除いて、カメラ内マットまたはバイパックマットのようでした。映画制作者は、バイパック方式と同様の手法を使用して、ライブアクション部分をマット自体にし、俳優を背景やシーン内で移動させ、完全に統合することができます。バグダッドの泥棒（1940）は、旅行マットの大きな飛躍を表しており、ラリーバトラーがその年ベストビジュアルエフェクトのアカデミー賞を受賞したとき、ラリーバトラーが発明したブルースクリーン技術の最初の主要な導入でした集約的で、各フレームは手作業で処理する必要がありました。

コンピューターは20世紀後半にプロセスを支援し始めました。 1960年代、ペトロブラホスはブルースクリーンでのモーションコントロールカメラの使用を改良し、そのプロセスでアカデミー賞を受賞しました。 1980年代には、最初のデジタルマットとブルースクリーンプロセスの発明、およびビデオ用の最初のコンピューター化された非線形編集システムの発明が見られました。アニメーションセルが自然な状態にあるのと同じ方法でデジタル画像を部分的に透明にすることができるアルファ合成は、1970年代後半に発明され、1980年代にブルースクリーンプロセスと統合されました。 エンパイアストライクスバックのデジタル計画は1980年に始まりました。リチャードエドランドは、このプロセスはまだアナログでしたが、マットを組み合わせる空中画像光学プリンターを作成したことでアカデミー賞を受賞しました。最初の完全デジタルマットショットは、1985年にヤングシャーロックホームズの画家クリスエヴァンスによって、ステンドグラスの窓から飛び降りる騎士のコンピューターグラフィックス（CG）アニメーションをフィーチャーしたシーンで作成されました。エヴァンスは最初に窓をアクリルで塗装し、その後、さらにデジタル操作するためにルーカスフィルムのピクサーシステムにその塗装をスキャンしました。コンピューターアニメーションは、従来のマットペインティングでは達成できなかったデジタルマットと完全に融合しました。

現代では、現代のマットのほぼすべてがデジタルビデオ編集で行われ、クロマキーと呼ばれる合成技術（ブルースクリーンの電子的一般化）が家庭用コンピューターでも可能になりました。

技術

カメラ内マットショット

Dawn Processとしても知られるカメラ内マットショットは、最初にカメラの前にガラスを取り付けて作成されます。背景が置き換えられるガラスに黒い塗料が塗布されます。俳優は最小限のセットで撮影されます。監督は、テストストリップとして使用される追加の映像を数分間撮影します。マットペインターは、テストストリップを開発し（ショットの黒い部分を使用）、「マット」ショットのフレームをイーゼルに取り付けたガラスに投影します。このテスト映像クリップは、新しいガラスにマットする背景または風景をペイントするための参照として使用されます。ガラスの実写部分は黒く塗られています。その後、より多くのテスト映像が露出され、カラーマッチングとエッジラインアップを調整および確認します。次に、マット化されたライブアクションシーンの重要な部分（目的のアクションとアクターが配置されている）をスレッド化して、ペイントされた要素を黒い領域に焼き付けます。ガラスに塗られた平らな黒い塗料は、カバーするフィルムの一部からの光を遮断し、 潜在的な実写シーンでの二重露光の発生を防ぎます。

バイパックプロセス

バイパックマットフィルム撮影を開始するには、実写部分を撮影します。フィルムは、最初に黒く塗られ、次に白く塗られたガラスにロードされ、投影されます。マットアーティストは、マットラインの位置を決定し、ガラス上でトレースし、追加する背景または風景にペイントします。絵画が完成すると、マットアーティストはガラスの実写部分の塗料を削り取ります。元の映像ときれいなリールは、元のネジを切った状態でバイパックにロードされ、きれいなフィルムの前のシャッターを通過します。ガラスは後ろから照らされているため、リールが両方とも実行されると、ライブアクションのみがクリーンフィルムに転送されます。元の映像のリールが削除され、黒い布がガラスの後ろに置かれます。ガラスが正面から点灯し、新しいリールが巻き戻されて再び実行されます。黒い布は、すでに露出した映像が2度目に露出するのを防ぎます。背景の風景が実写に追加されました。

ロトスコーピング

ロトスコープは、アーティストのリファレンスとして機能するために、映画（つまり実写映像）をキャンバスに投影するために使用されるデバイスでした。これはおそらく、白雪姫や、特にリアルなアニメーションを持つセブンドワーフなど、古いディズニーのアニメーション映画で最も有名に使用されていました。この手法には、2001年のように、アーティストが各フレームのアルファマットを手動でトレースしてペイントしたスペースオデッセイなど、いくつかの用途がありました。ロトスコーピングは、当時印象的だったプリンスオブペルシャの流動的なアニメーションの実現にも使用されました。残念ながら、この手法は非常に時間がかかり、この手法で半透明をキャプチャしようとすることは困難でした。ロトスコーピングのデジタル版が今日存在し、ユーザーが退屈の一部を回避するのを支援するソフトウェアがあります。たとえば、いくつかのフレーム間でマットを補間します。

単一の画像からマットをデジタル抽出する

多くの場合、単一の画像から2つ以上のマットを抽出することが望ましいです。「マット」または「マットを引っ張る」と呼ばれるこのプロセスは、画像の前景要素と背景要素を分離するために最も一般的に使用され、これらの画像は多くの場合、ビデオファイルの個々のフレームです。合成技術は、マットを引っ張る比較的簡単な方法です。たとえば、緑のシーンの前景を任意の背景シーンに適用できます。この手法を使用しない画像をマットにしようとすると、かなり難しくなります。この課題に対処するために、いくつかのアルゴリズムが設計されています。

理想的には、このマットアルゴリズムは、入力ビデオストリームIrgbを3つの出力ストリームに分離します。事前に乗算されたアルファ（アルファ合成）を持つフルカラー、フォアグラウンドのみのストリームαFrgb 、フルカラーバックグラウンドストリームBrgb 、前景ストリームのピクセルの部分的なカバレッジのチャネルストリーム。この理想的なアルゴリズムは、前景と背景が動的で、背景に複数の深さがあり、背景と前景のオーバーラップが同じ色を共有し、テクスチャを持たない、その他のさまざまな機能を含む、任意のビデオを入力として使用できますアルゴリズムは伝統的に対処するのがいくらか困難です。残念ながら、実世界のシーンを2次元ビデオに変換するときに情報が失われるため、このアルゴリズムを実現することは不可能です。スミスとブリンは1996年にこれを正式に証明しました。

マットには他にもいくつかの基本的な制限があります。このプロセスでは、前景に隠れている背景の部分を再構成することはできません。また、近似の種類は制限されます。さらに、画像の前景と背景は、影が投影され、それらの間で光が反射されるため、相互に影響を及ぼします。異なる起源のマットから画像またはビデオを合成する場合、光の欠落または余分な影やその他の詳細が新しい画像の影響を台無しにする可能性があります。

マット加工自体は解決が難しい問題です。 1950年代から研究されていますが、その最も一般的な使用方法である映画製作は、古典的でありながら制約のある合成方法に頼っています。具体的には、ある種のグローバルカラーモデルを使用します。この手法は、グローバルな色の仮定に基づいています。たとえば、背景全体が緑色であること。（ちなみに、これが天気予報が時々目に見えない結びつきを持っているように見える理由です-結び目の色は背景の色に似ているため、アルゴリズムは結びを背景ストリームの一部として分類します。）理論的には任意の色を使用できます、しかし最も一般的なのは緑と青です。輝度マット（ブラックスクリーンマットとも呼ばれます）は、グローバルカラーモデルの別のバリエーションです。色とは対照的に、背景はユーザー定義の値よりも暗いと想定しています。

別のアプローチは、ローカルカラーモデルを使用することです。このモデルでは、背景が静的な既知の画像であると想定しているため、この場合、背景ストリームが提供されます。実際のビデオストリームを既知のバックグラウンドストリームと比較することにより、単純なマットを引き出すことができます。照明とカメラの角度の要件は、グローバルカラーモデルとは異なり、非常に厳しいものですが、前景ストリームで使用可能な色に制限はありません。

ユーザーの助けを借りてマットをプルできる機械学習ツールもあります。多くの場合、これらのツールはユーザー側での反復が必要です。アルゴリズムはトレーニングセットに基づいて結果を提供し、ユーザーはアルゴリズムが目的の結果を提供するまでセットを調整します。この例は、手動で作成されたトライマップセグメンテーションで粗いマットを使用することです。これは、画像を既知の背景、既知の前景、および未知の領域の3つの領域に分割するためです。この場合、アルゴリズムはユーザーの入力に基づいて未知の領域にラベルを付けようとし、ユーザーは複数のトライマップを繰り返してより良い結果を得ることができます。 Adobe PhotoshopのプラグインツールであるKnockoutは、このプロセスの実装です。

別のデジタルマット手法がMcGuire等によって提案されました。同じ光軸に沿って2つのイメージングセンサーを使用し、両方からのデータを使用します。（これを実現するには、ビームスプリッターまたはピクセルごとの偏光フィルターを使用するなど、さまざまな方法があります。）システムは、背景ピクセルではダイナミックレンジの約半分が異なるが前景ピクセルでは同一の2つのフレームを同時にキャプチャします。 2つの画像の背景の違いを使用して、McGuire et al。シーンから高解像度の前景マットを抽出できます。この方法は、合成技術の欠点の一部を保持しています-つまり、背景は比較的中立で均一でなければなりません-しかし、正確なサブピクセル結果、自然照明のより良いサポート、前景を可能にするなど、いくつかの利点があります合成技術が背景マットの一部として識別する色。ただし、これは、背景と同じ色でコーティングすることによって、前景の何かを意図的にマスキングすることは不可能であることを意味します。

デジタルマッティングの3番目のアプローチは、焦点距離と被写界深度が異なる3つのビデオストリームを使用することです。前の方法と同様に、3つのイメージセンサーはすべて共通の光軸を共有しますが、アルゴリズムは画像のどの部分に焦点が合っているかに関する情報を使用して、ビデオフィードで前景マットを生成します。この手法を使用すると、前景と背景の両方に動的なコンテンツを含めることができ、背景の色や複雑さに制限はありません。

これらのアプローチはすべて、1つの顕著な弱点を共有しています。入力として任意のビデオを使用することはできません。ビデオでは、フィルムとは異なり、クロマキーでは元のビデオの背景が単色である必要があります。他の2つの手法では、同期されているがわずかに異なるビデオの形でより多くの情報が必要です。

マットとワイドスクリーン撮影

映画制作におけるマットのもう1つの用途は、ワイドスクリーン効果を作成することです。このプロセスでは、標準フレームの上部と下部が黒いバーでマットアウトまたはマスクされます。つまり、フィルムプリントには太いフレームラインがあります。次に、フルフレーム内のフレームが拡大されて、映画館で投影されたときに画面いっぱいになります。

したがって、「マスクされたワイドスクリーン」では、標準の1.37：1フレームを使用し、上部と下部をマット処理することにより、アスペクト比1.85：1の画像が作成されます。撮影プロセス中に画像がマット化されている場合、そのシャープなエッジのためにハードマットと呼ばれます。完全なフレームが撮影中に充填され、映写技師が劇場のトップとボトムをマットに依存されている場合、アパーチャプレートは、焦点面上ではなく、原因としては対照的に、それは、 柔らかいマットと呼ばれソフトエッジ。

ビデオでは、同様の効果がよく使用され、従来の1.33：1テレビ画面でワイドスクリーンフィルムを表示します。この場合、プロセスはレターボックス化と呼ばれます。ただし、レターボックス化では、実際の画像の上部と下部はマットされません。画像は画面上でさらに「押し戻され」、したがって「小さく」なります。つまり、ワイドスクリーンフィルムでは、視聴者は画像の左右で、通常は省略されるものを見ることができます映画はテレビで全画面表示され、正方形のテレビ画面で一種の「ワイドスクリーン」効果を達成しました。レターボックスでは、画像の上部が通常よりわずかに低く、下部が高くなり、画面の未使用部分は黒いバーで覆われます。ビデオ転送の場合、「ソフトマット」フィルムをフルフレームが露出した状態でホームビデオフォーマットに転送し、上下のマットを除去することを「オープンマット転送」と呼びます。対照的に、劇場用マットをそのまま使用して「ハードマット」フィルムをホームビデオ形式に転送することを「クローズドマット転送」と呼びます。

ゴミとホールドアウトマット

「ガベージマット」は、多くの場合、手描きで、時には迅速に作成され、ブルースクリーンなどの別のプロセスが削除しない画像の部分を除外するために使用されます。名前は、マットが手続き的に生成された画像から「ゴミ」を削除するという事実に由来します。「ゴミ」には、モデルを保持するリグ、またはブルースクリーンの上端の上の照明グリッドが含まれる場合があります。

逆に、光沢のあるモデルに反射する青が多すぎる（「青の流出」）など、キーヤーによって除去される可能性のある画像の一部を強制的に含めるマットは、しばしば「ホールドアウトマット」と呼ばれ、同じツールで作成されます。