AIの目線補正と本当のアイコンタクトは、どう違う?
AIの目線補正は、目の映像を変えて、カメラを見ているように見せます。通話中にリアルタイムで、または録画のあとで行います。本当のアイコンタクトは、たとえばカメラのすぐ下の文字を読むことで、目線そのものをレンズの近くに保ちます。一方は映像を編集し、もう一方は見る場所を変えます。二つは組み合わせられます。
確認日: 。各社の公式ページと照らし合わせています。EyePromptは私たちが開発しているアプリです。その点を踏まえてお読みください。
AIの目線補正の仕組み
モデルが各フレームで目を見つけ、どこを向いているかを推定し、カメラを見ているように描き直します。通話中にリアルタイムで行うツールもあれば、録画のあとに編集として行うツールもあります。各社は、ツールに必要なものと、どこまでできるかを説明しています。
Windows Studio Effects:Eye contact(StandardとTeleprompter)
Windows Studio Effects(日本語版の表示はWindows Studio エフェクト)は、対応するNPU(AI処理用のチップ)を搭載したWindows PCで動きます。Eye contactの効果は、Microsoftの言葉では、ビデオ通話で目線を調整してアイコンタクトを再現するものです。カメラのレベルで働くので、オンにすると、カメラを使うどのアプリにも適用されます。クイック設定のStudio Effectsのタイル、または「設定」の「Bluetoothとデバイス」の「カメラ」で切り替えます。
モードは二つあります。Standardは対応するNPUを搭載したPCで動きます。TeleprompterはSnapdragon搭載のCopilot+ PCだけで使え、Microsoftの開発者向けドキュメントでは、プロンプターの文字を読みながら目が画面を動き回る人のための、より強い補正と説明されています。Microsoftは、眼鏡や反射で結果が不自然に見えることがあるとも書いています。
Apple FaceTime:アイコンタクト
Appleは、iOS 14でiPhoneのFaceTimeにアイコンタクト(Eye Contact)を加えました。Appleは、機械学習で目と顔の位置をわずかに調整し、ビデオ通話をより自然にする機能と説明しています。iOS 16のiPhoneユーザガイドでは、スイッチはFaceTimeの設定にあり、FaceTime通話用です。Appleは対応機種を挙げておらず、Mac用のFaceTimeガイドでは、ビデオエフェクトの中にこの機能は含まれていません。
NVIDIA Broadcast:Eye Contact
NVIDIA Broadcastは、NVIDIA RTXのグラフィックスカードを搭載したWindows PC用のアプリです。NVIDIAは、GeForce RTX 2060、Quadro RTX 3000、TITAN RTX以上を挙げています。2023年1月にベータ版で加わったEye Contactの効果は、横をちらっと見たりメモを取ったりしても、AIでカメラを見ているように見せます。NVIDIAによると、目は自然な色とまばたきを保ち、目線が離れすぎると効果が外れます。開発者向けのアイコンタクト技術であるMaxine Eye ContactについてのNVIDIAの開発者ブログでは、有効な範囲は約20度で、それを超えると効果が切れるとされています。
Descript:録画後のEye Contact
DescriptのEye Contactは、エディタで録画済みの動画にかける効果です。Descriptは、大きなずれは調整されないので目線をカメラの近くに保つよう求めていて、フレーム内にはっきりした顔がひとつある場合に使えます。処理中はオンラインのままでいる必要があり、現在のプランではAIクレジットを使います。
ツールの比較
| ツール | いつ | 必要なもの | 各社が説明する限界 |
|---|---|---|---|
| Windows Studio Effects(Eye contact) | リアルタイム。カメラのレベルで、カメラを使うどのアプリでも | 対応するNPUを搭載したWindows PC。TeleprompterモードはSnapdragon搭載のCopilot+ PCのみ | 眼鏡や反射で不自然に見えることがある |
| Apple FaceTime(アイコンタクト) | リアルタイム。FaceTime通話で | iOS 14以降のiPhone。Appleは対応機種を挙げていない | 目と顔のわずかな調整と説明 |
| NVIDIA Broadcast(Eye Contact) | リアルタイム。通話や配信に使うアプリで | NVIDIA RTXのグラフィックスカード | 目の色とまばたきを保ち、目線が離れすぎると外れる |
| Descript(Eye Contact) | 録画後に編集として | 処理中のインターネット接続とAIクレジット | 目線をカメラの近くに保つこと。フレーム内にはっきりした顔がひとつ |
レンズの近くで読む方法の仕組み
映像を変える代わりに、言葉の位置を変えます。読んでいる行がカメラに近いほど、目線とレンズの角度は小さくなり、見る人には目をそらしたように見えにくくなります。ハーフミラー式のプロンプターは、これを光学的に行います。ソフトウェアのプロンプターは、EyePromptがiPhone、iPad、Macで行うように、文字をカメラのすぐ下の細い帯に保つことで行います。行が長いと、1行を読む目の左右の動きはやはり見えます。1行の幅の目安。
大事な違い
| AIの補正 | レンズの近くで読む | |
|---|---|---|
| 最終的な映像に残るもの | モデルが描き直した目 | 編集していない本当の目 |
| 働くとき | 通話中、または録画後 | 話している間 |
| 必要な機器やサービス | 対応するデバイス、グラフィックスカード、NPU、またはオンラインサービス | 今あるカメラと画面 |
| 大きく目をそらしたとき | たいていは設計上そのまま | 文字がレンズにあるので、少なくなる |
| 使える場所 | 効果を動かすアプリやデバイスの中 | 近くで読めるカメラなら、どのアプリでも |
両方を使える?
使えます。各社の助言もその方向です。Descriptは目線をカメラの近くに保つよう求め、NVIDIAの効果は目線が離れすぎると本当の目に戻します。レンズの下の帯から読めば残りのずれが小さくなり、これらのツールが得意とする状況になります。
EyePromptがすること、しないこと
EyePromptが目を編集したり、描き直したり、向きを変えたりすることはありません。台本をレンズのすぐ下に置くので、録画中も本当の目線がカメラの近くに保たれます。iPhoneやiPadで標準の「アイコンタクト」スタイルのままフロントカメラで撮ると、テイクのたびにEye Contact Scoreが目線がどれだけ安定していたかを推定し、目線が外れた瞬間を示します。EyePromptの仕組み(英語)。
よくある質問
EyePromptはAIで目を変えますか?
いいえ。EyePromptが目を編集したり、描き直したり、向きを変えたりすることはありません。台本をカメラのすぐ下に置くので本当の目線がレンズの近くに保たれ、そのあとEye Contact Scoreが目線がどれだけ安定していたかを推定します。
Windows Studio EffectsのTeleprompterモードとは?
Windows Studio EffectsのEye contactの効果の、より強い設定です。読みながら目が画面を動き回る人のためのものです。MicrosoftによるとSnapdragon搭載のCopilot+ PCだけで使え、Standardモードは対応するNPUを搭載したPCで動きます。
FaceTimeのアイコンタクトは、Zoomなどほかのアプリでも使える?
Appleはアイコンタクトを、FaceTime通話のためのFaceTimeの設定として説明しています。Appleのガイドはほかのアプリでの動作を説明しておらず、Mac用のFaceTimeガイドにも載っていません。
NVIDIA BroadcastのEye Contactには、NVIDIAのグラフィックスカードが必要?
はい。NVIDIA BroadcastにはNVIDIA RTXのグラフィックスカードが必要です。NVIDIAは、GeForce RTX 2060、Quadro RTX 3000、TITAN RTX以上を挙げています。
AIのアイコンタクトは、長い台本の読み上げに対応できる?
限界の範囲内でなら対応できます。NVIDIAの効果は目線が離れすぎると外れ、Descriptは目線をカメラの近くに保つよう求めています。広い画面を目が行き来するのはいちばん難しいケースで、Windows Studio EffectsのTeleprompterモードは、まさにそのために作られています。
AIの目線補正はよくないもの?
そういうわけではありません。通話や編集に役立つツールです。目の映像を変え、対応するハードウェアかサービスが必要で、各社自身の説明でも限界の範囲内で働き、目がすでにカメラの近くにあるときにいちばんうまくいきます。
台本を録画するなら、AIの補正とレンズの近くのプロンプター、どちらがいい?
問題を解決するタイミングが違います。レンズの近くのプロンプターは、録画中に本当の目をカメラの近くに保ち、処理は要りません。AIの補正は、リアルタイムかあとで映像を変えます。レンズの近くで読めばずれも小さくなり、それは補正ツールがいちばん得意な状況なので、二つは組み合わせられます。
出典: Microsoft、Windows Studio Effects、Windows Studio Effects overview、Application card: Windows Studio Effects。Apple、About iOS 14 Updates、Set up FaceTime on iPhone(iOS 16)、Use video effects in FaceTime on Mac。NVIDIA、NVIDIA Broadcast app、NVIDIA Broadcast 1.4 announcement、Maxine Eye Contact。Descript Help Center、Eye Contact。
関連ガイド
すべてのガイド
Googleでは、もっと見たいソースを選べます。EyePromptをGoogleの「優先するソース」に追加できます。