声に合わせて動くプロンプターの仕組み
プロンプターが台本を動かす方法は三つあります。一定の速度で動かす、声が聞こえたときに動かす、話した言葉を追って動かす、の三つです。言葉を追う方法は、撮影やスピーチにいちばん役立ちますが、いちばん難しい方法でもあります。このページでは、それぞれの仕組みと代償、うまくいかない場面を説明します。
確認日:
台本を動かす三つの方法
- 一定速度。何も聞かず、止めるまで動き続けます。機械の速さで読むことになるので、テキストを追いかけるか、テキストがあなたを待つことになります。
- 音量(Smart Pause、iPhoneとiPad)。マイクの音量だけを聞きます。話すのをやめると台本を止め、話し始めると再開します。台本のどこにいるかは分かりません。アドリブを入れたり行を飛ばしたりしても、設定した速さのまま動き続けます。
- 言葉(Smart Follow)。話した言葉を認識して台本と照らし合わせます。待ち、先に飛んだときは追いつきます。台本の言語の音声認識が必要です。言葉は話した少しあとに届き、雑音で見失うこともあります。
Smart Followのしくみ
Smart Followは、話す速さに合わせて台本を進め、間を置いたりアドリブを入れたりしている間は待ち、先に飛んだときは追いつきます。認識はデバイス上で、台本が書かれている言語で行われ、サーバーには送られません。Macでは初期設定でオン、iPhoneとiPadではバージョン1.4から、デバイスの言語がオンデバイス認識に対応している場合にオンです。Macでは、バージョン1.0.6から、認識した言葉が今読んでいる位置から台本の続きになっているときだけ帯が進むので、通話中のほかの人の声では帯は動きません。
アプリがすでに使っているマイクで聞き取り、聞こえたものをデバイス上で言葉にして、その言葉を台本の中から探します。認識は台本の中の現在地を見つけるために使い、話した内容を書き留めるためには使いません。
デバイス上かクラウドか
音声認識はサーバーでもデバイス上でも動かせます。AppleのSpeechフレームワークでは、アプリがどちらが可能かを問い合わせられ、デバイス上の認識はサーバーより精度が下がると説明されています。
EyePromptはデバイス上の認識だけを求めます。台本の言語のモデルがデバイスにない場合、Smart Followは始まらず、代わりにサーバーへ何かが送られることもありません。代償は精度です。EyePromptは、すでに持っている台本を手がかりにすることで、その一部を補います。知っている言葉の中から現在地を見つければよいので、完全な文字起こしは要りません。その代わり、声はデバイスの外に出ず、アプリは機内モードでも動きます。
声を追う機能が少し遅れる理由
音声認識は、言葉を聞いたあとでしか報告できません。AppleのAPIは、発話ごとの途中結果(音声が増えるにつれて修正される暫定の推測)も返せます。最後に認識した言葉を追いかけるだけの仕組みは、そのためあなたより遅れ、認識が止まると止まります。
EyePromptは最後の言葉を追いかけません。推定したあなたのペースで進み、確かな一致があるたびに補正として扱い、台本を、一致した言葉の数語先へ寄せます。この小さな先読みのおかげで、いま言い終えた言葉ではなく、これから言う言葉が目の前に残ります。
うまくいかないときの動き
- 許可がない、または台本の言語のモデルがデバイスにない。Smart Followは始まりません。台本は設定した速さで進み、iPhoneとiPadでは、オンにしていれば、黙っている間Smart Pauseが台本を止めます。
- 認識が見失う(周囲の雑音、ふさがれたマイク、書かれているのとは別の言語での読み上げ)。台本は誤った場所へ飛ばず、その位置で止まります。数秒間言葉が届かなければ、上と同じ動きに戻ります。
- オフにしたい。Smart Followは設定または録画のコントロールからオフにできます。台本は選んだ速さで進みます。
よくある質問
声に合わせて動くプロンプターは、声をサーバーに送りますか?
アプリによります。EyePromptのSmart Followはデバイス上の認識だけを使うので、音声は送られず、アプリは機内モードでも動きます。ある言語のモデルがデバイスにない場合、Smart Followはサーバーに切り替えず、その言語では使えません。
Smart FollowとSmart Pauseの違いは?
Smart Pauseは音量だけを聞き、話すのをやめると台本を止め、話し始めると再開します(iPhoneとiPad)。Smart Followは言葉を認識して台本と照らし合わせるので、現在地も分かります。どちらも無料プランに含まれます。
行を飛ばしたりアドリブを入れたりするとどうなりますか?
Smart Followはアドリブの間は待ち、台本の先のほうの言葉が聞こえると追いつきます。現在地が分からないときは、誤った場所へ飛ばずに止まります。
出典: Apple Developer Documentation: SFSpeechRecognizer.supportsOnDeviceRecognition, SFSpeechRecognitionRequest.requiresOnDeviceRecognition, shouldReportPartialResults
関連ガイド
すべてのガイド
Googleでは、もっと見たいソースを選べます。EyePromptをGoogleの「優先するソース」に追加できます。