動画に表示された字幕を読み取る
OKYAWATCHドキュメント

文字と画面の認識

動画に表示された字幕を読み取る

映像内の文字を扱う字幕モードと、音声の書き起こしとの違いを確認します。

更新日 4 分で読めます

閲覧する権限のある画面だけを共有してください。ローカル認識でも、外部通知やクラウド翻訳では文字を送信します。

このガイドでわかること

字幕抽出が読むのは、取得した動画画像にすでに表示されている文字です。音声を聞いたり、非表示の字幕トラックを開いたり、映らなかった語を補ったりする機能ではありません。講義を追う、短い引用を控えるといった用途に役立ちますが、速く切り替わる字幕は処理の前に消えることがあります。履歴が動画全体の台本になるとは限りません。

設定の手順

動画のウィンドウかタブを共有し、字幕帯に文字タスクを作成します。字幕モードと、実際に表示される文字の言語を選んでください。プレイヤーの操作部や流れるコメントは領域から外します。最初は代表的な一行で一時停止し、認識結果を確認します。その後に再生して、処理速度が動画の字幕切り替えに十分かを実際に試します。

結果を確かめる

字幕モードは、領域の画像を前処理してからローカル OCR に渡します。明るい文字を複雑な背景から分ける助けになりますが、縁取り、色、書体によっては改善しない場合もあります。文字が消えたり語がつながったりしたら、同じ停止画像で通常の文字認識と比較しましょう。翻訳設定を変えても、読み違えた原文そのものは確実には直りません。

利用前に知っておきたい制約

認識と翻訳は別の段階です。原文を読み違えると訳文も不正確になりがちなので、先に原文を確かめます。そのうえで対応するブラウザ内翻訳、または設定と送信許可を済ませたクラウド翻訳を選びます。いずれも音声認識に切り替わるわけではありません。完全なタイムコードや、専門家が整えた同期字幕と同等の出力を保証する機能でもありません。

うまく動かないとき

行の取りこぼしには、動画の鮮明さ、字幕の大きさ、同時実行タスク数を見直します。動画部分が黒い場合は、OCR 言語よりも画面取得の対応状況やコンテンツ保護を確認してください。動画元を動かし、アプリの最小化は避けます。復帰後は古い結果を見るだけでなく、新しい字幕がプレビューと履歴に現れることを確かめる必要があります。

運用のポイント

履歴には実際に取得して処理できた結果が残ります。すべての発言や字幕表示を網羅した記録ではありません。学習ノートとして書き出す前に抜けを確認し、引用や再共有では元コンテンツの権利を守ってください。この流れだけで正確な時間情報、完全な台詞、専門的な字幕品質まで揃うとは説明せず、必要に応じて人が確認・修正する運用にします。

できます。再生中の動画ウィンドウまたはタブを共有し、字幕領域の文字抽出タスクを作成して「動画字幕」モードを選びます。字幕領域を処理してからブラウザー内で OCR を行います。翻訳には対応するローカル翻訳か、設定して許可したクラウドサービスを使います。精度は動画の画質、字幕の表示、再生状況に左右されます。

あわせて読む

参考資料