はじめての画面認識タスク
OKYAWATCHドキュメント

はじめに

はじめての画面認識タスク

共有する画面を選び、文字を読み取り、通知までの流れを一つずつ確かめます。

更新日 4 分で読めます

閲覧する権限のある画面だけを共有してください。ローカル認識でも、外部通知やクラウド翻訳では文字を送信します。

このガイドでわかること

OKYA Watch が扱うのは、自分で共有した画面・ウィンドウ・タブの画像です。そこに見える文字や数字、色などを読み取り、設定した条件に応じて動作します。最初は個人情報のないサンプル文を使いましょう。正解がわかる素材なら、操作を覚えながら認識の精度も確認でき、意図しない情報を共有する心配を減らせます。

設定の手順

作業画面を開き、まずは共有元を一つだけ追加します。ブラウザの選択画面で目的のウィンドウかタブを選び、プレビューが更新されることを確認します。小さな領域に文字認識タスクを作成し、実際の文字の言語を選択してください。記録かページ内通知を有効にして保存し、その共有元で認識を開始します。

結果を確かめる

読みやすい既知の文を表示し、一度だけ書き換えてみます。認識結果と元の画面を比較してください。文字を読めたことと通知条件に一致したことは別です。認識方法、条件、実行するアクションはそれぞれ設定します。プレビューが動くだけで完了とせず、タスクの状態と履歴に残った実行結果まで確かめると、流れを正しく把握できます。

利用前に知っておきたい制約

保存できる共有元の設定は最大八つ、同時に接続できる画面は四つです。保存済みの名前は、ブラウザの共有許可を永続化するものではありません。再読み込み後などは接続し直す必要があります。同じ名前のウィンドウが複数ある場合や、以前のタブが別のアカウントを表示している場合は、タスクの割り当ても含めて再確認しましょう。

うまく動かないとき

プレビューが出ないなら、まず共有の許可を調べます。画像は鮮明なのに文字が違うなら、領域と OCR 言語を見直します。文字が正しいのに通知されないなら、条件とアクションを確認します。一度に全部を変更しないことが大切です。設定を一つずつ変えて短いテストを繰り返す方が、問題がどの段階にあるかを特定しやすくなります。

運用のポイント

ローカルのデモは生成した画像を使い、関連する記録にはサンプルであることを表示します。操作の練習には便利ですが、実際のアプリがバックグラウンドでも描画を続ける証明にはなりません。本番の共有元でも、条件に合う状態と合わない状態を一度ずつ試してください。使い終わったら共有を停止し、ブラウザの共有表示が消えたことを確かめます。

インストールやログインは不要です。タスクと認識履歴はこのブラウザーに保存されます。認識を始める前に、ウィンドウ、タブ、または画面の共有を自分で許可する必要があります。

あわせて読む

参考資料