このガイドでわかること
色検出と画像照合は別の問いに答えます。色ルールは画素の値や、領域内で条件に合う画素の割合を調べます。画像照合は、切り出した領域を縮小した参照パターンと比較します。どちらもアイコンの意味を理解する機能や、一般的な AI 画像理解ではありません。実際に観測できる特徴を基準に、必要な検出方法を選んでください。
設定の手順
単色の状態ランプなら、点または小領域の色タスクを作ります。目標色と許容幅を設定し、一致する状態としない状態を表示します。特徴的な図柄なら画像照合を選び、参照スクリーンショットから図柄自体を切り出します。共有側にも近い大きさと縦横比の領域を選びましょう。参照を作ったときと同じ表示倍率やテーマで試すと比較しやすくなります。
結果を確かめる
点では周囲の画素の平均色を読み、領域では許容幅と必要な割合を使います。割合ゼロは、どれか一つの画素の変化や一致でも条件になり得る敏感な設定です。アンチエイリアス、影、動画のノイズ、通過するカーソルが影響することもあります。まずは動きの少ない単純な表示を使い、はっきり異なる二つの状態にどう反応するかを確かめます。
利用前に知っておきたい制約
画像照合は連続した一致を確認してから通知し、図柄が消えた後に再び一致すると再通知できます。参照と対象の切り抜き方が近いほど比べやすく、大きな余白に囲まれた小さなアイコンは適しません。保存される参照はローカルで縮小したものです。実用的な視覚比較であり、元画像が完全に同一であることを鑑定する仕組みではないと捉えてください。
うまく動かないとき
誤った一致には、周囲の飾りを外す、一致基準を上げる、より特徴的な参照にする方法があります。見逃しには、倍率、テーマ、ホバー表示、参照と実物の差を確認します。一度に一つの要因だけ変え、合う例と合わない例の両方を繰り返し試しましょう。しきい値は、どんな不向きな参照でも正確にする万能の精度調整ではありません。
運用のポイント
ダークモードやズームの変更は、本来監視したい状態を変えずに色や形を変えます。認識中は見た目と配置を安定させましょう。通知を調べるときは、画面が表していた処理の状況も別に確認します。色が合ったことは、業務処理や機器の動作が成功した証明ではありません。まずは届いた画像に対して指定した視覚条件が成立した、という意味にとどまります。
点または領域を選べます。点では周囲の 3 × 3 ピクセルの平均色を使用し、領域では RGB の許容差と変化したピクセルの割合で判定します。対象色はカラーピッカーや HEX で設定できます。割合が 0 の場合、いずれかのピクセルの変化や一致で実行します。