Search Pattern
Search Pattern アクションステップでは、画面上の定義された検索領域内の 1 つ以上のパターンを検索します。
パターンは、スクリーンショットから直接、またはワークフローのパターンギャラリーから取得できます。ワークフローのすべてのパターンは、パターンギャラリーに保存されます。
検索アルゴリズムは、高速で安定しています。検索結果は、マウスクリックの参照ポイントなどとして、後続のアクションステップで再利用できます。
検索のさまざまな側面を設定できます。1 つ上のパターンを検索するように選択したり、画像が検索領域に表示されるかどうかを確認したり、検索パターンが含まれるパターンを検索から除外したりできます。検出パターンと検索パターン間の偏差の許容度を設定することもできます。定義された期間内で画像の位置や有無が変わっていないかどうかを監視できます。
ワークフローを実行する前に検索をテストできます。評価ウィンドウには、一致候補が表示され、検索結果の改善方法に関する情報が提供されます。
プロパティ
-
Image Processing (画像処理)
-
Allow multiple matches of a found pattern (検出パターンの複数の一致を許可)
このオプションが選択されている場合、検索領域にパターンが複数回表示されることが許可されます。 このオプションが選択されていない場合、Search Pattern アクションステップは、検出パターンが複数回出現するとエラーを返します。ウィザードでは、このオプションは [Allow multiple matches of a found pattern (検出パターンの複数の一致を許可)] として [Search Settings (検索設定)] にリストされます。
検出パターンの座標が後で別のアクションステップで再利用される場合 (パターンに相対的なマウスクリックなど)、同じパターンが複数検出されると、検索領域内の左端のパターンの座標が使用されます。複数の同じ検索画像が左側の同じ位置に相互に積み重なっている場合、一番上の画像が選択されます。
-
Hide mouse (マウスを非表示)
検索中にカーソルを画面の左上隅 (座標 x=0、y=0) に移動します。 この方法により、マウスの不要なフロート表示効果を回避できます。この設定に関係なく、カーソルは検索に含まれません。そのため、カーソル記号で覆われている検索パターンも検出されます。検索後、カーソルは元の位置に戻ります。
-
Margin for automatic search area [pixel] (自動検索領域の余白)
検索領域を自動的に定義するための検出パターンの周囲のピクセル数。有効な値は、0 ～ 999 で、デフォルト値は 100 です。
-
Neighborhood Pixel (近隣ピクセル)
検出されたピクセルの位置と指定されたピクセルの位置のずれの許容ピクセル数を示します。この設定のデフォルト値は 1 です。
値が 1 よりも大きい (ピクセルベースで画像が 100% 同じではない) と類似する画像を検索しやすくなります。ただし、位置によっては、パーセントスコアの値が数パーセント変わる可能性があります。
-
Original Desktop Size (元のデスクトップサイズ)
画像検索が最後にテストされたときの画面解像度。ワークフローがさまざまな画面解像度のデバイスで使用される場合、検索領域 (検索パターンではない) をスケールするためにこのサイズが必要になります。
-
Pattern Steady check (パターン安定チェック)
[Wait For Pattern Steady Timeout (パターン安定待機タイムアウト)] オプションを有効にして、検出パターンの座標がこの期間内に再度変わるかどうかをチェックします。変わらない場合は検索が成功して終了し、変わる場合は検索が繰り返されます。
-
Reduce Score By [%] (スコアの低減幅 (%))
Search Pattern の設定をテストするときに、[Score (スコア)] よりもこのパーセント分低い一致も表示されます。テスト結果ウィンドウでは、これらは黄色でマークされます。
ウィザードでは、この設定は [Search Settings (検索設定)] に表示され、[Required matching precision (%) (必要な一致精度 (%))] スライダーの黄色のゾーンとして表示されます。
-
Score [%] (スコア (%))
パーセント単位の精度を示します。検出パターンと指定されたパターンがこの精度で一致しないと、検出されたとはみなされません。 ウィザードでは、このオプションは [Search Settings (検索設定)] にあり、表示ラベルは [Required matching precision (%) (必要な一致精度 (%))] となっています。また、スライダーの緑のゾーンとして表示されます。
-
Search Mode (検索モード)
-
Match all patterns (すべてのパターンに一致)
この検索は、指定されたすべてのパターンが検出された場合に成功します。
-
Match only one pattern (1 つのパターンにのみ一致) 指定された 1 つの検索パターンのみが検出された場合に検索が成功します。
-
Match one or more patterns (1 つ以上のパターンに一致)
この検索は、指定された 1 つ以上のパターンが検出された場合に成功します。
-
-
Wait for Pattern Steady Timeout [ms] (パターン安定待機タイムアウト (ミリ秒))
[Pattern steady check (パターン安定チェック)] オプションが選択されている場合、ここで入力する (または、ウィザードの [Search Settings (検索設定)] > [Check whether found match stays in same location every [time in ms] milliseconds (検出された一致の場所が変わっていないかどうかを [time in ms] ミリ秒ごとにチェック)] の) 間隔値に応じて、検出パターンの位置が変わっていないかどうか、検出パターンが引き続き検索領域に表示されていないかどうかがチェックされます。上記を満たしている場合、検索が成功して終了します。上記を満たしていない場合、成功するか、アクションステップがタイムアウトするまで検索が繰り返されます。値が 0 の場合、パターンが検出された後にその位置が再チェックされません。その後、アクションステップは実行時間を超えると待機しなくなります。
-
インバウンド変数
-
Find Coordinate (検出座標)
Search Pattern アクションステップの前に、パターンを使用する他のアクションステップが 1 つ以上ある場合、[Find coordinate (検出座標)] アウトバウンド変数は後続のアクションステップのインバウンド変数になります。
アウトバウンド変数
-
Find Coordinate (検出座標)
正常に検出されたパターンの左上隅。複数のパターンの検索が行われ、それらのパターンが検出された場合、ウィザードで指定された一連の検索パターンの左端の画像の座標が返されます。検索領域の左端の同じ位置で複数の同じパターンが検出された場合、一番上のパターンが座標に使用されます。
-
Found Pattern Name (検出パターン名)
パターンギャラリーに入力されている一致パターンの名前。
-
Found Matched Pattern Count (検出された一致パターンの数)
[Regular (通常)] カテゴリの検出された検索パターンの数。一致の数は、異なるパターンの一致で構成されることがあります。[Ignore (無視)] および [Exclude (除外)] カテゴリのパターンの一致は含まれません。
[Regular (通常)] カテゴリのパターンの一致が検出された場合でも、Search Pattern でエラーが返された場合、[Found Matched Pattern Count (検出された一致パターンの数)] は 0 になります。
ウィザード
Search Pattern ウィザードでは、検索パターンを選択して、重要な検索設定を選択できます。
[OK] をクリックして設定を確定するか、必要に応じて [Cancel (キャンセル)] をクリックします。[Test (テスト)] ボタンをクリックすると、検索が評価されて結果が [Search Results (検索結果)] ウィンドウに表示されます。
Regular Patterns (通常のパターン)
このセクションには、検索パターンがリストされています。除外できるパターンの数は 25 個に制限されます。
パターンを検索する方法は 3 つあります。
-
Match only one pattern (1 つのパターンにのみ一致)
この検索は、選択された 1 つのパターンのみが検索領域で検出された場合に成功します。選択されたパターンが検出されなかった場合や多数検出された場合、エラーが返されます。
-
Match one or more patterns (1 つ以上のパターンに一致)
この検索は、選択された 1 つ以上のパターンが検索領域で検出された場合に成功します。選択されたパターンが検出されなかった場合、エラーが返されます。
-
Match all patterns (すべてのパターンに一致)
この検索は、選択されたすべてのパターンが検索領域で検出された場合に成功します。選択されたパターンが検出されなかった場合や一部のみが検出された場合、エラーが返されます。
同じパターンが複数回出現した場合、[Search Settings (検索設定)] の [Allow multiple matches of a found pattern (検出パターンの複数の一致を許可)] が有効になっていれば、上記のように検索が成功します。有効になっていない場合、同じパターンが複数回出現すると、アクションステップでエラーが返されます。
パターンギャラリーからパターンを選択したり、[Capture (キャプチャ)] ボタンを使用して新しいパターンを作成したりします。
1 つまたは複数のパターンをクリックして選択し、削除したり、グループとして移動したりします。パターンが選択されると、右上隅に緑の背景の白いチェックマークが表示されます。選択を取り消すには、[Clear Selection (選択をクリア)] ボタンをクリックします。黒い縦線は、ドラッグアンドドロップを使用してパターンを移動できる場所を示します。[Match one or more patterns (1 つ以上のパターンに一致)] が選択されている場合、リストの最初のパターンに青い境界線が表示されます。この画像は、ワークフローが進んだときに他のアクションステップの参照ポイントとして使用できます (「一致パターンのその他の使用」を参照)。
Capture Pattern (パターンをキャプチャ)
パターンを定義する方法の 1 つは、パターンが表示されているスクリーンショットを撮ることです。
Search Pattern アクションステップを使用してキャプチャされたすべてのパターンは、ワークフローのパターンギャラリーに転送されます。
Add Pattern from Gallery (ギャラリーからパターンを追加)
ワークフローのパターンギャラリーにすでに含まれているパターンは、[Add from Gallery (ギャラリーから追加)] ボタンを使用してアクションステップのパターンのリストに追加できます。
[Add from Gallery (ギャラリーから追加)] ウィンドウには、ワークフローのパターンギャラリーに含まれるすべての画像が [Available Groups (使用可能なグループ)] に分類されて表示されます。右上隅にある青の背景の白いチェックマークは、Search Pattern アクションステップにすでに含まれているパターンを示します。同じアクションステップの別のカテゴリにすでに含まれているパターンは表示されません。
パターンを検索に追加するには、マウスでクリックして選択します。 同じ方法を使用して、検索に含める必要がなくなったパターンを選択解除します。
[OK] をクリックして選択内容を確定し、アクションステップのパターンリストに追加します。
Ignore All Matches within These Patterns (これらのパターン内のすべての一致を無視)
他のパターンに含まれる可能性のある 1 つのパターンの出現をチェックする場合、検索パターンが含まれるパターンを検索から除外します。除外できるパターンの数は 25 個に制限されます。
検索から除外するパターンを追加するには、[Capture (キャプチャ)] を使用するか、パターンギャラリーからパターンを検索することができます。
staffing のような別の単語の一部ではない staff という名詞の単語を検索する例を考えてみます。この場合、staff パターンを緑の [Regular (通常)] 検索パターンセクションの検索パターンの中に含めて、staffing や staffing などの無視するパターンを青の [Ignored (無視)] 検索パターンセクションに追加します。
パターン内の単色の領域は考慮されません。 そのため、右端に空き領域のある staff をキャプチャするには、前述の例では不十分です。これは、特徴が不足していることが原因でこの空き領域が検索パターンに含まれないためです。
Make Sure None of These Patterns Appear (これらのパターンが表示されていないことを確認)
Search Pattern アクションステップを使用して、特定のパターンが表示されていないことを確認することもできます。
パターンが表示されていないことを再チェックする場合、[Search Settings (検索設定)] の [Check whether found match stays in same location every [time in ms] milliseconds (検出された一致の場所が変わっていないかどうかを [time in ms] ミリ秒ごとにチェック)] を選択して、間隔値 ([Wait for Image Steady Timeout [ms] (画像安定待機タイムアウト (ミリ秒))]) を 0 以外に設定します。
前述のとおり、スクリーンショットまたはパターンギャラリーを使用して、検索から除外されるパターンをここで挿入できます。除外できるパターンの数は 25 個に制限されます。
検索パターンのカテゴリの変更
メニューバーの [Move to… (移動先…)] ボタンを使用して、選択したパターンを [Regular (通常)] カテゴリと [Ignored (無視)] カテゴリの間で移動します。
Search Settings (検索設定)
-
Required matching precision (必要な一致精度)
必要な一致精度 (%) は、スライダーの緑のゾーンとして表示されます。緑の左側にある黄色のゾーンは、テストおよび詳細検索時の条件を監視するために [Properties (プロパティ)] の [Reduce Score by [%] (スコアの低減幅)] に入力された範囲を示します。
-
Use general timeout (一般的なタイムアウトを使用)
全般的なタイムアウトを使用するには、このオプションを選択します。カスタム値を使用するには、[Timeout [sec] (タイムアウト (秒))] ボックスでタイムアウトを指定します。
-
Check whether found match stays in same location every [time_in_ms] milliseconds (検出された一致の場所が変わっていないかどうかを [time_in_ms] ミリ秒ごとにチェック)
設定した間隔の後に一致の場所が変わっていないかどうかをチェックするには、このオプションを選択して時間値を指定します。このオプションでは、プロパティパネルの [Wait for Pattern Steady Timeout [ms] (パターン安定待機タイムアウト (ミリ秒))] と同じ値が使用されます。このオプションを選択する場合、この値に応じて適切なタイムアウトを指定していることを確認してください。
繰り返される画像検索は、タイムアウト内にここで定義した間隔で完了する必要があるため、最大間隔値は ½*タイムアウトにすることをお勧めします。
[Excluded: Make sure none of these patterns appears (除外: これらのパターンが表示されていないことを確認)] 検索を使用している場合、このオプションを有効にして、間隔値を 0 以外に設定します。
-
Allow multiple matches of a found pattern (検出パターンの複数の一致を許可)
検索領域にパターンが複数回出現することを許可するには、このオプションを選択します。このオプションが選択されていない場合、Search Pattern アクションステップは、検出パターンが複数回出現するとエラーを返します。
-
Move mouse to 0,0 while pattern search is active (パターン検索がアクティブな場合にマウスを 0,0 に移動)
検索中にカーソルを画面の左上隅 (座標
x=0、y=0) に移動するには、このオプションを選択します。この機能により、マウスの不要なフロート表示効果を回避できます。この設定に関係なく、カーソルは検索に含まれません。そのため、カーソル記号で覆われている検索パターンは検出されます。検索後、カーソルは元の位置に戻ります。 -
Search Area (検索領域)
検索領域は、設定セクションの右側に表示されます。
-
Define manually (手動で定義)
ドラッグアンドドロップを使用して検索領域を定義できます。
-
Define automatically (自動で定義)
検索領域の定義時に表示されるすべての通常の一致が含まれる検索領域が自動的に定義されます。
-
Reset to fullscreen (全画面にリセット)
検索領域が全画面に戻ります。
-
Relative To (相対的)
検索領域は、固定または動的 (相対) 位置のいずれかに設定できます。[Relative To (相対的)] ドロップダウンメニューには、現時点で使用できる [Coordinates (座標)] 種別のすべての変数がリストされます。このリストには、同じトランザクション内の前の Search Pattern アクションステップのアウトバウンド変数などが含まれます。ウィザードで [Relative To (相対的)] として座標を選択すると、オフセットベクトルが即座に計算されます。ワークフローの設計時には、選択された座標から検索領域の左上隅が指し示されます。ワークフローの実行時には、計算されたオフセットベクトルが座標の相対的な検索領域のリアルタイム値に適用されます。つまり、ワークフローの実行時の検索領域は、設計時の [Relative To (相対的)] 座標から等距離に配置されます。
-
テスト
[Test (テスト)] ボタンをクリックすると、ワークフローの実行とは独立して検索が起動し、検索が評価される [Search Results (検索結果)] ウィンドウが開きます。このウィンドウには、[Search Settings (検索設定)] で行うことができる改善候補に関するヒントが表示されることがあります。
[Search Result (検索結果)] ウィンドウの主要部分には、テストが実行されたときの画面コンテンツが表示されます。
検索領域は、青い境界線で囲まれます。検索領域の外側の領域はグレー表示されます。
一致は、色付きで強調表示されます。ウィンドウの右側にある色の凡例は、さまざまな一致種別の表示を切り替えるチェックボックスパネルがオン/オフになると同時に機能します。特定の種別の一致がない場合、対応するチェックボックス項目がグレー表示されます。
定義された精度内で検出された、[Match all patterns (すべてのパターンに一致)] / [Match only one pattern (1 つのパターンにのみ一致)] / [Match one or more pattern (1 つ以上のパターンに一致)] リストの検索パターンは緑で強調表示されます。 [Ignore all matches within these patterns (これらのパターン内のすべての一致を無視)] リストの一致はライトブルーで強調表示され、[Make sure none of these patterns appear (これらのパターンが表示されていないことを確認)] リストの一致は赤で強調表示されます。
黄色の強調表示は、精度を低く設定していれば検索パターンが検出されていた可能性があることを示します。この低減された精度は、[Score (スコア)] から [Reduced Score (低減スコア)] を差し引いて計算されます。それぞれのケースで一致の精度が規定されます。
検索領域の外側の一致は、種別に関係なく灰色でマークされます。カラースポットが検出されたが、特定の位置で [Color Spot (カラースポット)] の色と一致しないパターンは青でマークされます。ウィンドウの右側にある詳細ペインで各一致の種別を確認できます。
開いているウィンドウでは、スクリーンショット全体が表示されるようにスクリーンショットのサイズが調整されます。スクリーンショットの右側にあるスライダーをドラッグして画像をズームイン/アウトできます。この作業はマウスホイールで行うこともできます。スライダーをダブルクリックすると、元のサイズで画像が表示されます。画像が拡大されている場合、ビューの位置を調整するためのスクロールバーが画像の右側と下部の境界線に表示されます。
スライダーの下には、スクリーンショットに表示されている画面に対する現在のマウスの位置が動的に表示されます。
一致にマウスポインターを置くと、名前、サムネイル、一致精度がツールチップとして表示されます。
スクリーンショットの検出パターンをクリックすると、このパターンの詳細がウィンドウの右側に表示されます。
ウィンドウの下部の境界線にある [Pattern (パターン)] タブのパターンをクリックすると、このパターンのすべての一致の詳細が表示されます。スクリーンショットの一致をクリックすると、その 1 つの一致の詳細のみが表示されます。詳細には、パターンの名前、種別、サイズ (ピクセル単位)、サムネイルと、検出された一致の色でマークされたリストが含まれます。すべての一致の場合、左上隅の座標と一致精度が表示されます。色付けは前述のとおりです。
[Search Results Summary (検索結果の概要)] タブには、検索設定と検索結果の概要 (テキスト) が表示されます。
1 つのパターンが原因で検索に失敗した場合、[Failure Reason (失敗の理由)] タブにこのパターンが表示されます。