ワークフローでの検索パターンの使用
Search Pattern、Pattern Select、Pattern Gallery アクションステップで提供されるキャプチャ機能では、スクリーンショットから検索パターンを作成できます。その後、ワークフローの別の要素でこれらのパターンを使用できます。Search Pattern、Pattern Select、Pattern Gallery アクションステップは、ウィザードで Pattern Strip モジュール (既存のパターンのリストとそれらの関連操作を提供するモジュール) も共有します。
画面キャプチャからのパターンの追加
Search Pattern、Pattern Select、Pattern Gallery アクションステップでスクリーンショットをキャプチャして検索パターンを作成できます。これらのアクションステップのメニューバーには、この目的のための [Capture (キャプチャ)] ボタン (
) があります。
[Capture (キャプチャ)] をクリックすると、スクリーンショットや小さいウィンドウなどの画面コンテンツが一時停止し、「Capture Patterns (キャプチャパターン)」というタイトルが表示されます。その後、パターンが含まれる領域をクリック & ドラッグで指定して、検索パターンを選択できます。青い長方形で囲まれ選択範囲は、透明な灰色ではなくなり、マウスやキーボードを使用して移動したり、サイズを変更したりできます。選択範囲を移動するには、Shift+矢印キーを押します。選択範囲のサイズを変更するには、Ctrl+矢印キーを押して右下端を移動します。
複数の検索パターンを選択するには、複数回クリック & ドラッグします。選択した画像の細部が小さすぎたり、違いが不十分だったり、検索パターンを認識するのに必要な特徴が少なすぎたりすると、検索パターン定義ウィンドウに赤い背景の赤十字が表示されます。
該当するパターンを関連するアクションステップのウィザードに追加するには、[Accept selection & continue (選択範囲を受け入れて続行)] をクリックします。ウィザードでは、キャプチャした各パターンの名前やカラースポットを指定できます。
検索パターンの記録はいつでも停止できます。これを行うには、[Capture Patterns (パターンをキャプチャ)] ウィンドウの右上隅にある [close (閉じる)] ボタン (X) をクリックします。
[Capture Patterns (パターンをキャプチャ)] ウィンドウ
-
Unfreeze screen (画面の一時停止を解除)
再度画面の変更ができるように、一時停止されている画面を解除します。
-
Define Search Area (検索領域を定義)
マウスのクリック & ドラッグで全画面からより小さい領域に検索領域を減らすことができます。選択範囲は透明な赤 (境界線は赤) になります。検索領域を定義すると、画面の一時停止を解除したり、再度一時停止したりできます。
-
Reuse last defined Search Area (最後に定義した検索領域を再利用)
以前のキャプチャで定義した検索領域を再利用できます。このオプションは、ワークフローのセットアップ時にすでに検索領域が定義されている場合にのみ表示されます。
-
Accept selection & continue (選択範囲を受け入れて続行)
選択範囲を対応するアクションステップのウィザードに追加して、そのアクションステップに戻ります。
1 つ以上の検索パターンをキャプチャすると、[Delete selected pattern (選択したパターンを削除)] オプションが表示されます。このオプションを使用すると、以前に選択したパターン (または最後に定義された検索領域) を囲む境界線が削除されます。
Unfreeze Screen (画面の一時停止を解除)
[Unfreeze screen (画面の一時停止を解除)] をクリックすると、[Capture Patterns (パターンをキャプチャ)] ウィンドウが次のように変更されます。
-
Capture screen (画面をキャプチャ)
パターンをキャプチャできるように、画面の画像を再度一時停止します。
-
Capture screen with delay (画面をキャプチャ (遅延あり))
タイマーを開始します。遅延の後に画面の画像が一時停止し、[Capture Patterns (パターンをキャプチャ)] ウィンドウが表示されます。
検索パターンでのカラースポットの使用
デフォルトでは、RPA Builder は検索パターンのパターンの特徴のみをキャプチャするため、パターンベースの検索では色の影響はありません。ただし、検索パターンの特定の位置の色がどのようなときに正しくなるのかを判断する必要がある場合もあります。たとえば、エラーメッセージのテキストの場合は赤である必要があり、信号機の場合は黄色や赤ではなく青である必要があります。このようなことを保証するために、検索パターンのカラースポットを定義するオプションがあります。カラースポットのある検索パターンでは、定義された位置の色が定義済みの色と一致する場合にのみパターンベースの画像検索が成功します。
ただし、関連するアクションステップのウィザードで検索パターンにマウスポインターを置くと、画像の最後にオーバーレイメニューバーが表示されます。
[Color Spot Picker (カラースポットピッカー)] (
) をクリックすると、検索パターンで使用するカラースポットを選択できるウィンドウが開きます。
画像にマウスポインターを移動すると、[Live values (ライブ値)] セクションが更新されて、次の情報が表示されます。
-
Color (色)
現在の画像座標の色値。RGB の色値 (
R:255、G:255、B:255) で表されます。 -
Coordinates
マウスの現在の位置に基づく画像の座標。
x;y 座標 (0;0 は画像の左上隅) で示されます。
現在の選択範囲をカラースポットとして定義するには、マウスの左ボタンをクリックするか、キーボードで Insert または Space キーをクリックします。
カラースポットを削除するには、Delete または Backspace キーを使用します。
カラースポットを選択すると、ウィンドウの左側にある [Selected Color Spot (選択されたカラースポット)] セクションに表示されます。
次の設定で、カラースポットの制限を緩和します。
-
Compare Radius (in pixels) (半径を比較 (ピクセル単位))
カラースポットの指定された位置を中心とした半径を決定します。この範囲内で指定された色が検出される必要があります。入力項目の横には、この半径のグラフィック表現が表示されます。
-
Color Fuzziness (in bits) (色の不明瞭さ (ビット単位))
各 RGB カラーチャネルで許容される色の偏差を決定します。このオプションを使用して、色を比較するときにバイナリ 8 桁の色コードの下位何ビットまで無視できるのかを指定します。
Pattern Strip モジュール
Pattern Strip は、Search Pattern、Pattern Select、Pattern Gallery アクションステップのすべてのウィザードで使用される UI モジュールです。Pattern Strip は、検索パターンのリスト、関連オプション、メニューバーで構成されます。メニューバーのボタンは、アクションステップ、検索パターンの数量、選択範囲の状況によって異なります。
マウスを使用して、検索パターンをクリックして選択します。右上隅に青い背景の白いチェックマークが表示され、選択した項目が強調表示されます。再度クリックすると、選択が取り消されます。
1 つ以上のパターンが選択されている場合にのみ、選択したパターンにのみ関連する機能のボタンがメニューバーに表示されます。
メニューバー
Pattern Strip メニューバーには、関連するすべてのアクションステップで表示される一般的なボタンと、Search Pattern、Pattern Select、Pattern Gallery アクションステップに固有のボタンがあります。次の表に、ボタンの画像、名前、説明、およびどの関連アクションステップで使用できるのかを示します。
| ボタン | 名前と説明 | Pattern Gallery | Pattern Select | Search Pattern |
|---|---|---|---|---|
|
Add from Gallery (ギャラリーから追加): Pattern Gallery から既存のパターンを追加できます。 |
はい |
はい |
|
|
Add Pattern Group (パターングループを追加): 各種条件に基づいてパターンをグループ化し、グループ操作を実行できる新しいパターングループを作成します。 |
はい |
||
|
Capture (キャプチャ): 画面キャプチャから新しいパターンを作成できます。 |
はい |
はい |
はい |
|
Clear Selection (選択をクリア): どの画像も選択されないようにすべての選択を削除します。 |
はい |
はい |
はい |
|
Copy (コピー): 選択したパターンを指定のパターングループにコピーします。 |
はい |
||
|
Delete Selection (選択したパターンを削除): 選択したパターンを削除します。 |
はい |
はい |
はい |
|
Delete Unused (使用されていないパターンを削除): どのアクションステップでも使用されていないパターンを削除します。 |
はい |
||
|
Link Group (グループをリンク): パターングループとそのグループに含まれるすべての検索パターンを選択します。リンクされたグループ内の検索パターンが変更されると、それらの変更がここにも反映されます。 |
はい |
はい |
|
|
Move (移動): Pattern Gallery の場合、選択したパターンを指定のパターングループに移動します。Search Pattern や Pattern Select の場合、選択したパターンを指定のセクション ([Regular (通常)]、[Ignored (無視)]、[Excluded (除外)]) に移動します。 |
はい |
はい |
はい |
|
Select All (すべて選択): 現在のパターングループのすべてのパターンを選択します。 |
はい |
||
|
Show Usage (使用状況を表示): 現在選択しているパターンを使用しているアクションステップを表示します。 |
はい |
パターン名の絞り込みと検索パターン画像のズーム
Pattern Gallery のメインメニューバーには、検索条件オプションがあります。Search Pattern および Pattern Select アクションステップでは、個別のメニューバーの [Search Patterns (検索パターン)] セクションの最初に検索条件オプションが表示され、ウィザードのすべての Pattern Strip に同様に適用されます。
[Filter… (検索条件…)] 項目にテキストを入力すると、指定されたテキストが名前に含まれないパターンがウィザードの後続のセクションですべて非表示になります。各文字を入力していくと絞り込みが適用されます。検索条件テキストはパターン名のどの位置に出現してもかまいませんが、連続していないと一致とみなされません。
たとえば、House、House1、Mouse、Mouse1 という検索パターンが含まれる Search Pattern アクションステップを考えます。
-
検索条件に
「use」と入力すると、すべての画像が表示されます。 -
「1」と入力すると、House1 と Mouse1 のみが表示されます。 -
「H」と入力すると、House と House1 のみが表示されます。
[Zoom Out (ズームアウト)] (
) と [Zoom In (ズームイン)] (
) ボタンを使用すると、ウィザードのすべてのパターン画像が縮小または拡大します。
検索パターンオプション
マウスポインターをパターンに置くと、次のボタンが表示されます。
-
[Edit (編集)] (
) ボタンを使用すると、検索パターンの名前を変更できます。または、検索パターンの名前をクリックして名前を変更できます。このアクションでは、Pattern Gallery と、このパターンを使用するその他のすべてのアクションステップの名前も変更されます。 -
[Recapture Pattern (パターンを再キャプチャ)] (
) ボタンを使用すると、パターンを新しいスクリーンショットに置き換えることができます。パターンを再キャプチャしても、パターン名とリスト内の位置は変わりません。 -
[Color Spot Picker (カラースポットピッカー)] (
) ボタンを使用すると、パターン内のカラースポットを選択できるウィンドウが開きます。カラースポット機能についての詳細は、「検索パターンでのカラースポットの使用」を参照してください。 -
[Delete Pattern (パターンを削除)] (
) ボタンを使用すると、パターンを削除できます。メニューバーから [Delete Selection (選択したパターンを削除)] (
) ボタンを使用してパターンを削除することもできます。