Flex Gateway新着情報
Governance新着情報
Monitoring API ManagerAgent define prompt template 操作を使用して、任意の LLM と統合する場合に使用する特定のプロンプトテンプレートを定義します。これにより、応答を生成したり、情報を抽出したり、他のプロンプトを呼び出したり、テキストベースのタスクを実行したりする自然言語プロンプトを作成できます。
Anypoint Code Builder または Studio キャンバスで操作を選択します。
操作の [General (一般)] プロパティタブで、次の値を入力します。
Template (テンプレート)
操作のプロンプトテンプレートを入力します。
Instructions (手順)
タスクの目標の概要を説明する手順を LLM に提供します。
Dataset (データセット)
指定したテンプレートと手順を使用して評価する LLM のデータセットを指定します。
[Additional properties (追加プロパティ)] で、次の値を入力します。
Model Name (モデル名)
モデル名を選択します。デフォルトは OpenAI GPT 3.5 Turbo です。
Probability (確度)
モデルが正確であり続ける確率を入力します。デフォルトは 0.8 です。
Locale (ロケール)
ローカライズ情報を入力します。これには、デフォルトのロケール、入力ロケール、期待される出力ロケールが含まれます。デフォルトは en_US です。
この操作の XML を次に示します。
<ms-einstein-ai:agent-define-prompt-template
doc:name="Agent define prompt template"
doc:id="f1c29c39-eac9-468c-9c46-4109a66303ec"
config-ref="Einstein_AI"
template="#[payload.template]"
instructions="#[payload.instructions]"
dataset="#[payload.dataset]"
/>
この操作の応答には、メイン LLM 応答を含む JSON ペイロードが含まれます。また、トークン利用状況などの属性がメインペイロード内ではなくメタデータ (属性) の一部として含まれます。この追加のメタデータは、アプリケーション全体でトークン利用状況を追跡したり、LLM の採用に関連付けられるコストを管理したりするのに特に役立ちます。
応答の例を次に示します。
{
"response": "{\n \"type\": \"positive\",\n \"response\": \"Thank you for your positive feedback on the training last week. We are glad to hear that you had a great experience. Have a nice day!\"\n}"
}
この操作では、メイン JSON ペイロード内に含まれない属性も返されます。これには、トークン利用状況に関する情報が含まれます。次に例を示します。
{
"tokenUsage": {
"outputCount": 9,
"totalCount": 18,
"inputCount": 9
},
"additionalAttributes": {}
}
tokenUsage
属性として返されるトークン利用状況メタデータ
outputCount
出力の生成で使用されたトークン数
totalCount
入力と出力で使用されたトークンの合計数
inputCount
入力の処理で使用されたトークン数