Apache Kafka Connector 4.3 リファレンス

Array of String (文字列の配列)

Kafka クラスターとの接続をブートストラップするサーバーのリスト。これは、使用可能なサーバーの部分的なリストになる場合があります。

x

String (文字列)

この設定を使用するすべての Kafka コンシューマーのデフォルトのグループ ID。

Number (数値)

接続で最初に作成されるコンシューマーの数を決定します。

1

Number (数値)

コンシューマーグループ管理を使用するときの poll() の呼び出し間の最大遅延。これにより、コンシューマーが他のレコードをフェッチするまでの許容アイドル時間の上限が設定されます。このタイムアウトの有効期限までに poll() がコールされないと、コンシューマーは失敗したとみなされ、パーティションを別のメンバーに再割り当てするためにグループが再調整されます。null でない ​group.instance.id​ を使用しているコンシューマーがこのタイムアウトに達しても、パーティションはすぐに再割り当てされません。代わりに、コンシューマーはハートビートの送信を停止します。​session.timeout.ms​ の有効期限が切れると、パーティションが再割り当てされます。

300

Enumeration (列挙)。次のいずれかになります。

要求タイムアウトスカラーの時間単位を決定します。このパラメーターはソースレベルで上書きできます。

SECONDS

Enumeration (列挙)。次のいずれかになります。

トランザクションとして書き込まれるメッセージの読み取り方法を制御します。

READ_COMMITTED​ に設定すると、​consumer.poll()​ で、コミットされたトランザクションメッセージのみが返されます。​READ_UNCOMMITTED​ (デフォルト) に設定すると、​consumer.poll()​ で、中止されたトランザクションメッセージを含む、すべてのメッセージが返されます。非トランザクションメッセージは、どちらのモードでも無条件に返されます。メッセージは常にオフセット順に返されます。そのため、​READ_COMMITTED​ モードの場合、​consumer.poll()​ で、開かれている最初のトランザクションよりも 1 つ少ない最終安定オフセット (LSO) までのメッセージのみが返されます。

具体的には、実行中のトランザクションに属するメッセージの後に表示されるメッセージは、関連するトランザクションが完了するまで表示されません。その結果、​read_committed​ コンシューマーは、インフライトトランザクションがあるときにハイウォーターマークまで読み取ることができません。さらに、​read_committed​ では、​seekToEnd​ メソッドで LSO が返されます。

READ_UNCOMMITTED

Boolean (ブール)

サブスクライブパターンに一致する内部トピックがサブスクリプションから除外されるかどうか。常に明示的に内部トピックをサブスクライブできます。

true

Enumeration (列挙)。次のいずれかになります。

Kafka に初期オフセットがない場合や、(データの削除などで) 現在のオフセットがサーバーに存在しない場合の処理を決定します。

LATEST

Number (数値)

特定のトピックパーティションに対して失敗した要求を再試行するまでの待機時間。これにより、一部の失敗シナリオの緊密なループで繰り返し要求が送信されることを回避できます。

100

Enumeration (列挙)。次のいずれかになります。

再接続バックオフタイムアウトスカラーの時間単位を決定します。

MILLISECONDS

Boolean (ブール)

コンシュームされるレコードの CRC32 を自動的にチェックします。これにより、ワイヤーまたはディスク上でメッセージに対するコンシュームが発生しなくなります。このチェックにより、オーバーヘッドが増えるため、非常に高いパフォーマンスが求められる状況では、これを無効にできます。

true

Number (数値)

データを読み込むときに使用する TCP 受信バッファのサイズ (​SO_RCVBUF​)。値が ​-1​ の場合、OS のデフォルトが使用されます。このパラメーターはソースレベルで上書きできます。

64

Enumeration (列挙)。次のいずれかになります。

受信バッファサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

KB

Number (数値)

データを送信するときに使用する TCP 送信バッファ (​SO_SNDBUF​) のサイズ。値が ​-1​ の場合、OS のデフォルトが使用されます。このパラメーターはソースレベルで上書きできます。

128

Enumeration (列挙)。次のいずれかになります。

送信バッファサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

KB

Number (数値)

この設定を使用して、クライアントが要求の応答を待機する最大時間を制御します。タイムアウトが経過する前に応答を受信できない場合、クライアントは必要に応じて要求を再送信します。再試行回数に達すると要求は失敗します。このパラメーターはソースレベルで上書きできます。

30

Enumeration (列挙)。次のいずれかになります。

要求タイムアウトスカラーの時間単位を決定します。このパラメーターはソースレベルで上書きできます。

SECONDS

Number (数値)

Kafka クラスターへのポーリングコールで返されるレコードの最大数。このパラメーターはソースレベルで上書きできます。

500

Enumeration (列挙)。次のいずれかになります。

クライアントによる DNS ルックアップの使用方法を制御します。

DEFAULT

Number (数値)

Apache Kafka のグループ管理機能を使用しているときのコンシューマーコーディネーターへのハートビート間の想定間隔。ハートビートは、コンシューマーのセッションがアクティブなままになっていることを確認したり、新しいコンシューマーがグループに参加したときやグループから脱退したときに再調整を容易にするために使用されます。値は ​session.timeout.ms​ 未満に設定する必要がありますが、通常はその値の 1/3 以下に設定することをお勧めします。通常の再調整の場合、さらに低い値に調整して、想定時間を制御できます。

3

Enumeration (列挙)。次のいずれかになります。

ハートビート間隔時間スカラーをフェッチする時間単位を決定します。

SECONDS

Number (数値)

Apache Kafka のグループ管理機能を使用しているときにコンシューマーの失敗を検出するために使用されるタイムアウト。コンシューマーは定期的にハートビートを送信し、生存していることをブローカーに示します。このセッションタイムアウトの期限までにハートビートを受信できない場合、ブローカーはこのコンシューマーをグループから削除し、再調整を開始します。この値は、ブローカー設定の ​group.min.session.timeout.ms​ と ​group.max.session.timeout.ms​ で設定される許容範囲に収まっている必要があります。

10

Enumeration (列挙)。次のいずれかになります。

セッションタイムアウトスカラーの時間単位を決定します。

SECONDS

Number (数値)

この設定で指定されたミリ秒が経過すると、アイドル接続が終了します。

540

Enumeration (列挙)。次のいずれかになります。

接続の最大アイドル時間スカラーの時間単位。

SECONDS

TLS

Mule アプリケーションの通信を保護するためにクライアント側とサーバー側の両方で使用される TLS 設定を定義します。コネクタは、通信で使用する ​security.protocol​ を自動的に設定します。有効な値は ​PLAINTEXT​、​SSL​、​SASL_PLAINTEXT​、​SASL_SSL​ です。デフォルト値は ​PLAINTEXT​ または ​SASL_PLAINTEXT​ (SASL 認証 (kerberos/scram/plain) の場合) です。ブローカーは、プロトコルとして ​SSL​ を設定すると、設定の ​tls:context​ 子要素で少なくともキーストアを設定し、コネクタは ​security.protocol​ として ​SSL​ (SASL 認証の場合は ​SASL_SSL​) を自動的に使用します。

String (文字列)

クライアントがサーバーのホスト名を検証するために使用するエンドポイント識別アルゴリズム。デフォルト値は空の文字列です。つまり、エンドポイント識別アルゴリズムは無効になっています。クライアント (ブローカーによって作成されたブローカー間の通信のクライアント接続を含む) は、ブローカーのホスト名がブローカーの証明書のホスト名と一致していることを確認します。

Array of String (文字列の配列)

サブスクライブするサブスクリプションの正規表現のリスト。トピックは、トピックのコンシューマー間で自動的に再調整されます。

Topic Partition (トピックパーティション)​ の配列

割り当てるトピック-パーティションペアのリスト。コンシューマーは自動的に再調整されません。

Number (数値)

フェッチ要求に対してサーバーが返す必要のあるデータの最小量。十分なデータを使用できない場合、要求は指定された最小データ量が蓄積されて要求の応答が行われるまで待機します。デフォルトでは 1 バイトに設定されています。これは、データの到着を待機したままフェッチ要求がタイムアウトする場合を除き、1 バイトのデータが使用できるようになるとすぐにフェッチ要求の応答が返されることを意味します。これを 1 より大きな値に設定すると、サーバーはより大きなデータ量が蓄積されるまで待機します。これにより、レイテンシーは増えますが、サーバーのスループットは若干向上します。このパラメーターはソースレベルで上書きできます。

1

Enumeration (列挙)。次のいずれかになります。

デフォルトの最小フェッチサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

BYTE

Number (数値)

フェッチ要求に対してサーバーが返す必要のあるデータの最大量。コンシューマーは、まとめてレコードをフェッチします。フェッチの最初の空でないパーティションの最初のレコードバッチがこの値より大きい場合でも、コンシューマーが処理を続行できるようにレコードバッチが返されます。そのため、これは絶対最大値ではありません。ブローカーで受け入れられる最大レコードバッチサイズは、​message.max.bytes​ (ブローカー設定) または ​max.message.bytes​ (トピック設定) を使用して定義されます。コンシューマーは複数のフェッチを並列で実行します。このパラメーターはソースレベルで上書きできます。

1

Enumeration (列挙)。次のいずれかになります。

デフォルトの最大フェッチサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

MB

Number (数値)

サーバーが返すパーティションあたりの最大データ量。コンシューマーは、まとめてレコードをフェッチします。フェッチの最初の空でないパーティションの最初のレコードバッチがこの制限より大きい場合でも、コンシューマーが処理を続行できるようにバッチが返されます。ブローカーで受け入れられる最大レコードバッチサイズは、​message.max.bytes​ (ブローカー設定) または ​max.message.bytes​ (トピック設定) を使用して定義されます。コンシューマーの要求サイズの制限については、​fetch.max.bytes​ を参照してください。このパラメーターはソースレベルで上書きできます。

1

Enumeration (列挙)。次のいずれかになります。

最大パーティションフェッチサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

MB

Number (数値)

fetch.min.bytes​ で指定された要件をすぐに満たすだけの十分なデータがない場合のフェッチ要求に応答するまでの最大サーバーブロック時間。

500

Enumeration (列挙)。次のいずれかになります。

フェッチの最大待機タイムアウトスカラーの時間単位。

MILLISECONDS

Reconnection (再接続)

アプリケーションがデプロイされると、すべてのコネクタで接続テストが実行されます。​true​ に設定されている場合、関連する再接続戦略をすべて実行した後にテストに合格しないと、デプロイメントが失敗します。

Array of String (文字列の配列)

Kafka クラスターとの接続をブートストラップするサーバーのリスト。これは、使用可能なサーバーの部分的なリストになる場合があります。

x

String (文字列)

この設定を使用する Kafka コンシューマーのデフォルトのグループ ID。

Number (数値)

接続で最初に作成されるコンシューマーの数。

1

Number (数値)

クライアントが要求の応答を待機する最大時間。タイムアウトが経過する前に応答を受信できない場合、クライアントは要求を再送信します。指定された再試行回数に達すると要求は失敗します。このパラメーターはソースレベルで上書きできます。

300

Enumeration (列挙)。次のいずれかになります。

要求タイムアウトスカラーの時間単位。このパラメーターはソースレベルで上書きできます。

SECONDS

Enumeration (列挙)。次のいずれかになります。

トランザクションとして書き込まれるメッセージの読み取り方法を制御します。

READ_UNCOMMITTED

Boolean (ブール)

サブスクライブパターンに一致する内部トピックがサブスクリプションから除外されるかどうか。常に明示的に内部トピックをサブスクライブできます。

true

Enumeration (列挙)。次のいずれかになります。

Kafka に初期オフセットがない場合や、(データの削除などで) 現在のオフセットがサーバーに存在しない場合の処理を決定します。

LATEST

Number (数値)

特定のトピックパーティションに対して失敗した要求を再試行するまでの待機時間。これにより、一部の失敗シナリオの緊密なループで繰り返し要求が送信されることを回避できます。

100

Enumeration (列挙)。次のいずれかになります。

再接続バックオフタイムアウトスカラーの時間単位。

MILLISECONDS

Boolean (ブール)

コンシュームされるレコードの CRC32 を自動的にチェックします。これにより、ワイヤーまたはディスク上でメッセージに対するコンシュームが発生しなくなります。このチェックにより、オーバーヘッドが増えます。非常に高いパフォーマンスが求められる状況では、このチェックを無効にできます。

true

Number (数値)

データを読み込むときに使用する TCP 受信バッファのサイズ (​SO_RCVBUF​)。値が ​-1​ の場合、OS のデフォルトが使用されます。このパラメーターはソースレベルで上書きできます。

64

Enumeration (列挙)。次のいずれかになります。

受信バッファサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

KB

Number (数値)

データを送信するときに使用する TCP 送信バッファ (​SO_SNDBUF​) のサイズ。値が ​-1​ の場合、OS のデフォルトが使用されます。このパラメーターはソースレベルで上書きできます。

128

Enumeration (列挙)。次のいずれかになります。

送信バッファサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

KB

Number (数値)

クライアントが要求の応答を待機する最大時間。タイムアウトが経過する前に応答を受信できない場合、クライアントは必要に応じて要求を再送信します。再試行回数に達すると要求は失敗します。このパラメーターはソースレベルで上書きできます。

30

Enumeration (列挙)。次のいずれかになります。

要求タイムアウトスカラーの時間単位。このパラメーターはソースレベルで上書きできます。

SECONDS

Number (数値)

Kafka クラスターへのポーリングコールで返されるレコードの最大数。このパラメーターはソースレベルで上書きできます。

500

Enumeration (列挙)。次のいずれかになります。

クライアントによる DNS ルックアップの使用方法を制御します。

DEFAULT

Number (数値)

Apache Kafka のグループ管理機能を使用しているときのコンシューマーコーディネーターへのハートビート間の想定間隔。ハートビートは、コンシューマーのセッションがアクティブなままになっていることを確認したり、新しいコンシューマーがグループに参加したときやグループから脱退したときに再調整を容易にするために使用されます。値は ​Session timeout​ パラメーター未満に設定する必要がありますが、通常はその値の 1/3 以下に設定することをお勧めします。通常の再調整の場合、さらに低い値に調整して、想定時間を制御できます。

3

Enumeration (列挙)。次のいずれかになります。

ハートビート間隔時間スカラーをフェッチする時間単位。

SECONDS

Number (数値)

Apache Kafka のグループ管理機能を使用しているときにコンシューマーの失敗を検出するために使用されるタイムアウト。コンシューマーは定期的にハートビートを送信し、生存していることをブローカーに示します。このセッションタイムアウトの期限までにハートビートを受信できない場合、ブローカーはこのコンシューマーをグループから削除し、再調整を開始します。この値は、ブローカー設定の ​group.min.session.timeout.ms​ と ​group.max.session.timeout.ms​ で設定される許容範囲に収まっている必要があります。

10

Enumeration (列挙)。次のいずれかになります。

セッションタイムアウトスカラーの時間単位。

SECONDS

Number (数値)

この設定で指定ざれたミリ秒が経過すると、アイドル接続が終了します。

540

Enumeration (列挙)。次のいずれかになります。

接続の最大アイドル時間スカラーの時間単位。

SECONDS

TLS

Mule アプリケーションの通信を保護するためにクライアント側とサーバー側の両方で使用される TLS 設定を定義します。コネクタは、通信で使用する ​security.protocol​ を自動的に設定します。有効な値は ​PLAINTEXT​、​SSL​、​SASL_PLAINTEXT​、​SASL_SSL​ です。デフォルト値は ​PLAINTEXT​ または ​SASL_PLAINTEXT​ (SASL 認証 (kerberos/scram/plain) の場合) です。ブローカーは、プロトコルとして ​SSL​ を設定すると、設定の ​tls:context​ 子要素で少なくともキーストアを設定し、コネクタは ​security.protocol​ として ​SSL​ (SASL 認証の場合は ​SASL_SSL​) を自動的に使用します。

String (文字列)

クライアントがサーバーのホスト名を検証するために使用するエンドポイント識別アルゴリズム。デフォルト値は空の文字列です。つまり、エンドポイント識別アルゴリズムは無効になっています。クライアント (ブローカーによって作成されたブローカー間の通信のクライアント接続を含む) は、ブローカーのホスト名がブローカーの証明書のホスト名と一致していることを確認します。

Array of String (文字列の配列)

サブスクライブするサブスクリプションの正規表現のリスト。トピックは、トピックのコンシューマー間で自動的に再調整されます。

Topic Partition (トピックパーティション)​ の配列

割り当てるトピック-パーティションペアのリスト。コンシューマーは自動的に再調整されません。

Number (数値)

フェッチ要求に対してサーバーが返す必要のあるデータの最小量。十分なデータを使用できない場合、要求は指定された最小データ量が蓄積されて要求の応答が行われるまで待機します。デフォルトでは 1 バイトに設定されています。これは、データの到着を待機したままフェッチ要求がタイムアウトする場合を除き、1 バイトのデータが使用できるようになるとすぐにフェッチ要求の応答が返されることを意味します。これを 1 より大きな値に設定すると、サーバーはより大きなデータ量が蓄積されるまで待機します。これにより、レイテンシーは増えますが、サーバーのスループットは若干向上します。このパラメーターはソースレベルで上書きできます。

1

Enumeration (列挙)。次のいずれかになります。

デフォルトの最小フェッチサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

BYTE

Number (数値)

フェッチ要求に対してサーバーが返す必要のあるデータの最大量。コンシューマーは、まとめてレコードをフェッチします。フェッチの最初の空でないパーティションの最初のレコードバッチがこの値より大きい場合でも、コンシューマーが処理を続行できるようにレコードバッチが返されます。そのため、これは絶対最大値ではありません。ブローカーで受け入れられる最大レコードバッチサイズは、​message.max.bytes​ (ブローカー設定) または ​max.message.bytes​ (トピック設定) を使用して定義されます。コンシューマーは複数のフェッチを並列で実行します。このパラメーターはソースレベルで上書きできます。

1

Enumeration (列挙)。次のいずれかになります。

デフォルトの最大フェッチサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

MB

Number (数値)

サーバーが返すパーティションあたりの最大データ量。コンシューマーは、まとめてレコードをフェッチします。フェッチの最初の空でないパーティションの最初のレコードバッチがこの制限より大きい場合でも、コンシューマーが処理を続行できるようにバッチが返されます。ブローカーで受け入れられる最大レコードバッチサイズは、​message.max.bytes​ (ブローカー設定) または ​max.message.bytes​ (トピック設定) を使用して定義されます。コンシューマーの要求サイズの制限については、​fetch.max.bytes​ を参照してください。このパラメーターはソースレベルで上書きできます。

1

Enumeration (列挙)。次のいずれかになります。

最大パーティションフェッチサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

MB

Number (数値)

fetch.min.bytes​ で指定された要件をすぐに満たすだけの十分なデータがない場合のフェッチ要求に応答するまでの最大サーバーブロック時間。

500

Enumeration (列挙)。次のいずれかになります。

フェッチの最大待機タイムアウトスカラーの時間単位。

MILLISECONDS

String (文字列)

コンピューターシステムまたはネットワークで認証されるエンティティ。プリンシパルは、個人、コンピューター、サービス、計算エンティティ (プロセッサーやスレッドなど) になります。

x

String (文字列)

Kafka が実行時に使用する Kerberos プリンシパル名。

x

String (文字列)

Kerberos 設定情報が格納されている ​krb5.conf​ ファイルへのパス。この情報には、KDC の場所、目的の Kerberos レルムの管理サーバー、現在のレルムのデフォルト、Kerberos アプリケーションのデフォルト、Kerberos レルムのホスト名のマッピングが含まれます。

Boolean (ブール)

チケットキャッシュからチケット保証チケット (TGT) を取得する場合は、このオプションを ​true​ に設定します。チケットキャッシュを使用しない場合は、このオプションを ​false​ に設定します。コネクタは、次のようにチケットキャッシュを検索します。

false

String (文字列)

ユーザーのチケット保証チケット (TGT) が含まれるチケットキャッシュの名前。この値を設定する場合は、[​Use ticket cache​ (チケットキャッシュを使用)] も true に設定する必要があります。設定しない場合、設定エラーが返されます。

Boolean (ブール)

コネクタでキータブからプリンシパルのキーを取得する場合は、このオプションを ​true​ に設定します。この値を設定しない場合、コネクタは Kerberos 設定ファイルを使用してキータブを探します。Kerberos 設定ファイルでキータブが指定されていない場合、コネクタは ​{user.home}{file.separator}krb5.keytab​ ファイルを探します。

false

String (文字列)

このオプションには、プリンシパルのシークレットキーを取得するキータブのファイル名を設定します。

Boolean (ブール)

サブジェクトの非公開ログイン情報のプリンシパルのキーを保存する場合は、このオプションを ​true​ に設定します。

false

Reconnection (再接続)

アプリケーションがデプロイされると、すべてのコネクタで接続テストが実行されます。true に設定されている場合、関連する再接続戦略をすべて実行した後にテストに合格しないと、デプロイメントが失敗します。

String (文字列)

ログインで使用するユーザー名。

x

String (文字列)

ログインで使用するパスワード。

x

Enumeration (列挙)。次のいずれかになります。

SCRAM で使用される暗号化アルゴリズム。

x

Array of String (文字列の配列)

Kafka クラスターとの接続をブートストラップするサーバーのリスト。これは、使用可能なサーバーの部分的なリストになる場合があります。

x

String (文字列)

この設定を使用するすべての Kafka コンシューマーのデフォルトのグループ ID。

Number (数値)

接続で最初に作成されるコンシューマーの数。

1

Number (数値)

クライアントが要求の応答を待機する最大時間。タイムアウトが経過する前に応答を受信できない場合、クライアントは要求を再送信します。指定された再試行回数に達すると要求は失敗します。このパラメーターはソースレベルで上書きできます。

300

Enumeration (列挙)。次のいずれかになります。

要求タイムアウトスカラーの時間単位。このパラメーターはソースレベルで上書きできます。

SECONDS

Enumeration (列挙)。次のいずれかになります。

トランザクションとして書き込まれるメッセージの読み取り方法を制御します。

非トランザクションメッセージは、どちらのモードでも無条件に返されます。メッセージは常にオフセット順に返されます。そのため、​read_committed​ モードの場合、​consumer.poll()​ で、開かれている最初のトランザクションよりも 1 つ少ない最終安定オフセット (LSO) までのメッセージのみが返されます。

実行中のトランザクションに属するメッセージの後に表示されるメッセージは、関連するトランザクションが完了するまで表示されません。その結果、​READ_COMMITTED​ コンシューマーは、インフライトトランザクションがあるときにハイウォーターマークまで読み取ることができません。分離レベルを ​READ_COMMITTED​ に設定すると、​seekToEnd​ メソッドで LSO が返されます。

READ_UNCOMMITTED

Boolean (ブール)

サブスクライブパターンに一致する内部トピックがサブスクリプションから除外されるかどうか。常に明示的に内部トピックをサブスクライブできます。

true

Enumeration (列挙)。次のいずれかになります。

Kafka に初期オフセットがない場合や、(データの削除などで) 現在のオフセットがサーバーに存在しない場合の処理を決定します。

LATEST

Number (数値)

特定のトピックパーティションに対して失敗した要求を再試行するまでの待機時間。これにより、一部の失敗シナリオの緊密なループで繰り返し要求が送信されることを回避できます。

100

Enumeration (列挙)。次のいずれかになります。

再接続バックオフタイムアウトスカラーの時間単位。

MILLISECONDS

Boolean (ブール)

コンシュームされるレコードの CRC32 を自動的にチェックします。これにより、ワイヤーまたはディスク上でメッセージに対するコンシュームが発生しなくなります。このチェックにより、オーバーヘッドが増えるため、非常に高いパフォーマンスが求められる状況では、これを無効にできます。

true

Number (数値)

データを読み込むときに使用する TCP 受信バッファのサイズ (​SO_RCVBUF​)。値が ​-1​ の場合、OS のデフォルトが使用されます。このパラメーターはソースレベルで上書きできます。

64

Enumeration (列挙)。次のいずれかになります。

受信バッファサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

KB

Number (数値)

データを送信するときに使用する TCP 送信バッファ (​SO_SNDBUF​) のサイズ。値が ​-1​ の場合、OS のデフォルトが使用されます。このパラメーターはソースレベルで上書きできます。

128

Enumeration (列挙)。次のいずれかになります。

送信バッファサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

KB

Number (数値)

クライアントが要求の応答を待機する最大時間。タイムアウトが経過する前に応答を受信できない場合、クライアントは必要に応じて要求を再送信します。再試行回数に達すると要求は失敗します。このパラメーターはソースレベルで上書きできます。

30

Enumeration (列挙)。次のいずれかになります。

要求タイムアウトスカラーの時間単位。このパラメーターはソースレベルで上書きできます。

SECONDS

Number (数値)

Kafka クラスターへのポーリングコールで返されるレコードの最大数。このパラメーターはソースレベルで上書きできます。

500

Enumeration (列挙)。次のいずれかになります。

クライアントによる DNS ルックアップの使用方法を制御します。

DEFAULT

Number (数値)

Apache Kafka のグループ管理機能を使用しているときのコンシューマーコーディネーターへのハートビート間の想定間隔。ハートビートは、コンシューマーのセッションがアクティブなままになっていることを確認したり、新しいコンシューマーがグループに参加したときやグループから脱退したときに再調整を容易にするために使用されます。値は ​session.timeout.ms​ 未満に設定する必要がありますが、通常はその値の 1/3 以下に設定することをお勧めします。通常の再調整の場合、さらに低い値に調整して、想定時間を制御できます。

3

Enumeration (列挙)。次のいずれかになります。

ハートビート間隔時間スカラーをフェッチする時間単位。

SECONDS

Number (数値)

Apache Kafka のグループ管理機能を使用しているときにコンシューマーの失敗を検出するために使用されるタイムアウト。コンシューマーは定期的にハートビートを送信し、生存していることをブローカーに示します。このセッションタイムアウトの期限までにハートビートを受信できない場合、ブローカーはこのコンシューマーをグループから削除し、再調整を開始します。この値は、ブローカー設定の ​group.min.session.timeout.ms​ と ​group.max.session.timeout.ms​ で設定される許容範囲に収まっている必要があります。

10

Enumeration (列挙)。次のいずれかになります。

セッションタイムアウトスカラーの時間単位。

SECONDS

Number (数値)

この設定で指定ざれたミリ秒が経過すると、アイドル接続が終了します。

540

Enumeration (列挙)。次のいずれかになります。

接続の最大アイドル時間スカラーの時間単位。

SECONDS

TLS

Mule アプリケーションの通信を保護するためにクライアント側とサーバー側の両方から使用できる TLS の設定を定義します。HTTPS プロトコルを使用すると、HTTP 通信が TLS または SSL を使用して保護されます。プロトコルとして HTTPS が設定されている場合、ユーザーは ​listener-config​ の ​tls:context​ 子要素で少なくともキーストアを設定する必要があります。

String (文字列)

クライアントがサーバーのホスト名を検証するために使用するエンドポイント識別アルゴリズム。デフォルト値は空の文字列です。つまり、アルゴリズムは無効になっています。クライアント (ブローカーによって作成されたブローカー間の通信のクライアント接続を含む) は、ブローカーのホスト名がブローカーの証明書のホスト名と一致していることを確認します。

Array of String (文字列の配列)

サブスクライブするサブスクリプションの正規表現のリスト。トピックは、トピックのコンシューマー間で自動的に再調整されます。

Topic Partition (トピックパーティション)​ の配列

コンシューマーに割り当てるトピック-パーティションペアのリスト。コンシューマーは自動的に再調整されません。

Number (数値)

フェッチ要求に対してサーバーが返す必要のあるデータの最小量。十分なデータを使用できない場合、要求は指定された最小データ量が蓄積されて要求の応答が行われるまで待機します。

デフォルトでは 1 バイトに設定されています。これは、データの到着を待機したままフェッチ要求がタイムアウトする場合を除き、1 バイトのデータが使用できるようになるとすぐにフェッチ要求の応答が返されることを意味します。

この値を 1 より大きな値に設定すると、サーバーはより大きなデータ量が蓄積されるまで待機します。これにより、レイテンシーは増えますが、サーバーのスループットは若干向上します。このパラメーターはソースレベルで上書きできます。

1

Enumeration (列挙)。次のいずれかになります。

最小パーティションフェッチサイズスカラーの測定単位。

BYTE

Number (数値)

フェッチ要求に対してサーバーが返す必要のあるデータの最大量。コンシューマーは、まとめてレコードをフェッチします。フェッチの最初の空でないパーティションの最初のレコードバッチがこの値より大きい場合でも、コンシューマーが処理を続行できるようにレコードバッチが返されます。そのため、これは絶対最大値ではありません。

ブローカーで受け入れられる最大レコードバッチサイズは、​message.max.bytes​ (ブローカー設定) または ​max.message.bytes​ (トピック設定) を使用して定義されます。コンシューマーは複数のフェッチを並列で実行します。このパラメーターはソースレベルで上書きできます。

1

Enumeration (列挙)。次のいずれかになります。

最大パーティションフェッチサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

MB

Number (数値)

サーバーが返すことができるパーティションあたりの最大データ量。コンシューマーは、まとめてレコードをフェッチします。フェッチの最初の空でないパーティションの最初のレコードバッチがこの制限より大きい場合でも、コンシューマーが処理を続行できるようにバッチが返されます。

ブローカーで受け入れられる最大レコードバッチサイズは、​message.max.bytes​ (ブローカー設定) または ​max.message.bytes​ (トピック設定) を使用して定義されます。コンシューマーの要求サイズの制限については、​fetch.max.bytes​ を参照してください。このパラメーターはソースレベルで上書きできます。

1

Enumeration (列挙)。次のいずれかになります。

最大パーティションフェッチサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

MB

Number (数値)

fetch.min.bytes​ で指定された要件をすぐに満たすだけの十分なデータがない場合のフェッチ要求に応答するまでの最大サーバー待機時間。

500

Enumeration (列挙)。次のいずれかになります。

フェッチの最大待機タイムアウトスカラーの時間単位。

MILLISECONDS

Reconnection (再接続)

アプリケーションがデプロイされると、すべてのコネクタで接続テストが実行されます。​true​ に設定されている場合、関連する再接続戦略をすべて実行した後にテストに合格しないと、デプロイメントが失敗します。

Array of String (文字列の配列)

Kafka クラスターとの接続をブートストラップするサーバーのリスト。これは、使用可能なサーバーの部分的なリストになる場合があります。

x

Number (数値)

複数のレコードが同じパーティションに送信される場合、プロデューサーはレコードをまとめて要求を少なくしようとします。これは、クライアントとサーバーの両方のパフォーマンスに寄与します。この設定では、デフォルトのバッチサイズをバイト単位で制御します。このサイズより大きなレコードはまとめられません。ブローカーに送信される要求には、送信可能なデータが含まれるバッチがあり、1 つのバッチは各パーティションに対応します。バッチサイズが小さいと、一括処理の頻度が高くなり、スループットが低下する可能性があります。バッチサイズが 0 の場合、一括処理は完全に無効になります。レコードが追加されることを想定して指定のバッチサイズのバッファが常に割り当てられるため、バッチサイズが非常に大きいと、無駄に使用されるメモリが増加する可能性があります。

16

Enumeration (列挙)。次のいずれかになります。

バッチサイズスカラーの測定単位。

KB

Number (数値)

サーバーに送信されるのを待機しているレコードをバッファするためにプロデューサーが使用できるメモリの合計バイト。サーバーに配信できるようになる前にレコードが送信されると、プロデューサーは ​max.block.ms​ の間ブロックされ、この期間が経過すると例外がスローされます。通常、この設定はプロデューサーが使用する合計メモリに対応しますが、プロデューサーが使用するメモリはバッファに使用されないこともあるため、必ずしも対応するわけではありません。一部の追加メモリは、圧縮 (有効になっている場合) やインフライト要求の管理に使用されます。Apache Kafka ドキュメントのデフォルト値は ​33554432​ (32MB) ですが、CloudHub (v0.1 コア) の Mule インスタンスの想定値に合わせてこれに上限を設定する必要があります。

1

Enumeration (列挙)。次のいずれかになります。

最大要求サイズスカラーの測定単位。

KB

Enumeration (列挙)。次のいずれかになります。

クライアントによる DNS ルックアップの使用方法を制御します。​use_all_dns_ips​ に設定する場合、ルックアップでホスト名の複数の IP アドレスが返されると、接続に失敗するまですべての IP アドレスへの接続が試行されます。ブートストラップサーバーとアドバタイズサーバーの両方に適用されます。値が ​resolve_canonical_bootstrap_servers_only​ の場合、各エントリが解決されて、正規名のリストに展開されます。

DEFAULT

Enumeration (列挙)。次のいずれかになります。

プロデューサーによって生成されるすべてのデータの圧縮種別。デフォルトは [none (なし)] (圧縮なし) です。有効な値は、[none]、[gzip]、[snappy]、[lz4]、[zstd] です。圧縮は、データのバッチ全体に対して実行されるため、一括処理の効率性も圧縮率に影響します。一括処理の量が多いほど、圧縮率が高くなります。

NONE

Number (数値)

指定された時間に達すると、アイドル接続が終了します。

540

Enumeration (列挙)。次のいずれかになります。

接続の最大アイドル時間スカラーの時間単位を決定します。

SECONDS

Number (数値)

send()​ へのコールが返されてから成功または失敗をレポートするまでの時間の上限。これにより、レコードの送信前の合計遅延時間、ブローカーからの肯定応答を待機する時間 (必要な場合)、失敗した送信を再試行できる時間が制限されます。回復不能なエラーが発生した場合、再試行回数に達した場合、以前の配信期限に達したバッチにレコードが追加された場合、プロデューサーは、この設定以内にレコードを送信できなかったことをレポートする可能性があります。この設定の値は、​request.timeout.ms​ と ​linger.ms​ の合計以上にする必要があります。

120

Enumeration (列挙)。次のいずれかになります。

配信タイムアウトスカラーの時間単位を決定します。

SECONDS

Boolean (ブール)

true​ に設定すると、プロデューサーはメッセージごとに 1 つのコピーがストリームに書き込まれるようにします。​false​ の場合、プロデューサーはブローカーが失敗した場合などに再試行するため、再試行されたメッセージが重複してストリームに書き込まれる可能性があります。冪等性を有効にする場合、​max.in.flight.requests.per.connection​ を ​5​ 以下、再試行回数を ​0​ より大きく、肯定応答を ​all​ にする必要があります。ユーザーがこれらの値を明示的に設定しない場合、適切な値が選択されます。互換性のない値が設定されると、接続例外がスローされます。

false

Number (数値)

プロデューサーは、要求トランスミッション間に到着するレコードを 1 つのバッチ要求にグループ化します。通常、これは負荷時 (送信できるようになる前にレコードが到着したとき) にのみ発生します。ただし、クライアントはそれほど負荷がかかっていなくても要求の数を削減したい場合があります。

この設定では、人為的にわずかに遅延させることでこれを実現します。プロデューサーは、送信をまとめることができるようにレコードをすぐに送信せずに指定された遅延が経過するまで待機し、他のレコードの送信を許可します。これは TCP の Nagle アルゴリズムに似ています。この設定により、一括処理の遅延に上限が設定されます。

パーティションで指定された ​batch.size​ 分のレコードを受信すると、この設定に関係なくすぐに送信されます。ただし、このパーティションで指定された蓄積バイト数よりも受信バイト数が少ないと、プロデューサーは指定された時間だけ「延長」して、他のレコードが到着するまで待機します。

この設定のデフォルトは ​0​ (遅延なし) です。たとえば、​linger.ms=5​ を設定すると、送信される要求数は減りますが、負荷がないときに送信されたレコードにも 5ms のレイテンシーが追加されます。

0

Enumeration (列挙)。次のいずれかになります。

延長時間スカラーの時間単位を決定します。

SECONDS

Number (数値)

この設定では、​KafkaProducer.send()​ および ​KafkaProducer.partitionsFor()​ がブロックされる時間を制御します。これらのメソッドは、バッファがフルの場合や、ユーザー指定のシリアライザーまたはパーティショナーのメタデータ ​unavailable.Blocking​ がこのタイムアウトに反映されない場合にブロックされる可能性があります。

60

Enumeration (列挙)。次のいずれかになります。

最大ブロック時間スカラーの時間単位を決定します。

SECONDS

Number (数値)

ブロックされる前に 1 つの接続でクライアントが送信する肯定応答されていない要求の最大数。値が ​1​ より大きく、失敗した送信があると、再試行 (有効になっている場合) によってメッセージが並び替えられる可能性があります。

5

Number (数値)

要求の最大サイズ (バイト)。この設定により、プロデューサーが 1 つの要求で送信するレコードバッチ数が制限され、大きな要求が送信されなくなります。また、これは実質的に最大レコードバッチサイズの上限になります。サーバーのレコードバッチサイズの上限がこれとは異なる場合もあります。

1

Enumeration (列挙)。次のいずれかになります。

最大要求サイズスカラーの測定単位。

MB

Enumeration (列挙)。次のいずれかになります。

プロデューサーで要求が完了したとみなされるためにリーダーが受信する必要のあるに肯定応答の数。この設定では、送信されるレコードの永続性を制御します。

NONE

Number (数値)

データを読み込むときに使用する TCP 受信バッファのサイズ (​SO_RCVBUF​)。値が ​-1​ の場合、OS のデフォルトが使用されます。このパラメーターはソースレベルで上書きできます。

64

Enumeration (列挙)。次のいずれかになります。

受信バッファサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

KB

Number (数値)

0 より大きな値を設定すると、クライアントは一時的なエラーで送信に失敗した可能性のあるレコードを再送信します。この再試行は、エラーが発生したときにクライアントがレコードを再送信する場合と同じです。​max.in.flight.requests.per.connection​ を ​1​ に設定せずに再試行できるようにすると、レコードの順序が変更される可能性があります。これは、2 つのバッチが 1 つのパーティションに送信された場合、最初のバッチが失敗して再試行され、2 番目のバッチが成功すると、2 番目のバッチのレコードが最初に表示される可能性があるためです。また、肯定応答に成功する前に ​delivery.timeout.ms​ で設定されたタイムアウトの期限が切れると、プロデューサーの要求は再試行回数に達する前に失敗します。ユーザーはこれを未設定のままにして、代わりに ​delivery.timeout.ms​ を使用して再試行の動作を制御することをお勧めします。

1

Number (数値)

特定のトピックパーティションに対して失敗した要求を再試行するまでの待機時間。これにより、一部の失敗シナリオの緊密なループで繰り返し要求が送信されることを回避できます。

1000

Enumeration (列挙)。次のいずれかになります。

再接続バックオフタイムアウトスカラーの時間単位を決定します。

MILLISECONDS

Number (数値)

データを送信するときに使用する TCP 送信バッファ (​SO_SNDBUF​) のサイズ。値が ​-1​ の場合、OS のデフォルトが使用されます。このパラメーターはソースレベルで上書きできます。

128

Enumeration (列挙)。次のいずれかになります。

送信バッファサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

KB

Number (数値)

この設定を使用して、クライアントが要求の応答を待機する最大時間を制御します。タイムアウトが経過する前に応答を受信できない場合、クライアントは必要に応じて要求を再送信します。再試行回数に達すると要求は失敗します。これは、プロデューサーの不要な再試行のよるメッセージの重複の可能性を下げるために ​replica.lag.time.max.ms​ (ブローカー設定) よりも長くする必要があります。

30

Enumeration (列挙)。次のいずれかになります。

要求のタイムアウト時間単位。

SECONDS

TLS

Mule アプリケーションの通信を保護するためにクライアント側とサーバー側の両方から使用できる TLS の設定を定義します。HTTPS プロトコルを使用すると、HTTP 通信が TLS または SSL を使用して保護されます。プロトコルとして HTTPS が設定されている場合、ユーザーは ​listener-config​ の ​tls:context​ 子要素で少なくともキーストアを設定する必要があります。

String (文字列)

クライアントがサーバーのホスト名を検証するために使用するエンドポイント識別アルゴリズム。デフォルト値は空の文字列です。つまり、アルゴリズムは無効になっています。クライアント (ブローカーによって作成されたブローカー間の通信のクライアント接続を含む) はブローカーのホスト名がブローカーの証明書のホスト名と一致していることを確認します。

Reconnection (再接続)

アプリケーションがデプロイされると、すべてのコネクタで接続テストが実行されます。​true​ に設定されている場合、関連する再接続戦略をすべて実行した後にテストに合格しないと、デプロイメントが失敗します。

Array of String (文字列の配列)

Kafka クラスターとの接続をブートストラップするサーバーのリスト。これは、使用可能なサーバーの部分的なリストになる場合があります。

x

Number (数値)

複数のレコードが同じパーティションに送信される場合、プロデューサーはレコードをより少ない要求にまとめようとします。これは、クライアントとサーバーの両方のパフォーマンスに寄与します。このパラメーターでは、デフォルトのバッチサイズをバイト単位で制御します。このサイズより大きなレコードはまとめられません。

ブローカーに送信される要求には、送信可能なデータが含まれるバッチがあり、1 つのバッチは各パーティションに対応します。バッチサイズが小さいと、一括処理の頻度が高くなり、スループットが低下する可能性があります。バッチサイズが 0 の場合、一括処理は完全に無効になります。コネクタはレコードが追加されることを想定して指定のバッチサイズのバッファを割り当てるため、バッチサイズが非常に大きいと、メモリの使用効率が下がる可能性があります。

16

Enumeration (列挙)。次のいずれかになります。

バッチサイズスカラーの測定単位。

KB

Number (数値)

サーバーに送信されるのを待機しているレコードをバッファするためにプロデューサーが使用できるメモリの合計バイト。配信できるようになる前にレコードが送信されると、プロデューサーは ​max.block.ms​ の間ブロックされ、この期間が経過すると例外がスローされます。通常、この設定はプロデューサーが使用する合計メモリに対応しますが、プロデューサーが使用するメモリはバッファに使用されないこともあります。プロデューサーは、追加メモリを圧縮 (有効になっている場合) やインフライト要求の管理に使用します。

Kafka のデフォルト値は ​33554432​ (32MB) ですが、CloudHub (v0.1 コア) の Mule インスタンスの想定値に合わせてこの値に上限を設定する必要があります。

1000

Enumeration (列挙)。次のいずれかになります。

最大要求サイズスカラーの測定単位。

KB

Enumeration (列挙)。次のいずれかになります。

クライアントによる DNS ルックアップの使用方法を制御します。

DEFAULT

Enumeration (列挙)。次のいずれかになります。

プロデューサーによって生成されるすべてのデータの圧縮種別。デフォルトは圧縮なしです。圧縮は、データのバッチ全体に対して実行されるため、一括処理の効率性も圧縮率に影響します。一括処理の量が多いほど、圧縮率が高くなります。

None (なし)

Number (数値)

このパラメーターで指定ざれた値が経過すると、アイドル接続が終了します。

540

Enumeration (列挙)。次のいずれかになります。

接続の最大アイドルスカラーの時間単位。

SECONDS

Number (数値)

send()​ へのコールが返されてから成功または失敗をレポートするまでの時間の上限。これにより、レコードの送信前の合計遅延時間、ブローカーからの肯定応答を待機する時間 (必要な場合)、失敗した送信を再試行できる時間が制限されます。回復不能なエラーが発生した場合、再試行回数に達した場合、以前の配信期限に達したバッチにレコードが追加された場合、プロデューサーは、この値以内にレコードを送信できなかったことをレポートする可能性があります。この値は、​request.timeout.ms​ と ​linger.ms​ の合計以上にする必要があります。

120

Enumeration (列挙)。次のいずれかになります。

配信タイムアウトスカラーの時間単位を決定します。

SECONDS

Boolean (ブール)

true​ に設定すると、プロデューサーはメッセージごとに 1 つのコピーストリームに書き込まれるようにします。​false​ に設定すると、プロデューサーはブローカーが失敗した場合などに再試行するため、再試行されたメッセージが重複してストリームに書き込まれる可能性があります。冪等性を有効にする場合、​max.in.flight.requests.per.connection​ の値を ​5​ 以下、再試行回数を ​0​ より大きく、肯定応答を ​all​ にする必要があります。これらの値を明示的に設定しない場合、適切な値が選択されます。互換性のない値が設定されると、ConnectionException がスローされます。

false

Number (数値)

プロデューサーは、要求トランスミッション間に到着するレコードを 1 つのバッチ要求にグループ化します。通常、これは負荷時 (送信できるようになる前にレコードが到着したとき) に発生します。ただし、クライアントはそれほど負荷がかかっていなくても要求の数を削減したい場合があります。

この設定では、レコードの送信を人為的にわずかに遅延させます。プロデューサーは、レコードをまとめることができるようにレコードをすぐに送信せずに指定された遅延が経過するまで待機し、他のレコードの送信を許可します。これは TCP の Nagle アルゴリズムに似ています。この設定により、一括処理の遅延に上限が設定されます。コネクタは、パーティションの ​batch.size​ 分のレコードを受信すると、この設定に関係なくすぐにバッチを送信します。

この設定のデフォルトは ​0​ (遅延なし) です。たとえば、​linger.ms=5​ を設定すると、送信される要求数は減りますが、負荷がないときに送信されたレコードにも 5ms のレイテンシーが追加されます。

0

Enumeration (列挙)。次のいずれかになります。

延長時間スカラーの時間単位。

SECONDS

Number (数値)

KafkaProducer.send()​ および ​KafkaProducer.partitionsFor()​ をブロックできる時間を指定します。これらのメソッドは、バッファがフルの場合や、ユーザー指定のシリアライザーまたはパーティショナーの ​unavailable.Blocking​ メタデータがこのタイムアウトに反映される場合にブロックされる可能性があります。

60

Enumeration (列挙)。次のいずれかになります。

最大ブロック時間スカラーの時間単位。

SECONDS

Number (数値)

ブロックされる前に 1 つの接続でクライアントが送信する肯定応答されていない要求の最大数。値が ​1​ より大きく、失敗した送信があると、再試行 (有効になっている場合) によってメッセージが並び替えられる可能性があります。

5

Number (数値)

要求の最大サイズ (バイト)。この設定により、プロデューサーが 1 つの要求で送信するレコードバッチ数が制限されます。これは実質的に最大レコードバッチサイズの上限になります。サーバーのレコードバッチサイズの上限がこの値とは異なる場合もあります。

1

Enumeration (列挙)。次のいずれかになります。

最大要求サイズスカラーの測定単位。

MB

Enumeration (列挙)。次のいずれかになります。

プロデューサーで要求が完了したとみなされるためにリーダーが受信する必要のあるに肯定応答の数。この設定では、送信されるレコードの永続性を制御します。

None (なし)

Number (数値)

データを読み込むときに使用する TCP 受信バッファのサイズ (​SO_RCVBUF​)。値が ​-1​ の場合、OS のデフォルトが使用されます。このパラメーターはソースレベルで上書きできます。

64

Enumeration (列挙)。次のいずれかになります。

受信バッファサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

KB

Number (数値)

0 より大きな値を設定すると、クライアントは一時的なエラーで送信に失敗した可能性のあるレコードを再送信します。この再試行は、エラーが発生したときにクライアントにレコードを再送信させる場合と同じです。​max.in.flight.requests.per.connection​ を ​1​ に設定せずに再試行できるようにすると、次の場合にレコードの順序が変更される可能性があります。

1

Enumeration (列挙)。次のいずれかになります。

再試行バックオフタイムアウト時間スカラーの時間単位。

MILLISECONDS

Number (数値)

特定のトピックパーティションに対して失敗した要求を再試行するまでの待機時間。これにより、一部の失敗シナリオの緊密なループで繰り返し要求が送信されることを回避できます。

100

Number (数値)

データを送信するときに使用する TCP 送信バッファ (​SO_SNDBUF​) のサイズ。値が ​-1​ の場合、OS のデフォルトが使用されます。このパラメーターはソースレベルで上書きできます。

128

Enumeration (列挙)。次のいずれかになります。

送信バッファサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

KB

Enumeration (列挙)。次のいずれかになります。

要求タイムアウト時間スカラーの時間単位。

SECONDS

Number (数値)

クライアントが要求の応答を待機する最大時間。タイムアウトが経過する前に応答を受信できない場合、クライアントは必要に応じて要求を再送信します。再試行回数に達すると要求は失敗します。この値は、プロデューサーの不要な再試行のよるメッセージの重複の可能性を下げるために ​replica.lag.time.max.ms​ (ブローカー設定) よりも長くする必要があります。

30

TLS

通信に使用するプロトコル。有効な値は HTTP (デフォルト) と HTTPS です。HTTPS を使用すると、HTTP 通信が TLS または SSL を使用して保護されます。プロトコルとして HTTPS が設定されている場合、ユーザーはこの ​listener-config​ の ​tls:context​ 子要素で少なくともキーストアを設定する必要があります。

Reconnection (再接続)

アプリケーションがデプロイされると、すべてのコネクタで接続テストが実行されます。true に設定されている場合、関連する再接続戦略をすべて実行した後にテストに合格しないと、デプロイメントが失敗します。

String (文字列)

ログインで使用するユーザー名。

x

String (文字列)

ログインで使用するパスワード。

x

Enumeration (列挙)。次のいずれかになります。

SCRAM で使用される暗号化アルゴリズム。有効な値は SHA-256 と SHA-512 のみです。

x

Array of String (文字列の配列)

Kafka クラスターとの接続をブートストラップするサーバーのリスト。これは、使用可能なサーバーの部分的なリストになる場合があります。

x

Number (数値)

複数のレコードが同じパーティションに送信される場合、プロデューサーはレコードをまとめて要求を少なくしようとします。これは、クライアントとサーバーの両方のパフォーマンスに寄与します。この設定では、デフォルトのバッチサイズをバイト単位で制御します。このサイズより大きなレコードはまとめられません。ブローカーに送信される要求には、送信可能なデータが含まれるバッチがあり、1 つのバッチは各パーティションに対応します。バッチサイズが小さいと、一括処理の頻度が高くなり、スループットが低下する可能性があります。バッチサイズが 0 の場合、一括処理は完全に無効になります。レコードが追加されることを想定して指定のバッチサイズのバッファが常に割り当てられるため、バッチサイズが非常に大きいと、無駄に使用されるメモリが増加する可能性があります。

16

Enumeration (列挙)。次のいずれかになります。

バッチサイズスカラーの測定単位。

KB

Number (数値)

サーバーに送信されるのを待機しているレコードをバッファするためにプロデューサーが使用できるメモリの合計バイト。サーバーに配信できるようになる前にレコードが送信されると、プロデューサーは ​max.block.ms​ の間ブロックされ、この期間が経過すると例外がスローされます。通常、この設定はプロデューサーが使用する合計メモリに対応しますが、プロデューサーが使用するメモリはバッファに使用されないこともあるため、必ずしも対応するわけではありません。一部の追加メモリは、圧縮 (有効になっている場合) やインフライト要求の管理に使用されます。Apache Kafka ドキュメントのデフォルト値は ​33554432​ (32MB) ですが、CloudHub (v0.1 コア) の Mule インスタンスの想定値に合わせてこれに上限を設定する必要があります。

1

Enumeration (列挙)。次のいずれかになります。

最大要求サイズスカラーの測定単位。

KB

Enumeration (列挙)。次のいずれかになります。

クライアントによる DNS ルックアップの使用方法を制御します。​use_all_dns_ips​ に設定する場合、ルックアップでホスト名の複数の IP アドレスが返されると、接続に失敗するまですべての IP アドレスへの接続が試行されます。ブートストラップサーバーとアドバタイズサーバーの両方に適用されます。値が ​resolve_canonical_bootstrap_servers_only​ の場合、各エントリが解決されて、正規名のリストに展開されます。

DEFAULT

Enumeration (列挙)。次のいずれかになります。

プロデューサーによって生成されるすべてのデータの圧縮種別。デフォルトは [none (なし)] (圧縮なし) です。有効な値は、[none]、[gzip]、[snappy]、[lz4]、[zstd] です。圧縮は、データのバッチ全体に対して実行されるため、一括処理の効率性も圧縮率に影響します。一括処理の量が多いほど、圧縮率が高くなります。

NONE

Number (数値)

指定された時間に達すると、アイドル接続が終了します。

540

Enumeration (列挙)。次のいずれかになります。

接続の最大アイドル時間スカラーの時間単位を決定します。

SECONDS

Number (数値)

send()​ へのコールが返されてから成功または失敗をレポートするまでの時間の上限。これにより、レコードの送信前の合計遅延時間、ブローカーからの肯定応答を待機する時間 (必要な場合)、失敗した送信を再試行できる時間が制限されます。回復不能なエラーが発生した場合、再試行回数に達した場合、以前の配信期限に達したバッチにレコードが追加された場合、プロデューサーは、この設定以内にレコードを送信できなかったことをレポートする可能性があります。この設定の値は、​request.timeout.ms​ と ​linger.ms​ の合計以上にする必要があります。

120

Enumeration (列挙)。次のいずれかになります。

配信タイムアウトスカラーの時間単位を決定します。

SECONDS

Boolean (ブール)

true​ に設定すると、プロデューサーはメッセージごとに 1 つのコピーがストリームに書き込まれるようにします。​false​ の場合、プロデューサーはブローカーが失敗した場合などに再試行するため、再試行されたメッセージが重複してストリームに書き込まれる可能性があります。冪等性を有効にする場合、​max.in.flight.requests.per.connection​ を ​5​ 以下、再試行回数を ​0​ より大きく、肯定応答を ​all​ にする必要があります。ユーザーがこれらの値を明示的に設定しない場合、適切な値が選択されます。互換性のない値が設定されると、接続例外がスローされます。

false

Number (数値)

プロデューサーは、要求トランスミッション間に到着するレコードを 1 つのバッチ要求にグループ化します。通常、これは負荷時 (送信できるようになる前にレコードが到着したとき) にのみ発生します。ただし、クライアントはそれほど負荷がかかっていなくても要求の数を削減したい場合があります。

この設定では、人為的にわずかに遅延させることでこれを実現します。プロデューサーは、送信をまとめることができるようにレコードをすぐに送信せずに指定された遅延が経過するまで待機し、他のレコードの送信を許可します。これは TCP の Nagle アルゴリズムに似ています。この設定により、一括処理の遅延に上限が設定されます。

パーティションで指定された ​batch.size​ 分のレコードを受信すると、この設定に関係なくすぐに送信されます。ただし、このパーティションで指定された蓄積バイト数よりも受信バイト数が少ないと、プロデューサーは指定された時間だけ「延長」して、他のレコードが到着するまで待機します。この設定のデフォルトは ​0​ (遅延なし) です。たとえば、​linger.ms=5​ を設定すると、送信される要求数は減りますが、負荷がないときに送信されたレコードにも 5ms のレイテンシーが追加されます。

0

Enumeration (列挙)。次のいずれかになります。

延長時間スカラーの時間単位を決定します。

SECONDS

Number (数値)

この設定では、​KafkaProducer.send()​ および ​KafkaProducer.partitionsFor()​ がブロックされる時間を制御します。これらのメソッドは、バッファがフルの場合や、ユーザー指定のシリアライザーまたはパーティショナーのメタデータ ​unavailable.Blocking​ がこのタイムアウトに反映されない場合にブロックされる可能性があります。

60

Enumeration (列挙)。次のいずれかになります。

最大ブロック時間スカラーの時間単位を決定します。

SECONDS

Number (数値)

ブロックされる前に 1 つの接続でクライアントが送信する肯定応答されていない要求の最大数。値が ​1​ より大きく、失敗した送信があると、再試行 (有効になっている場合) によってメッセージが並び替えられる可能性があります。

5

Number (数値)

要求の最大サイズ (バイト)。この設定により、プロデューサーが 1 つの要求で送信するレコードバッチ数が制限され、大きな要求が送信されなくなります。また、これは実質的に最大レコードバッチサイズの上限になります。サーバーのレコードバッチサイズの上限がこれとは異なる場合もあります。

1

Enumeration (列挙)。次のいずれかになります。

最大要求サイズスカラーの測定単位。

MB

Enumeration (列挙)。次のいずれかになります。

プロデューサーで要求が完了したとみなされるためにリーダーが受信する必要のあるに肯定応答の数。この設定では、送信されるレコードの永続性を制御します。

NONE

Number (数値)

データを読み込むときに使用する TCP 受信バッファのサイズ (​SO_RCVBUF​)。値が ​-1​ の場合、OS のデフォルトが使用されます。このパラメーターはソースレベルで上書きできます。

64

Enumeration (列挙)。次のいずれかになります。

受信バッファサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

KB

Number (数値)

0 より大きな値を設定すると、クライアントは一時的なエラーで送信に失敗した可能性のあるレコードを再送信します。この再試行は、エラーが発生したときにクライアントがレコードを再送信する場合と同じです。​max.in.flight.requests.per.connection​ を ​1​ に設定せずに再試行できるようにすると、レコードの順序が変更される可能性があります。これは、2 つのバッチが 1 つのパーティションに送信された場合、最初のバッチが失敗して再試行され、2 番目のバッチが成功すると、2 番目のバッチのレコードが最初に表示される可能性があるためです。また、肯定応答に成功する前に ​delivery.timeout.ms​ で設定されたタイムアウトの期限が切れると、プロデューサーの要求は再試行回数に達する前に失敗します。ユーザーはこれを未設定のままにして、代わりに ​delivery.timeout.ms​ を使用して再試行の動作を制御することをお勧めします。

1

Number (数値)

特定のトピックパーティションに対して失敗した要求を再試行するまでの待機時間。これにより、一部の失敗シナリオの緊密なループで繰り返し要求が送信されることを回避できます。

1000

Enumeration (列挙)。次のいずれかになります。

再接続バックオフタイムアウトスカラーの時間単位を決定します。

MILLISECONDS

Number (数値)

データを送信するときに使用する TCP 送信バッファ (​SO_SNDBUF​) のサイズ。値が ​-1​ の場合、OS のデフォルトが使用されます。このパラメーターはソースレベルで上書きできます。

128

Enumeration (列挙)。次のいずれかになります。

送信バッファサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

KB

Number (数値)

この設定を使用して、クライアントが要求の応答を待機する最大時間を制御します。タイムアウトが経過する前に応答を受信できない場合、クライアントは必要に応じて要求を再送信します。再試行回数に達すると要求は失敗します。これは、プロデューサーの不要な再試行のよるメッセージの重複の可能性を下げるために ​replica.lag.time.max.ms​ (ブローカー設定) よりも長くする必要があります。

30

Enumeration (列挙)。次のいずれかになります。

要求のタイムアウト時間単位。

SECONDS

TLS

Mule アプリケーションの通信を保護するためにクライアント側とサーバー側の両方から使用できる TLS の設定を定義します。HTTPS プロトコルを使用すると、HTTP 通信が TLS または SSL を使用して保護されます。プロトコルとして HTTPS が設定されている場合、ユーザーは ​listener-config​ の ​tls:context​ 子要素で少なくともキーストアを設定する必要があります。

String (文字列)

クライアントがサーバーのホスト名を検証するために使用するエンドポイント識別アルゴリズム。デフォルト値は空の文字列です。つまり、アルゴリズムは無効になっています。クライアント (ブローカーによって作成されたブローカー間の通信のクライアント接続を含む) はブローカーのホスト名がブローカーの証明書のホスト名と一致していることを確認します。

Reconnection (再接続)

アプリケーションがデプロイされると、すべてのコネクタで接続テストが実行されます。​true​ に設定されている場合、関連する再接続戦略をすべて実行した後にテストに合格しないと、デプロイメントが失敗します。

Array of String (文字列の配列)

Kafka クラスターとの接続をブートストラップするサーバーのリスト。これは、使用可能なサーバーの部分的なリストになる場合があります。

x

String (文字列)

クライアントがサーバーのホスト名を検証するために使用するエンドポイント識別アルゴリズム。デフォルト値は空の文字列です。つまり、アルゴリズムは無効になっています。クライアント (ブローカーによって作成されたブローカー間の通信のクライアント接続を含む) は、ブローカーのホスト名がブローカーの証明書のホスト名と一致していることを確認します。

Number (数値)

複数のレコードが同じパーティションに送信される場合、プロデューサーはレコードをより少ない要求にまとめようとします。これは、クライアントとサーバーの両方のパフォーマンスに寄与します。このパラメーターでは、デフォルトのバッチサイズをバイト単位で制御します。このサイズより大きなレコードはまとめられません。

ブローカーに送信される要求には、送信可能なデータが含まれるバッチがあり、1 つのバッチは各パーティションに対応します。バッチサイズが小さいと、一括処理の頻度が高くなり、スループットが低下する可能性があります。バッチサイズが 0 の場合、一括処理は完全に無効になります。コネクタはレコードが追加されることを想定して指定のバッチサイズのバッファを割り当てるため、バッチサイズが非常に大きいと、メモリの使用効率が下がる可能性があります。

16

Enumeration (列挙)。次のいずれかになります。

バッチサイズスカラーの測定単位。

KB

Number (数値)

サーバーに送信されるのを待機しているレコードをバッファするためにプロデューサーが使用できるメモリの合計バイト。配信できるようになる前にレコードが送信されると、プロデューサーは ​max.block.ms​ の間ブロックされ、この期間が経過すると例外がスローされます。通常、この設定はプロデューサーが使用する合計メモリに対応しますが、プロデューサーが使用するメモリはバッファに使用されないこともあります。プロデューサーは、追加メモリを圧縮 (有効になっている場合) やインフライト要求の管理に使用します。

Kafka のデフォルト値は ​33554432​ (32MB) ですが、CloudHub (v0.1 コア) の Mule インスタンスの想定値に合わせてこの値に上限を設定する必要があります。

1000

Enumeration (列挙)。次のいずれかになります。

最大要求サイズスカラーの測定単位。

KB

Enumeration (列挙)。次のいずれかになります。

クライアントによる DNS ルックアップの使用方法を制御します。

DEFAULT

Enumeration (列挙)。次のいずれかになります。

プロデューサーによって生成されるすべてのデータの圧縮種別。デフォルトは圧縮なしです。圧縮は、データのバッチ全体に対して実行されるため、一括処理の効率性も圧縮率に影響します。一括処理の量が多いほど、圧縮率が高くなります。

None (なし)

Number (数値)

このパラメーターで指定ざれた値が経過すると、アイドル接続が終了します。

540

Enumeration (列挙)。次のいずれかになります。

接続の最大アイドルスカラーの時間単位。

SECONDS

Number (数値)

send()​ へのコールが返されてから成功または失敗をレポートするまでの時間の上限。これにより、レコードの送信前の合計遅延時間、ブローカーからの肯定応答を待機する時間 (必要な場合)、失敗した送信を再試行できる時間が制限されます。回復不能なエラーが発生した場合、再試行回数に達した場合、以前の配信期限に達したバッチにレコードが追加された場合、プロデューサーは、この値以内にレコードを送信できなかったことをレポートする可能性があります。この値は、​request.timeout.ms​ と ​linger.ms​ の合計以上にする必要があります。

120

Enumeration (列挙)。次のいずれかになります。

配信タイムアウトスカラーの時間単位を決定します。

SECONDS

Boolean (ブール)

true​ に設定すると、プロデューサーはメッセージごとに 1 つのコピーストリームに書き込まれるようにします。​false​ に設定すると、プロデューサーはブローカーが失敗した場合などに再試行するため、再試行されたメッセージが重複してストリームに書き込まれる可能性があります。冪等性を有効にする場合、​max.in.flight.requests.per.connection​ の値を ​5​ 以下、再試行回数を ​0​ より大きく、肯定応答を ​all​ にする必要があります。これらの値を明示的に設定しない場合、適切な値が選択されます。互換性のない値が設定されると、ConnectionException がスローされます。

false

Number (数値)

プロデューサーは、要求トランスミッション間に到着するレコードを 1 つのバッチ要求にグループ化します。通常、これは負荷時 (送信できるようになる前にレコードが到着したとき) に発生します。ただし、クライアントはそれほど負荷がかかっていなくても要求の数を削減したい場合があります。

この設定では、レコードの送信を人為的にわずかに遅延させます。プロデューサーは、レコードをまとめることができるようにレコードをすぐに送信せずに指定された遅延が経過するまで待機し、他のレコードの送信を許可します。これは TCP の Nagle アルゴリズムに似ています。この設定により、一括処理の遅延に上限が設定されます。コネクタは、パーティションの ​batch.size​ 分のレコードを受信すると、この設定に関係なくすぐにバッチを送信します。

この設定のデフォルトは ​0​ (遅延なし) です。たとえば、​linger.ms=5​ を設定すると、送信される要求数は減りますが、負荷がないときに送信されたレコードにも 5ms のレイテンシーが追加されます。

0

Enumeration (列挙)。次のいずれかになります。

延長時間スカラーの時間単位。

SECONDS

Number (数値)

KafkaProducer.send()​ および ​KafkaProducer.partitionsFor()​ をブロックできる時間を指定します。これらのメソッドは、バッファがフルの場合や、ユーザー指定のシリアライザーまたはパーティショナーの ​unavailable.Blocking​ メタデータがこのタイムアウトに反映される場合にブロックされる可能性があります。

60

Enumeration (列挙)。次のいずれかになります。

最大ブロック時間スカラーの時間単位。

SECONDS

Number (数値)

ブロックされる前に 1 つの接続でクライアントが送信する肯定応答されていない要求の最大数。値が ​1​ より大きく、失敗した送信があると、再試行 (有効になっている場合) によってメッセージが並び替えられる可能性があります。

5

Number (数値)

要求の最大サイズ (バイト)。この設定により、プロデューサーが 1 つの要求で送信するレコードバッチ数が制限されます。これは実質的に最大レコードバッチサイズの上限になります。サーバーのレコードバッチサイズの上限がこの値とは異なる場合もあります。

1

Enumeration (列挙)。次のいずれかになります。

最大要求サイズスカラーの測定単位。

MB

Enumeration (列挙)。次のいずれかになります。

プロデューサーで要求が完了したとみなされるためにリーダーが受信する必要のあるに肯定応答の数。この設定では、送信されるレコードの永続性を制御します。

None (なし)

Number (数値)

データを読み込むときに使用する TCP 受信バッファのサイズ (​SO_RCVBUF​)。値が ​-1​ の場合、OS のデフォルトが使用されます。このパラメーターはソースレベルで上書きできます。

64

Enumeration (列挙)。次のいずれかになります。

受信バッファサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

KB

Number (数値)

0 より大きな値を設定すると、クライアントは一時的なエラーで送信に失敗した可能性のあるレコードを再送信します。この再試行は、エラーが発生したときにクライアントにレコードを再送信させる場合と同じです。​max.in.flight.requests.per.connection​ を ​1​ に設定せずに再試行できるようにすると、次の場合にレコードの順序が変更される可能性があります。

1

Enumeration (列挙)。次のいずれかになります。

再試行バックオフタイムアウト時間スカラーの時間単位。

MILLISECONDS

Number (数値)

特定のトピックパーティションに対して失敗した要求を再試行するまでの待機時間。これにより、一部の失敗シナリオの緊密なループで繰り返し要求が送信されることを回避できます。

100

Number (数値)

データを送信するときに使用する TCP 送信バッファ (​SO_SNDBUF​) のサイズ。値が ​-1​ の場合、OS のデフォルトが使用されます。このパラメーターはソースレベルで上書きできます。

128

Enumeration (列挙)。次のいずれかになります。

送信バッファサイズスカラーの測定単位。このパラメーターはソースレベルで上書きできます。

KB

Enumeration (列挙)。次のいずれかになります。

要求タイムアウト時間スカラーの時間単位。

SECONDS

Number (数値)

クライアントが要求の応答を待機する最大時間。タイムアウトが経過する前に応答を受信できない場合、クライアントは必要に応じて要求を再送信します。再試行回数に達すると要求は失敗します。この値は、プロデューサーの不要な再試行のよるメッセージの重複の可能性を下げるために ​replica.lag.time.max.ms​ (ブローカー設定) よりも長くする必要があります。

30

TLS

通信に使用するプロトコル。有効な値は HTTP (デフォルト) と HTTPS です。HTTPS を使用すると、HTTP 通信が TLS または SSL を使用して保護されます。プロトコルとして HTTPS が設定されている場合、ユーザーはこの ​listener-config​ の ​tls:context​ 子要素で少なくともキーストアを設定する必要があります。

String (文字列)

クライアントが Kafka ブローカーに接続するときに使用するユーザー。

x

String (文字列)

クライアントが Kafka ブローカーに接続するときに使用するパスワード。

x

Reconnection (再接続)

アプリケーションがデプロイされると、すべてのコネクタで接続テストが実行されます。true に設定されている場合、関連する再接続戦略をすべて実行した後にテストに合格しないと、デプロイメントが失敗します。