トークナイゼーション形式

トークナイゼーション形式により、トークンの作成時に受信データの元の形式が設定した形式にどのように変換されるのかが定義されます。 たとえば、トークンが元のデータソースのように見えるように指定したり、文字列全体をトークナイズするのか、一部の文字列をトークナイズするのかを指定したりできます。

トークナイゼーション形式を作成​し、データドメインを選択する場合、​​設定オプション​が提供されます。

サポートされるデータドメイン

データドメイン 説明

Credit card number (クレジットカード番号)

長さに特殊な制限のある数値。限定的な可変文字セットが許可される Luhn チェックサム。先頭と末尾の「n」桁が保持され、無効な桁が適用されます。

Decimal (10 進数)

任意の長さの 10 進数。先頭と末尾の「n」桁が保持され、無効な桁が適用されます。

Lax decimal (可変 10 進数)

可変文字が許可される任意の長さの 10 進数。先頭と末尾の「n」桁が保持され、無効な桁が適用されます。

Social security number (社会保障番号)

特殊なサブコンポーネントの制限がある 9 桁の 10 進数。限られた数の可変文字 (非 10 進数) が許可されます。シリアル番号部分が保持され、無効な桁が適用されます。

Email address (メールアドレス)

ローカル部分 (Radix = 83) とドメイン部分 (Radix = 64) に個別の制限がある複雑なドメイン。

Printable ASCII (印刷可能な ASCII)

Unicode 番号 (整数) 32 ~ 126 (A ~ Z、a ~ z、0 ~ 9、スペース、二重引用符) の UTF-8 文字と ! # $ % & '( ) * + , - . / : ; < = > ? @ [ \ ] ^ _ ` ​{ }​ ~ の特殊文字のサブセット。 この形式では、先頭と末尾の「n」文字が保持されます。

Lax alphanumeric (可変英数字)

難読化されるが可変文字が許可される大文字のラテン文字、小文字のラテン文字、10 進数の文字。先頭と末尾の「n」桁が保持されます。

Lax uppercase/lowercase/decimal - Preserving (可変大文字/小文字/10 進数 - 保持)

クリアテキストの大文字のラテン文字は、難読化されたテキストでも大文字のラテン文字のままになります。クリアテキストの小文字のラテン文字は、難読化されたテキストでも小文字のラテン文字のままになります。クリアテキストの 10 進数は、難読化されたテキストでも 10 進数のままになります。その他のすべての文字は、可変文字として処理されます。先頭と末尾の「n」文字が保持されます。

Lax uppercase/decimal - Preserving (可変大文字/10 進数 - 保持)

クリアテキストの大文字のラテン文字は、難読化されたテキストでも大文字のラテン文字のままになります。クリアテキストの 10 進数は、難読化されたテキストでも 10 進数のままになります。その他のすべての文字は、可変文字として処理されます。先頭と末尾の「n」文字が保持されます。

Lax lowercase/decimal - Preserving (可変小文字/10 進数 - 保持)

クリアテキストの小文字のラテン文字は、難読化されたテキストでも小文字のラテン文字のままになります。クリアテキストの 10 進数は、難読化されたテキストでも 10 進数のままになります。その他のすべての文字は、可変文字として処理されます。先頭と末尾の「n」文字が保持されます。

データドメイン設定オプション

オプション 説明 データドメイン

Preserve first characters (先頭の文字を保持)

トークナイズしない、元の文字列の文字数を定義します。保持する先頭の桁数の値を入力します。例: ​4​。

  • Credit card (クレジットカード)

  • Decimal (10 進数)

  • Lax decimal (可変 10 進数)

  • Lax alphanumeric (可変英数字)

  • Printable ASCII (印刷可能な ASCII)

  • Lax uppercase/lowercase/decimal - Preserving (可変大文字/小文字/10 進数 - 保持)

  • Lax uppercase/decimal - Preserving (可変大文字/10 進数 - 保持)

  • Lax lowercase/decimal - Preserving (可変小文字/10 進数 - 保持)

Preserve last characters (末尾の文字を保持)

保持する末尾の桁数の値を入力します。例: ​4​。
先頭と末尾にそれぞれサンプル値 ​4​ を使用すると、元の文字列の先頭の 4 桁と末尾の 4 桁が保持され、その間のすべてがトークナイズされます。

  • Credit card number (クレジットカード番号)

  • Decimal (10 進数)

  • Lax decimal (可変 10 進数)

  • Lax alphanumeric (可変英数字)

  • Printable ASCII (印刷可能な ASCII)

  • Lax uppercase/lowercase/decimal - Preserving (可変大文字/小文字/10 進数 - 保持)

  • Lax uppercase/decimal - Preserving (可変大文字/10 進数 - 保持)

  • Lax lowercase/decimal - Preserving (可変小文字/10 進数 - 保持)

Force token characters in illegal range (トークン文字を無効な範囲に適用)

たとえば、CCN ​1234567890123456​ がある場合、​[Preserve characters (文字を保持)]​ オプションを設定して末尾の 4 桁を保持し、左からのオフセット 2 で無効な 1 桁を適用すると、生成されるトークンは ​54D3210987653456​ のようになります。

1 桁の 10 進数がラテンアルファベット文字の範囲にマップされます。

データを無効にする必要があるのは 1 文字のみであるため (文字 A を社会保障番号に追加するなど)、無効な文字は 2 文字に制限されています。無効な文字を追加すると、トークナイズされるデータのランダマイズに使用できる桁数が減少します。
  • Credit card number (クレジットカード番号)

  • Decimal (10 進数)

  • Social security number (社会保障番号)

Luhn digit test (Luhn 数値テスト)

このオプションは、クレジットカード番号データドメイン専用です。Luhn チェックサム数式を使用して、元のデータに含まれている数値を検証します。オプションは次のとおりです。

  • Disabled (無効)

  • Generated token must pass Luhn test (生成されたトークンは Luhn テストに合格する必要がある)

  • Generated token must fail Luhn test (生成されたトークンは Luhn テストに失敗する必要がある)

Credit card number (クレジットカード番号)

Maximum token length (最大トークン長)

生成されるトークンの最大桁数の値を入力します。

  • Decimal (10 進数)

  • Lax decimal (可変 10 進数)

  • Email address (メールアドレス)

  • Lax alphanumeric (可変英数字)

  • Printable ASCII (印刷可能な ASCII)

  • Lax uppercase/lowercase/decimal - Preserving (可変大文字/小文字/10 進数 - 保持)

  • Lax uppercase/decimal - Preserving (可変大文字/10 進数 - 保持)

  • Lax lowercase/decimal - Preserving (可変小文字/10 進数 - 保持)

Preserve serial number sub-component (シリアル番号のサブコンポーネントを保持)

このオプションは、社会保障データドメイン専用です。

Social security number (社会保障番号)

Was this article helpful?

💙 Thanks for your feedback!

Edit on GitHub