SASのデータ専門家による合成データの外部評価

対象データとしては、「チャーン」予測に使用される通信データを使用しました。評価の目的は、合成データを使用してさまざまなチャーン予測モデルをトレーニングし、各モデルのパフォーマンスを評価することでした。チャーン予測は分類タスクであるため、SAS は予測を行うために次のような一般的な分類モデルを選択しました。

1. ランダムフォレスト
2. 勾配ブースティング
3. ロジスティック回帰
4. ニューラルネットワーク

合成データを生成する前に、SASはテレコムデータセットをトレインセット（モデルのトレーニング用）とホールドアウトセット（モデルのスコアリング用）にランダムに分割します。 スコアリング用に個別のホールドアウトセットを設定すると、新しいデータに適用したときに分類モデルがどの程度うまくいくかを公平に評価できます。

Syntho は、トレイン セットを入力として使用し、Syntho エンジンを使用して合成データセットを生成しました。ベンチマークのために、SAS はさまざまな匿名化技術を適用して (k-匿名性の) 特定のしきい値に達した後、トレインセットの匿名化バージョンも作成しました。前の手順により、次の 4 つのデータセットが作成されました。

1. トレインデータセット（つまり、元のデータセットからホールドアウトデータセットを引いたもの）
2. ホールドアウトデータセット（つまり、元のデータセットのサブセット）
3. 匿名化されたデータセット (トレイン データセットの匿名化されたデータ、元のデータセットからホールドアウト データセットを差し引いたもの)
4. 合成データセット (トレイン データセットの合成データ、元のデータセットからホールドアウト データセットを差し引いたもの)

データセット 1、3、および 4 を使用して各分類モデルをトレーニングし、12 (3 x 4) のトレーニング済みモデルが得られました。 SAS はその後、ホールドアウト データセットを使用して、顧客離れの予測における各モデルの精度を測定しました。

SAS は、Syntho の AI によって生成された合成データを元のデータと比較して、データの精度、プライバシー保護、使いやすさに関してさまざまな徹底的な評価を実施します。結論として、SAS は、Syntho の合成データが元のデータと比較して正確で、安全で、使用可能であると評価し、承認しました。