עוואַלואַטינג נוצן און געראָטנקייַט אין סינטעטיש דאַטאַ גענעראַטאָרס: אַ טעכניש טיף ונטערטוקנ זיך און קאָמפּאַראַטיווע אַנאַליסיס
הקדמה
אין הייַנט ס דיגיטאַל טקופע, די וויסיקייַט פון דאַטן פּריוואַטקייט איז באטייטיק כייטאַנד. יוזערז ינקריסינגלי דערקענען זייער דאַטן ווי אַ יינציק דיגיטאַל פינגערפּרינט, פּאָוזינג אַ ריזיקירן פֿאַר זייער פּריוואַטקייט אין די געשעעניש פון דאַטן בריטשיז. די דייַגע איז נאָך אַמפּלאַפייד דורך רעגיאַליישאַנז ווי GDPR, וואָס ימפּאַוער יוזערז צו בעטן די דילישאַן פון זייער דאַטן. כאָטש עס איז פיל נויטיק, די געסעצ - געבונג קען זיין זייער טייַער פֿאַר קאָמפּאַניעס ווייַל אַקסעס צו דאַטן איז מינאַמייזד; ריסטריקשאַנז וואָס זענען אָפט צייט- און מיטל-קאַנסומינג צו באַקומען.
טיש פון קאָנטענץ
וואָס זענען סינטעטיש דאַטן גענעראַטאָרס?
אַרייַן סינטעטיש דאַטן, אַ לייזונג צו דעם קאַנאַנדראַם. סינטעטיש דאַטן גענעראַטאָרס שאַפֿן דאַטאַסעץ וואָס נאָכקרימען פאַקטיש באַניצער דאַטן בשעת פּראַזערווינג אַנאָנימיטי און קאַנפאַדענשיאַלאַטי. דער צוגאַנג איז גיינינג טראַקשאַן אַריבער ינדאַסטריז, פון כעלטקער צו פינאַנצן, ווו פּריוואַטקייט איז העכסט.
ווי צו קלייַבן די רעכט סינטעטיש דאַטן דור?
אין די דייווערס לאַנדשאַפט פון סינטעטיש דאַטן דור, עס איז אַ שעפע פון מעטהאָדס בנימצא, יעדער וויינג פֿאַר ופמערקזאַמקייט מיט זיין יינציק קייפּאַבילאַטיז. טשאָאָסינג די מערסט פּאַסיק אופֿן פֿאַר אַ באַזונדער אַפּלאַקיישאַן ריקווייערז אַ גרונטיק פארשטאנד פון די פאָרשטעלונג קעראַקטעריסטיקס פון יעדער אָפּציע. דאָס דאַרף אַ פולשטענדיק אפשאצונג פון פאַרשידן סינטעטיש דאַטן גענעראַטאָרס באזירט אויף אַ גאַנג פון געזונט-דיפיינד מעטריקס צו מאַכן אַ ינפאָרמד באַשלוס.
וואָס גייט איז אַ שטרענג קאָמפּאַראַטיווע אַנאַליסיס פון די סינטהאָ ענגינע צוזאמען מיט אַ באַוווסט אָפֿן-מקור פריימווערק, די סינטעטיש דאַטאַ וואָלט (SDV). אין דעם אַנאַליסיס, מיר געוויינט פילע קאַמאַנלי געוויינט מעטריקס אַזאַ ווי סטאַטיסטיש פאַדעלאַטי, פּרידיקטיוו אַקיעראַסי און ינטער-פאַרשיידנקייט שייכות.
סינטעטיש דאַטאַ עוואַלואַטיאָן מעטריקס
איידער ינטראָודוסינג קיין ספּעציפיש מעטריק, מיר מוזן באַשטעטיקן אַז עס זענען פילע יידיאַלאַדזשיז וועגן יוואַליויישאַן פון סינטעטיש דאַטן, יעדער פון וואָס גיט ינסייט אין אַ זיכער אַספּעקט פון דאַטן. מיט דעם אין זינען, די פאלגענדע דריי קאַטעגאָריעס שטייען ווי וויכטיק און פולשטענדיק. די מעטריקס צושטעלן ינסייץ אין פאַרשידן אַספּעקץ פון דאַטן קוואַליטעט. די קאטעגאריעס זענען:
- סטאַטיסטיש פידעליטי מעטריקס: ונטערזוכן יקערדיק סטאַטיסטיש פֿעיִקייטן פון די דאַטן, ווי מיטל און דיפעראַנסיז, צו ענשור אַז די סינטעטיש דאַטן אַליינז מיט די סטאַטיסטיש פּראָפיל פון דער אָריגינעל דאַטאַסעט.
- פּרידיקטיוו אַקיעראַסי: דורכקוקן פאָרשטעלונג פון סינטעטיש דאַטן דור מאָדעל, טריינד מיט אָריגינעל דאַטן, און עוואַלואַטעד אויף סינטעטיש דאַטן (באַן רעאַל - טעסט סינטעטיש, TRTS) און וויצע ווערסאַ (באַן סינטעטיש - טעסט רעאַל, TSTR)
- ינטער-וואַריאַבלע באַציונגען: די קאַמביינד קאַטעגאָריע כולל:
- פֿעיִקייטן קאָראַליישאַן: מיר אַססעסס ווי געזונט די סינטעטיש דאַטן מיינטיינז די שייכות צווישן וועריאַבאַלז ניצן קאָראַליישאַן קאָואַפישאַנץ. א באוווסטער מעטריק ווי די פּראַפּענסיטי מיטל סקוואַרעד טעות (PMSE) וואָלט זיין פון דעם טיפּ.
- קעגנצייַטיק אינפֿאָרמאַציע: מיר מעסטן די קעגנצייַטיק דיפּענדאַנסיז צווישן וועריאַבאַלז צו פֿאַרשטיין די טיפקייַט פון די באציונגען ווייַטער פון נאָר קאָראַליישאַנז.
קאָמפּאַראַטיווע אַנאַליסיס: סינטהאָ ענגינע ווס עפֿן מקור אַלטערנאַטיוועס
די קאָמפּאַראַטיווע אַנאַליסיס איז געווען געפירט מיט אַ סטאַנדערדייזד יוואַליואַטיוו פריימווערק און יידעניקאַל טעסטינג טעקניקס אין אַלע מאָדעלס, אַרייַנגערעכנט Syntho Engine און SDV מאָדעלס. דורך סינטאַסייזינג דאַטאַסעץ פון יידעניקאַל קוואלן און אונטערטעניק זיי צו די זעלבע סטאַטיסטיש טעסץ און מאַשין לערנען מאָדעל אַסעסמאַנץ, מיר ענשור אַ שיין און אַנבייאַסט פאַרגלייַך. דער אָפּטיילונג וואָס גייט דיטיילד די פאָרשטעלונג פון יעדער סינטעטיש דאַטן גענעראַטאָר איבער די קייט פון מעטריקס דערלאנגט אויבן.
ווי פֿאַר די דאַטאַסעט געניצט פֿאַר די אפשאצונג, מיר געוויינט די UCI אַדאַלט ס סענסוס דאַטאַסעט וואָס איז אַ באַוווסט דאַטאַסעט אין די מאַשין לערנען קהל. מיר קלינד די דאַטן איידער אַלע טריינינג און דעמאָלט שפּאַלטן די דאַטאַסעט אין צוויי שטעלט (אַ טריינינג און אַ האָלדאַוט שטעלן פֿאַר טעסטינג). מיר געוויינט די טריינינג שטעלן צו דזשענערייט 1 מיליאָן נייַ דאַטאַפּאָינץ מיט יעדער פון די מאָדעלס און עוואַלואַטעד פאַרשידן מעטריקס אויף די דזשענערייטאַד דאַטאַסעץ. פֿאַר ווייַטער יוואַליויישאַנז פון מאַשין לערנען, מיר געוויינט די האָלדאַוט שטעלן צו אָפּשאַצן מעטריקס אַזאַ ווי די שייַכות צו TSTR און TRTS.
יעדער גענעראַטאָר איז לויפן מיט פעליקייַט פּאַראַמעטערס. ווי עטלעכע פון די מאָדעלס, ווי Syntho, קענען אַרבעטן אויס-פון-דעם-קעסטל אויף קיין טאַבולאַר דאַטן, קיין פיין טונינג איז דורכגעקאָכט. זוכן פֿאַר די רעכט כייפּערפּאַראַמאַטערז פֿאַר יעדער מאָדעל וואָלט נעמען אַ באַטייטיק סומע פון צייט, און טיש 2 ווייזט שוין אַ גרויס צייט חילוק צווישן Syntho ס מאָדעל און די טעסטעד קעגן.
עס איז נאָוטווערדי אַז ווי קעגן צו די רעשט פון די מאָדעלס אין SDV, די Gaussian Copula Synthesizer איז באזירט אויף סטאַטיסטיש מעטהאָדס. אין קאַנטראַסט, די מנוחה זענען באזירט אויף נעוראַל נעטוואָרקס אַזאַ ווי גענעראַטיווע אַדווערסאַריאַל נעטוואָרקס (GAN) מאָדעלס און ווערייישאַן אַוטאָ ענקאָדערס. דאָס איז וואָס Gaussian Copula קענען זיין געזען ווי אַ באַסעלינע פֿאַר אַלע די דיסקאַסט מאָדעלס.
רעזולטאַטן
Data Quality
פיגורע 1. וויסואַליזאַטיאָן פון יקערדיק קוואַליטעט רעזולטאַטן פֿאַר אַלע מאָדעלס
די פריער דיסקאַסט אַדכיראַנסאַז צו טרענדס און רעפּראַזאַנטיישאַנז אין די דאַטן קענען זיין געפֿונען אין פיגורע 1 און טאַבלע 1. דאָ, יעדער פון די מעטריקס אין נוצן קענען זיין ינטערפּראַטאַד ווי גייט:
- קוילעלדיק קוואַליטי כעזשבן: קוילעלדיק אַסעסמאַנט פון די קוואַליטעט פון סינטעטיש דאַטן, קאַמביינינג פאַרשידן אַספּעקץ ווי סטאַטיסטיש ענלעכקייט און דאַטן קעראַקטעריסטיקס.
- זייַל שאַפּעס: אַססעסס צי די סינטעטיש דאַטן האלט די זעלבע פאַרשפּרייטונג פאָרעם ווי די פאַקטיש דאַטן פֿאַר יעדער זייַל.
- זייַל פּאָר טרענדס: עוואַלואַטעס שייכות אָדער קאָראַליישאַנז צווישן פּערז פון שפאלטן אין סינטעטיש דאַטן קאַמפּערד מיט פאַקטיש דאַטן.
קוילעלדיק, עס קענען זיין באמערקט אַז Syntho אַטשיווז זייער הויך סקאָרז איבער די ברעט. צו אָנהייבן מיט, ווען איר זוכט אין די קוילעלדיק דאַטן קוואַליטעט (עוואַלואַטעד מיט די SDV מעטריק ביבליאָטעק), Syntho קענען דערגרייכן אַ רעזולטאַט אַפּווערדז פון 99% (מיט זייַל פאָרעם אַדכיראַנס פון 99.92% און זייַל פּאָר פאָרעם אַדכיראַנס פון 99.31%). דאָס איז בשעת SDV באַקומען אַ רעזולטאַט פון מאַקסימום 90.84% (מיט Gaussian Copula, מיט אַ זייַל פאָרעם אַדכיראַנס פון 93.82% און זייַל פּאָר פאָרעם אַדכיראַנס פון 87.86%).
טיש 1. א טאַבלע פאַרטרעטונג פון די קוואַליטעט סקאָרז פון יעדער דזשענערייטאַד דאַטאַסעט פּער מאָדעל
דאַטאַ קאַווערידזש
די דיאַגנאָסיס באריכט מאָדולע פון SDV ברענגען צו אונדזער ופמערקזאַמקייַט אַז SDV-דזשענערייטאַד דאַטן (אין אַלע קאַסעס) פעלנדיק מער ווי 10% פון די נומעריק ריינדזשאַז; אין דעם פאַל פון טריפּלעט-באַזירט ווערייאַטיאָנאַל אַוטאָענקאָדער (TVAE), די זעלבע סומע פון קאַטאַגאָריקאַל דאַטן זענען אויך פעלנדיק ווען קאַמפּערד מיט דער אָריגינעל דאַטאַסעט. ניט אַזאַ וואָרנינגז זענען דזשענערייטאַד מיט די רעזולטאַטן אַטשיווד דורך ניצן סינטהאָ.
פיגורע 2. וויזשוואַלאַזיישאַן פון דורכשניטלעך זייַל-קלוג פאָרשטעלונג מעטריקס פֿאַר אַלע מאָדעלס
אין די קאָמפּאַראַטיווע אַנאַליסיס, די פּלאַנעווען פון פיגורע 2 ילאַסטרייץ אַז SDV אַרקייווז מאַרדזשאַנאַלי בעסער רעזולטאַטן אין קאַטעגאָריע קאַווערידזש מיט עטלעכע פון זייער מאָדעלס (ניימלי מיט GaussianCopula, CopulaGAN און קאָנדיטיאָנאַל טאַבולאַר GAN - CTGAN). פונדעסטוועגן, עס איז וויכטיק צו הויכפּונקט אַז די רילייאַבילאַטי פון Syntho ס דאַטן יקסידז די פון SDV מאָדעלס, ווייַל די דיסקרעפּאַנסי אין קאַווערידזש צווישן קאַטעגאָריעס און ריינדזשאַז איז מינימאַל, מיט בלויז 1.1% וועריאַנס. אין קאַנטראַסט, SDV מאָדעלס באַווייַזן אַ היפּש ווערייישאַן, ריינדזשינג פון 14.6% צו 29.2%.
די רעפּריזענטיד מעטריקס דאָ, קענען זיין ינטערפּראַטאַד ווי גייט:
- קאַטעגאָריע קאַווערידזש: מעסטן די בייַזייַן פון אַלע קאַטעגאָריעס אין סינטעטיש דאַטן קאַמפּערד מיט פאַקטיש דאַטן.
- קייט קאַווערידזש: עוואַלואַטעס ווי געזונט די קייט פון וואַלועס אין סינטעטיש דאַטן גלייַכן אַז אין פאַקטיש דאַטן.
טיש 2. א טאַבלע פאַרטרעטונג פון די דורכשניטלעך קאַווערידזש פון אַ געגעבן אַטריביוט טיפּ פּער מאָדעל
נוצן
צו די טעמע פון די נוצן פון סינטעטיש דאַטן, די ענין פון טריינינג מאָדעלס אויף די דאַטן ווערט באַטייַטיק. צו האָבן אַ באַלאַנסט און שיין פאַרגלייַך צווישן אַלע פראַמעוואָרקס, מיר האָבן אויסדערוויילט די פעליקייַט גראַדיענט באָאָסטינג קלאַססיפיער פון די SciKit Learn ביבליאָטעק, ווייַל עס איז גאַנץ אנגענומען ווי אַ געזונט-פּערפאָרמינג מאָדעל מיט אויס-פון-דעם-קעסטל סעטטינגס.
צוויי פאַרשידענע מאָדעלס זענען טריינד, איינער אויף סינטעטיש דאַטן (פֿאַר TSTR) און איינער אויף אָריגינעל דאַטן (פֿאַר TRTS). דער מאָדעל טריינד אויף די סינטעטיש דאַטן איז עוואַלואַטעד דורך ניצן אַ האָלדאַוט פּרובירן שטעלן (וואָס איז נישט געניצט בעשאַס סינטעטיש דאַטן דור) און דער מאָדעל טריינד אויף אָריגינעל דאַטן איז טעסטעד אויף די סינטעטיש דאַטאַסעט.
פיגורע 3. וויסואַליזאַטיאָן פון שטח אונטער די ויסבייג (AUC) סקאָרז פּער אופֿן פּער מאָדעל
די רעזולטאַטן וויזשוואַלייזד אויבן באַווייַזן די העכערקייַט פון סינטעטיש דאַטן דור דורך די סינטהאָ מאָטאָר קאַמפּערד מיט אנדערע מעטהאָדס, ווייַל עס איז קיין חילוק צווישן די רעזולטאַטן באקומען דורך די פאַרשידענע מעטהאָדס (ווייַזנדיק צו אַ הויך ענלעכקייט צווישן די סינטעטיש און פאַקטיש דאַטן). אויך, די רויט דאַטיד שורה פאָרשטעלן אין די פּלאַנעווען איז דער רעזולטאַט באקומען דורך יוואַליוייטינג די באַזע פאָרשטעלונג פון אַ באַן רעאַל, טעסט רעאַל (TRTR) פּרובירן צו צושטעלן אַ באַסעלינע פֿאַר די באמערקט מעטריקס. די שורה רעפּראַזענץ די ווערט 0.92, וואָס איז די שטח אונטער די קורווע כעזשבן (AUC כעזשבן) אַטשיווד דורך די מאָדעל טריינד אויף פאַקטיש דאַטן און טעסטעד אויף פאַקטיש דאַטן.
טיש 3. א טאַבלע פאַרטרעטונג פון די AUC סקאָרז אַטשיווד דורך TRTS און TSTR ריספּעקטיוולי פּער מאָדעל.
צייט-קלוג פאַרגלייַך
געוויינטלעך, עס איז קריטיש צו באַטראַכטן די צייט ינוועסטאַד אין דזשענערייטינג די רעזולטאַטן. די וויזשוואַלאַזיישאַן אונטן ילאַסטרייץ פּונקט דעם.
פיגורע 5. וויסואַליזאַטיאָן פון די צייט גענומען צו באַן און דורכפירן סינטעטיש דאַטן דור פון אַ מיליאָן דאַטאַפּאָינץ מיט אַ מאָדעל מיט און אָן אַ גפּו.
פיגורע 5 ילאַסטרייץ די צייט גענומען צו דזשענערייט סינטעטיש דאַטן אין צוויי פאַרשידענע סעטטינגס. דער ערשטער פון וואָס (דאָ ריפערד צו ווי אָן גפּו), זענען פּראָבע ראַנז לויפן אויף סיסטעם מיט אַן Intel Xeon קפּו מיט 16 קאָרעס פליסנדיק ביי 2.20 GHz. די טעסץ אנגעצייכנט ווי "לויפן מיט אַ גפּו" זענען געווען אויף אַ סיסטעם מיט אַ AMD Ryzen 9 7945HX קפּו מיט 16 קאָרעס פליסנדיק ביי 2.5GHz און אַ NVIDIA GeForce RTX 4070 לאַפּטאָפּ גפּו. ווי באמערקט אין פיגורע 2 און אין טאַבלע 2 אונטן, עס קענען זיין באמערקט אַז סינטהאָ איז פיל פאַסטער ביי דזשענערייטינג סינטעטיש דאַטן (אין ביידע סינעריאָוז) וואָס איז קריטיש אין אַ דינאַמיש וואָרקפלאָוו.
טאַבלע 5. א טאַבלע פאַרטרעטונג פון די צייט גענומען צו סינטעטיש דאַטן דור פון אַ מיליאָן דאַטאַפּאָינץ מיט יעדער מאָדעל מיט און אָן אַ גפּו
די פיינדינגז ונטערשטרייַכן די וויכטיקייט פון אַ גרונטיק קוואַליטעט אפשאצונג אין טשוזינג די רעכט סינטעטיש דאַטן דור אופֿן. Syntho's Engine, מיט זיין אַי-געטריבן צוגאַנג, דעמאַנסטרייץ נאָוטווערדי סטרענגקטס אין זיכער מעטריקס, בשעת אָפֿן-מקור מכשירים ווי SDV שייַנען אין זייער ווערסאַטילאַטי און קהל-געטריבן ימפּרווומאַנץ.
ווי די פעלד פון סינטעטיש דאַטן האלט צו יוואַלוו, מיר מוטיקן איר צו צולייגן די מעטריקס אין דיין פּראַדזשעקס, ויספאָרשן זייער ינטראַקאַסיז און טיילן דיין יקספּיריאַנסיז. בלייבן טונד פֿאַר צוקונפֿט אַרטיקלען ווו מיר וועלן ונטערטוקנ זיך דיפּער אין אנדערע מעטריקס און הויכפּונקט פאַקטיש ביישפילן פון זייער אַפּלאַקיישאַן.
אין די סוף פון די טאָג, פֿאַר יענע וואָס זוכן צו פּרובירן די וואַסער אויף סינטעטיש דאַטן, די דערלאנגט אָפֿן-מקור אַלטערנאַטיווע קענען זיין אַ גערעכטפארטיקט ברירה געגעבן אַקסעסאַביליטי; אָבער, פֿאַר פּראָפעססיאָנאַלס וואָס ינקאָרפּערייט דעם מאָדערן טעכנאָלאָגיע אין זייער אַנטוויקלונג פּראָצעס, יעדער געלעגנהייט צו פֿאַרבעסערונג מוזן זיין גענומען און אַלע כינדעראַנסיז אַוווידאַד. עס איז דעריבער וויכטיק צו קלייַבן די בעסטער אָפּציע בנימצא. מיט די אַנאַליזעס צוגעשטעלט אויבן, עס ווערט גאַנץ קלאָר אַז Syntho און מיט דעם די Syntho ענגינע איז אַ זייער טויגעוודיק געצייַג פֿאַר פּראַקטישנערז.
וועגן Syntho
סינטהאָ פּראָווידעס אַ קלוג סינטעטיש דאַטן דור פּלאַטפאָרמע, לעווערידזשינג קייפל סינטעטיש דאַטן פארמען און דור מעטהאָדס, ימפּאַוערינג אָרגאַנאַזיישאַנז צו ינטעלידזשאַנטלי יבערמאַכן דאַטן אין אַ קאַמפּעטיטיוו ברעג. אונדזער אַי-דזשענערייטאַד סינטעטיש דאַטן מימיקס סטאַטיסטיש פּאַטערנז פון אָריגינעל דאַטן, ינשורינג אַקיעראַסי, פּריוואַטקייט און גיכקייַט, ווי אַססעססעד דורך פונדרויסנדיק עקספּערץ ווי SAS. מיט קלוג דע-לעגיטימאַציע פֿעיִקייטן און קאָנסיסטענט מאַפּינג, שפּירעוודיק אינפֿאָרמאַציע איז פּראָטעקטעד בשעת פּראַזערווינג רעפערענטשאַל אָרנטלעכקייַט. אונדזער פּלאַטפאָרמע ינייבאַלז די שאַפונג, פאַרוואַלטונג און קאָנטראָל פון פּראָבע דאַטן פֿאַר ניט-פּראָדוקציע ינווייראַנמאַנץ, ניצן הערשן-באזירט סינטעטיש דאַטן דזשענערייטינג מעטהאָדס פֿאַר טאַרגעטעד סינעריאָוז. אַדדיטיאָנאַללי, יוזערז קענען דזשענערייט סינטעטיש דאַטן פּראָגראַממאַטיקאַללי און קריגן רעאַליסטיש פּרובירן דאַטן צו אַנטוויקלען פולשטענדיק טעסטינג און אַנטוויקלונג סינעריאָוז מיט יז.
צי איר ווילן צו לערנען מער פּראַקטיש אַפּלאַקיישאַנז פון סינטעטיש דאַטן? פילן פֿרייַ צו פּלאַן דעמאָ!
וועגן די מחברים
ווייכווארג אינזשעניריע ינטערן
ראָהam איז אַ באָכער תּלמיד אין די דעלפט אוניווערסיטעט פון טעכנאָלאָגיע און איז אַ ינטערן אין ווייכווארג אינזשעניריע סינטהאָ.
מאַשין לערנען ינזשעניר
מיהאַי דערגרייכט זיין PhD פון די אוניווערסיטעט פון בריסטאָל אויף דער טעמע פון כייעראַרקיקאַל ריינפאָרסמאַנט לערנען געווענדט צו ראָובאַטיקס און איז אַ מאַשין לערנען ינזשעניר אַt סינטהאָ.
היט דיין סינטעטיש דאַטן פירן איצט!
- וואָס איז סינטעטיש דאַטן?
- פארוואס טאָן אָרגאַנאַזיישאַנז נוצן עס?
- ווערט אַדינג סינטעטיש דאַטן קליענט קאַסעס
- ווי צו אָנהייבן
