Evalyasyon ekstèn done sentetik nou yo pa ekspè done SAS
Done sentetik nou an se evalye ak apwouve pa ekspè done yo nan SAS
Entwodiksyon nan evalyasyon ekstèn done sentetik nou yo pa ekspè done SAS
Kisa nou te fè?
Done sentetik ki te pwodwi pa Syntho evalye, valide ak apwouve nan yon pwen de vi ekstèn ak objektif pa ekspè done yo nan SAS.
Poukisa done sentetik nou yo evalye deyò pa ekspè done SAS yo?
Menmsi Syntho fyè pou l ofri itilizatè li yo yon rapò asirans kalite avanse, nou konprann tou enpòtans pou gen yon evalyasyon ekstèn ak objektif sou done sentetik nou yo nan men lidè endistri yo. Se poutèt sa nou kolabore ak SAS, lidè nan analytics, pou evalye done sentetik nou yo.
SAS fè plizyè evalyasyon apwofondi sou presizyon done, pwoteksyon vi prive, ak itilizasyon done sentetik AI Syntho yo te pwodwi an konparezon ak done orijinal yo. Kòm konklizyon, SAS te evalye ak apwouve done sentetik Syntho kòm yo te egzat, an sekirite, ak ka itilize an konparezon ak done orijinal yo.
Kisa SAS te fè pandan evalyasyon sa a?
Nou itilize done telecom ki itilize pou prediksyon "churn" kòm done sib. Objektif evalyasyon an se te sèvi ak done sentetik pou fòme divès modèl prediksyon churn ak evalye pèfòmans chak modèl. Kòm prediksyon churn se yon travay klasifikasyon, SAS te chwazi modèl klasifikasyon popilè pou fè prediksyon yo, tankou:
- Random forè
- Ranfòse gradyan
- Regression lojistik
- Rezo nè
Anvan jenere done sentetik yo, SAS divize done telecom an owaza nan yon seri tren (pou fòmasyon modèl yo) ak yon seri holdout (pou fè nòt modèl yo). Èske w gen yon seri separe pou fè nòt pèmèt pou yon evalyasyon san patipri sou kouman modèl klasifikasyon an ta ka fè lè yo aplike nan nouvo done.
Lè l sèvi avèk seri tren an kòm opinyon, Syntho te itilize motè Syntho li yo pou jenere yon seri done sentetik. Pou benchmarking, SAS te kreye tou yon vèsyon anonim nan seri a tren apre yo fin aplike plizyè teknik anonimizasyon pou rive nan yon sèten papòt (nan k-anonimite). Ansyen etap yo te lakòz kat seri done:
- Yon seri done tren (sètadi seri done orijinal la mwens seri done kenbe)
- Yon seri done ki kenbe (sètadi yon pati nan seri done orijinal la)
- Yon seri done anonim (done anonymize sou seri done tren an, done orijinal la mwens seri done ki rete a)
- Yon seri done sentetik (sintetize done sou seri done tren an, done orijinal la mwens seri done holdout la)
Ansanm done 1, 3 ak 4 yo te itilize pou fòme chak modèl klasifikasyon, sa ki lakòz 12 (3 x 4) modèl fòmasyon. Answit SAS te itilize dataset holdout la pou mezire presizyon chak modèl nan prediksyon kliyan désabonnement.
SAS fè plizyè evalyasyon apwofondi sou presizyon done, pwoteksyon vi prive, ak itilizasyon done sentetik AI Syntho yo te pwodwi an konparezon ak done orijinal yo. Kòm konklizyon, SAS te evalye ak apwouve done sentetik Syntho kòm yo te egzat, an sekirite, ak ka itilize an konparezon ak done orijinal yo.
W gen nenpòt kesyon?
Pale ak youn nan ekspè nou yo
Premye rezilta evalyasyon done pa SAS
Modèl ki resevwa fòmasyon sou done sentetik nòt trè menm jan an konparezon ak modèl ki resevwa fòmasyon sou done orijinal yo
Done sentetik ki soti nan Syntho kenbe pa sèlman pou modèl debaz yo, li tou kaptire gwo twou san fon 'kache' modèl estatistik ki nesesè pou travay analiz avanse. Lèt la demontre nan tablo ba a, ki endike ke presizyon nan modèl ki resevwa fòmasyon sou done sentetik kont modèl ki resevwa fòmasyon sou done orijinal yo sanble. Pakonsekan, done sentetik yo ka itilize pou fòmasyon aktyèl nan modèl yo. Antre yo ak enpòtans varyab chwazi pa algoritm yo sou done sentetik konpare ak done orijinal yo te sanble anpil. Pakonsekan, li konkli ke pwosesis modèl la ka fè sou done sentetik, kòm yon altènativ pou itilize done reyèl sansib.
Poukisa modèl ki resevwa fòmasyon sou done anonim fè nòt pi mal?
Teknik anonimizasyon klasik yo gen an komen ke yo manipile done orijinal yo nan lòd yo anpeche trase tounen moun. Yo manipile done epi kidonk detwi done nan pwosesis la. Plis ou anonimize, pi bon done ou yo pwoteje, men tou, plis done ou yo detwi. Sa a se sitou devaste pou travay AI ak modèl kote "pouvwa prediksyon" esansyèl, paske done move kalite pral lakòz move lide nan modèl AI a. SAS te demontre sa a, ak yon zòn anba koub la (AUC*) ki toupre 0.5, demontre ke modèl yo ki resevwa fòmasyon sou done anonim fè byen lwen pi mal la.
Lòt rezilta evalyasyon done sentetik pa SAS
Lòt rezilta evalyasyon done sentetik pa SAS
Korelasyon yo ak relasyon ant varyab yo te byen konsève nan done sentetik.
Zòn anba koub la (AUC), yon metrik pou mezire pèfòmans modèl la, te rete konsistan.
Anplis de sa, enpòtans varyab la, ki endike pouvwa prediksyon varyab nan yon modèl, te rete entak lè w konpare done sentetik ak done orijinal la.
Dapre obsèvasyon sa yo pa SAS ak lè nou itilize SAS Viya, nou ka konkli ke done sentetik ki te pwodwi pa motè Syntho a se tout bon par ak done reyèl an tèm de bon jan kalite. Sa a valide itilizasyon done sentetik pou devlopman modèl, pave wout la pou analiz avanse ak done sentetik.
Konklizyon ekspè done SAS yo
- Modèl ki resevwa fòmasyon sou done sentetik konpare ak modèl ki resevwa fòmasyon sou done orijinal yo montre pèfòmans trè menm jan an
- Modèl ki resevwa fòmasyon sou done anonim ak 'teknik anonimizasyon klasik' montre pèfòmans enferyè konpare ak modèl ki resevwa fòmasyon sou done orijinal yo oswa done sentetik.
- Jenerasyon done sentetik fasil epi rapid paske teknik la ap travay egzakteman menm jan an pou chak seri done ak pou chak kalite done
Atik referans
- Evalyasyon pa ekspè done SAS: https://blogs.sas.com/content/hiddeninsights/2022/07/07/ai-generated-synthetic-data-easy-and-fast-access-to-high-quality-data/
- Gayan Syntho nan Hackathon mondyal SAS: https://www.linkedin.com/feed/update/urn:li:activity:7070047376249376769/
- Rezilta etid ka swen sante: https://communities.sas.com/t5/SAS-Hacker-s-Hub/AI-Generated-Synthetic-Data-in-Healthcare/ta-p/863407
Sove gid done sentetik ou kounye a!
- Ki sa ki done sentetik?
- Poukisa òganizasyon yo sèvi ak li?
- Valè ajoute done sentetik ka kliyan
- Ki jan yo kòmanse
