Te Aromatawai i te Taputapu me te Whakaritenga i roto i nga Kaihanga Raraunga Hangaia: He Ruku Hohonu Hangarau me te Maataki Whakataurite
Kupu Whakataki
I roto i te ao matihiko o enei ra, kua tino kaha ake te mohiotanga ki te tahaetanga raraunga. Kei te mohio nga kaiwhakamahi ki o raatau raraunga he tohu matimati ahurei, ka tupono ki o raatau tūmataiti mena ka pakaru nga raraunga. Ko tenei awangawanga ka kaha ake e nga ture penei i te GDPR, e whakamana ana i nga kaiwhakamahi ki te tono kia mukua o raatau raraunga. Ahakoa e hiahiatia ana, ka nui te utu o tenei ture mo nga kamupene na te mea ka iti te uru ki nga raraunga; nga here e pau ana te wa me nga rawa ki te hinga.
Ripanga o Ihirangi
He aha nga kaihanga raraunga waihanga?
Whakauruhia nga raraunga waihanga, he otinga ki tenei raruraru. Ka hangaia e nga kaihanga raraunga hangai nga huingararaunga e whakatauira ana i nga raraunga kaiwhakamahi tuturu me te pupuri i te ingoamuna me te noho muna. Kei te kaha haere tenei huarahi puta noa i nga umanga, mai i te tiaki hauora ki te putea, he mea nui te noho muna.
Me pehea te whiriwhiri i te tikanga whakaputa raraunga waihanga tika?
I roto i te whenua kanorau o te whakangao raraunga waihanga, he maha nga tikanga e waatea ana, e whakataetae ana ia tangata me ona mana motuhake. Ko te whiriwhiri i te tikanga tino pai mo tetahi tono me tino mohio ki nga ahuatanga mahi o ia whiringa. Me whai arotake matawhānui o ngā momo kaihanga raraunga waihanga i runga i te huinga inenga kua tautuhia pai hei whakatau whakatau.
Ko te mea e whai ake nei he tātaritanga whakatairite kaha o te Syntho Engine i te taha o te anga-puna tuwhera rongonui, te Synthetic Data Vault (SDV). I roto i tenei tātaritanga, i whakamahia e matou te maha o nga inenga e whakamahia ana penei i te pono tauanga, te tika matapae me te hononga taurangi.
Inenga Aromātai Raraunga Raraunga
I mua i te whakauru i tetahi inenga motuhake, me whakaae tatou he maha nga whakaaro e pa ana ki te arotake i nga raraunga Synthetic, ma ia mea e whakaatu ana ki tetahi ahuatanga o te raraunga. I runga i tenei whakaaro, ko nga waahanga e toru e whai ake nei ka kitea he mea nui, he matawhānui. Ko enei inenga e whakaatu ana i nga tirohanga ki nga momo ahuatanga o te kounga raraunga. Ko enei waahanga ko:
- Inenga Tikanga Tauanga: Te tirotiro i nga ahuatanga tauanga taketake o te raraunga, penei i nga tikanga me nga rereketanga, kia tika ai te hangai o nga raraunga waihanga ki te kotaha tatauranga taketake o te huingararaunga.
- Tikanga Matapae: Te tirotiro i nga mahi tauira whakangao raraunga waihanga, kua whakangungua me nga raraunga taketake, me te arotake i runga i nga raraunga waihanga (Train Real - Test Synthetic, TRTS) me te rereke (Train Synthetic - Test Real, TSTR)
- Whanaungatanga Taurangi: Kei roto i tenei waahanga whakakotahi:
- Hononga Ahuahira: Ka aromatawaihia he pehea te pai o nga raraunga waihanga ki te pupuri i nga hononga i waenga i nga taurangi ma te whakamahi i nga taurite whakarea. Ko tetahi ine rongonui penei i te Propensity Mean Squared Error (PMSE) he momo penei.
- Nga korero tahi: Ka inehia e matou te whakawhirinaki tahi ki waenga i nga taurangi kia mohio ai matou ki te hohonutanga o enei hononga i tua atu i nga hononga tika.
Tātari Whakataurite: Syntho Engine vs. Open-Source Alternatives
I whakahaerehia te tātaritanga whakatairite ma te whakamahi i te anga arotake paerewa me nga tikanga whakamatautau rite puta noa i nga tauira katoa, tae atu ki nga tauira Syntho Engine me SDV. Ma te whakahiato i nga huingararaunga mai i nga punaa rite me te tuku ki nga whakamatautau tauanga me nga aromatawai tauira ako miihini, ka whakarite maatau i te whakataurite tika me te koretake. Ko te waahanga e whai ake nei e whakaatu ana i nga mahi o ia kaihanga raraunga waihanga puta noa i te whānuitanga o nga ine kua whakaatuhia i runga ake nei.
Mo te huingararaunga i whakamahia mo te arotake, i whakamahia e matou te Te Raraunga Tatauranga a te Pakeke UCI he huinga raraunga rongonui i roto i te hapori ako miihini. I horoia e matou nga raraunga i mua i nga whakangungu katoa, katahi ka wehea te huingararaunga kia rua nga huinga (he whakangungu me tetahi huinga pupuri hei whakamatautau). I whakamahia e matou te huinga whakangungu ki te whakaputa i te 1 miriona tohu raraunga hou me ia tauira me te arotake i nga momo inenga mo enei huingararaunga kua hangaia. Mo etahi atu arotakenga ako miihini, i whakamahia e matou te huinga pupuri hei arotake i nga inenga penei i era e pa ana ki te TSTR me te TRTS.
I whakahaerehia ia kaihanga me nga tawhā taunoa. I te mea ko etahi o nga tauira, penei i a Syntho, ka taea te mahi i waho o te pouaka i runga i nga raraunga ripanga, kaore i mahia he pai. He nui te wa ki te rapu i nga taaraitua tika mo ia tauira, me te Ripanga 2 e whakaatu ana i te rereketanga o te waa i waenga i te tauira a Syntho me nga mea kua whakamatauria.
Ko te mea nui he rereke ki era atu tauira i roto i te SDV, ko te Gaussian Copula Synthesizer kei runga i nga tikanga tatauranga. He rereke, ko te toenga kei runga i nga whatunga neural penei i nga tauira Generative Adversarial Networks (GAN) me nga momo-aunoa rerekee. Koinei te take e kitea ai a Gaussian Copula hei turanga mo nga tauira katoa e korerohia ana.
hua
Kounga Raraunga
Whakaahua 1. Te tirohanga o nga hua kounga taketake mo nga tauira katoa
Ko nga u i korerohia i mua ki nga ia me nga whakaaturanga i roto i nga raraunga ka kitea i te Whakaahua 1 me te Ripanga 1. I konei, ka taea te whakamaori i ia inenga e whakamahia ana e whai ake nei:
- Kaute Kounga Whakakao: Te aromatawai katoa i te kounga o te raraunga waihanga, te whakakotahi i nga momo ahuatanga penei i te ritenga tauanga me nga ahuatanga raraunga.
- Ngā Hanga Tīwae: Aromatawai mēnā kei te pupuri te raraunga waihanga i te ahua tohatoha rite ki te raraunga tūturu mo ia tīwae.
- Nga Tikanga Takirua Tiwae: Ka arotake i nga hononga, i nga hononga ranei i waenga i nga takirua o nga pou i roto i nga raraunga waihanga ka whakatauritea ki nga raraunga tuuturu.
I roto i te katoa, ka taea te kite ka eke a Syntho i nga tohu tino nui puta noa i te poari. Hei timata, ina titiro ki te kounga raraunga katoa (kua arotakehia me te whare pukapuka inenga SDV) Ka taea e Syntho te eke ki runga ake i te 99% (me te 99.92% te piri o te ahua o te pou me te 99.31%) te piri o te ahua takirua. Ko tenei i te wa e whiwhi ana te SDV i te hua o te 90.84% (me te Gaussian Copula, he 93.82% te piri o te ahua o te pou, me te 87.86%) te piri o te hanga takirua.
Ripanga 1. He whakaaturanga ripanga o nga kaute kounga o ia huingararaunga kua hangaia mo ia tauira
Raraunga Raraunga
Ko te waahanga Ripoata Tohunga o SDV e whakaatu mai ana ko nga raraunga i hangaia e te SDV (i nga keehi katoa) kei te ngaro atu i te 10% o nga awhe tau; I roto i te take o Torutoru-Based Variational Autoencoder (TVAE), kei te ngaro ano te nui o nga raraunga kawai ina whakaritea ki te huingararaunga taketake. Karekau he whakatupato pera i hangaia me nga hua i tutuki ma te whakamahi i te Syntho.
Whakaatu 2. te whakakitenga o nga inenga mahinga pouwaenga mo nga tauira katoa
I roto i te tātaritanga whakatairite, ko te maataki o te Whakaahua 2 e whakaatu ana he pai ake te hua o nga puranga SDV ki te kapi waahanga me etahi o a raatau tauira (ara me GaussianCopula, CopulaGAN, me te Conditional Tabular GAN - CTGAN). Heoi, he mea nui ki te whakaatu ko te pono o nga raraunga a Syntho he nui atu i nga tauira SDV, i te mea he iti noa te rereketanga o te kapinga puta noa i nga waahanga me nga awhe, he 1.1% noa te rereketanga. Engari, ko nga tauira SDV e whakaatu ana i te rereketanga nui, mai i te 14.6% ki te 29.2%.
Ko nga inenga e whakaatuhia ana i konei, ka taea te whakamaori penei:
- Ko te Kapi o te waahanga: Ka ine i te noho mai o nga waahanga katoa i roto i nga raraunga waihanga ka whakatauritea ki nga raraunga tuturu.
- Kapi Awhe: Ka arotake i te pai o te awhe o nga uara o nga raraunga waihanga ki te orite ki nga raraunga tuuturu.
Ripanga 2. He whakaaturanga ripanga o te kapinga toharite o tetahi momo huanga mo ia tauira
taputapu
Ka neke ki te kaupapa o te whaihua o nga raraunga waihanga, ka whai take te take o nga tauira whakangungu mo nga raraunga. Kia taurite, kia tika hoki te whakataurite i waenga i nga anga katoa kua kowhiria e matou te Raarangi Whakanui Whakanuia taunoa mai i te whare pukapuka SciKit Learn, na te mea kua tino whakaaetia hei tauira pai te mahi me nga tautuhinga o waho o te pouaka.
E rua nga tauira rereke kua whakangungua, kotahi i runga i te raraunga waihanga (mo TSTR) me tetahi i runga i te raraunga taketake (mo TRTS). Ko te tauira i whakangungua mo nga raraunga waihanga ka arotakehia ma te whakamahi i te huinga whakamatautau pupuri (kaore i whakamahia i te wa o te whakaputanga raraunga waihanga) ka whakamatauria te tauira i whakangungua i runga i nga raraunga taketake i runga i te huinga raraunga waihanga.
Whakaatu 3. Te Tirohanga o te Rohe i raro i te Anau (AUC) kaute mo ia tikanga mo ia tauira
Ko nga hua ka kitea i runga ake nei e whakaatu ana i te hiranga o te hanga raraunga Synthetic na te miihini Syntho ina whakaritea ki etahi atu tikanga, na te mea karekau he rereketanga i waenga i nga hua ka puta mai i nga tikanga rereke (e tohu ana ki te tino rite i waenga i nga raraunga waihanga me nga raraunga tuuturu). Ano hoki, ko te raina iraira whero kei roto i te papahanga ko te hua ka puta mai i te arotake i te mahinga turanga o te whakamatautau Train Real, Test Real (TRTR) hei whakarato i te rarangi turanga mo nga ine kua kitea. Ko tenei rarangi e tohu ana i te uara 0.92, ko te rohe kei raro i te Curve score (score AUC) i tutuki e te tauira i whakangungua i runga i nga raraunga tuuturu me te whakamatau i nga raraunga tuuturu.
Ripanga 3. He whakaaturanga ripanga o nga kaute AUC i tutuki e TRTS me TSTR ia tauira.
Te whakataurite i te wa
Ko te tikanga, he mea nui ki te whai whakaaro ki te wa i whakapaua ki te whakaputa i enei hua. Ko te whakakitenga i raro nei e whakaatu ana i tenei.
Whakaahua 5. Te tirohanga o te wa i pau ki te whakangungu me te mahi hanga raraunga waihanga o te kotahi miriona tohu raraunga me te tauira me te kore he GPU.
Ko te Whakaahua 5 e whakaatu ana i te wa i tangohia ki te whakaputa raraunga waihanga i roto i nga waahanga rereke e rua. Ko te mea tuatahi (e kiia nei ko te Kore he GPU), he whakamatautau i runga i te punaha me te PTM Intel Xeon me te 16 matua e rere ana i te 2.20 GHz. Ko nga whakamatautau i tohuhia he "rere me te GPU" i runga i te punaha me te PTM AMD Ryzen 9 7945HX me te 16 cores e rere ana i te 2.5GHz me te NVIDIA GeForce RTX 4070 Pona GPU. Ka kitea i te Whakaahua 2 me te Ripanga 2 i raro nei, ka kitea he tere ake a Syntho ki te whakaputa raraunga waihanga (i nga ahuatanga e rua) he mea tino nui i roto i te rerenga mahi hihiri.
Ripanga 5. He whakaaturanga ripanga mo te wa i tangohia ki hanga raraunga waihanga o te kotahi miriona tohu raraunga me ia tauira me te kore he GPU
Ko nga kitenga e whakaatu ana i te hiranga o te tino arotakenga o te kounga ki te whiriwhiri i te tikanga whakaputa raraunga waihanga tika. Ko te Miihini a Syntho, me tana huarahi e peia ana e AI, e whakaatu ana i nga tino kaha i roto i etahi inenga, i te wa e whiti ana nga taputapu puna-tuwhera penei i te SDV i roto i o raatau pukenga me nga whakapainga a te hapori.
I te mea e tipu haere tonu ana te mara o nga raraunga waihanga, ka akiaki koe ki te whakamahi i enei inenga ki o kaupapa, ki te tirotiro i o raatau uaua, me te tiri i o wheako. Kia mau ki nga panui a muri ake nei ka ruku hohonu atu tatou ki etahi atu inenga me te whakaatu i nga tauira o te ao mo o raatau tono.
Hei te mutunga o te ra, mo te hunga e rapu ana ki te whakamatau i nga wai i runga i nga raraunga waihanga, ko te waahanga tuwhera-puna ka taea te whiriwhiri tika i te mea he urunga; engari, mo nga tohunga e whakauru ana i tenei hangarau hou ki roto i ta raatau mahi whanaketanga, me whai waahi ki te whakapai ake, me karo nga aukati katoa. Na reira he mea nui ki te whiriwhiri i te whiringa pai e waatea ana. I runga i nga tātaritanga i runga ake nei ka kitea ko Syntho me te Syntho Engine he taputapu tino pai mo nga tohunga.
Mo Syntho
Syntho ka whakarato i te papahanga whakahiato raraunga maamaa, ma te whakamahi i nga puka raraunga waihanga maha me nga tikanga whakatipuranga, e whakamana ana i nga whakahaere ki te huri i nga raraunga ki te whakataetae. Ko a maatau raraunga waihanga AI-hangaia e pee ana i nga tauira tauanga o nga raraunga taketake, me te whakarite i te tika, te noho muna, me te tere, pera i te aromatawai a nga tohunga o waho penei i te SAS. Ma nga ahuatanga whakamaarama maamaa me te mapi riterite, ka tiakina nga korero tairongo me te pupuri i te pono o nga tohutoro. Ka taea e to maatau papaaho te hanga, te whakahaere, me te whakahaere i nga raraunga whakamatautau mo nga taiao kore-whakaputa, ma te whakamahi i nga tikanga whakaputa raraunga hangai-a-ture mo nga ahuatanga kua tohua. I tua atu, ka taea e nga kaiwhakamahi te whakaputa i nga raraunga waihanga ma te hotaka me te whiwhi raraunga whakamatautau pono hei whakawhanake i nga whakamatautau matawhānui me nga ahuatanga whanaketanga ma te ngawari.
Kei te pirangi koe ki te ako i nga tono whai kiko o nga raraunga waihanga? Tena koa whakaaturanga whakaaturanga!
Mo nga Kaituhi
Pūmanawa Hangarau Intern
Pūam He tauira paetahi ia i te Whare Wananga o Delft, he Kaiakonga Hangarau Pūmanawa i Syntho.
Engineer Learning Engineer
I whiwhi a Mihai i tana tohu PhD i te Te Whare Wananga o Bristol mo te kaupapa o te Hierarchical Reinforcement Learning i tono ki Robotics a ko te Kaihanga Ako Miihini at Syntho.
Tiakina to aratohu raraunga waihanga inaianei!
- He aha te raraunga waihanga?
- He aha i whakamahia ai e nga whakahaere?
- Te uara taapiri i nga keehi a te kiritaki raraunga waihanga
- Me pehea te tiimata
