CÀBHA
Ceistean Bitheanta mu dhàta synthetigeach
So-thuigsinn! Gu fortanach, tha na freagairtean againn agus tha sinn an seo gus do chuideachadh. Thoir sùil air na ceistean cumanta againn.
Feuch an fosgail ceist gu h-ìosal agus cliog air na ceanglaichean gus tuilleadh fiosrachaidh a lorg. A bheil ceist nas iom-fhillte agad nach eil air ainmeachadh an seo? Iarr air na h-eòlaichean againn gu dìreach!
Na ceistean as motha a chaidh fhaighneachd
Tha dàta synthetach a’ toirt iomradh air dàta a tha air a chruthachadh gu saor-thoileach seach a bhith air a chruinneachadh bho thùsan san t-saoghal fhìor. San fharsaingeachd, ged a tha dàta tùsail air a chruinneachadh anns a h-uile eadar-obrachadh agad le daoine (luchd-dèiligidh, euslaintich, msaa) agus tro na pròiseasan taobh a-staigh agad, bidh dàta synthetigeach air a chruthachadh le algorithm coimpiutair.
Faodar dàta synthetach a chleachdadh cuideachd gus modalan a dhearbhadh agus a mheasadh ann an àrainneachd fo smachd, no gus fiosrachadh mothachail a dhìon le bhith a’ gineadh dàta a tha coltach ri dàta san t-saoghal fhìor ach anns nach eil fiosrachadh mothachail sam bith. Bidh dàta synthetach gu tric air a chleachdadh mar roghainn eile airson dàta a tha mothachail air prìobhaideachd agus dh’ fhaodadh e a bhith air a chleachdadh mar dàta deuchainn, airson anailisean no airson ionnsachadh innealan.
Faodaidh e a bhith dùbhlanach a bhith cinnteach gu bheil dàta synthetigeach a’ cumail an aon chàileachd dàta ris an dàta tùsail, agus gu tric an urra ris a’ chùis cleachdaidh sònraichte agus na dòighean a thathas a’ cleachdadh gus an dàta synthetigeach a ghineadh. Faodaidh cuid de dhòighean airson dàta synthetigeach a ghineadh, leithid modalan ginealach, dàta a thoirt gu buil a tha glè choltach ris an dàta tùsail. Prìomh cheist: ciamar a sheallas tu seo?
Tha cuid de dhòighean ann gus dèanamh cinnteach à càileachd dàta synthetigeach:
- Meatairean càileachd dàta tron aithisg càileachd dàta againn: Is e aon dhòigh air dèanamh cinnteach gu bheil an aon chàileachd dàta aig dàta synthetigeach ris an dàta tùsail a bhith a’ cleachdadh meatrach càileachd dàta gus coimeas a dhèanamh eadar an dàta synthetigeach agus an dàta tùsail. Faodar na meatrach sin a chleachdadh gus rudan leithid coltachd, mionaideachd agus iomlanachd an dàta a thomhas. Bha bathar-bog Syntho a’ toirt a-steach aithisg càileachd dàta le diofar mheatairean càileachd dàta.
- Measadh bhon taobh a-muigh: leis gu bheil càileachd dàta dàta synthetigeach an taca ri dàta tùsail deatamach, rinn sinn measadh o chionn ghoirid le eòlaichean dàta SAS (stiùiriche margaidh ann an anailisean) gus càileachd dàta dàta synthetigeach le Syntho a nochdadh an taca ris an fhìor dàta. Rinn Edwin van Unen, eòlaiche anailis bho SAS, measadh air stòran-dàta synthetigeach bho Syntho tro dhiofar mheasaidhean anailis (AI) agus roinneadh na builean. Coimhead air ath-aithris ghoirid den bhidio sin an seo.
- Deuchainn agus measadh leat fhèin: faodar dàta synthetigeach a dhearbhadh agus a mheasadh le bhith ga choimeas ri dàta san t-saoghal fhìor no le bhith ga chleachdadh gus modalan ionnsachaidh inneal a thrèanadh agus a’ dèanamh coimeas eadar an coileanadh agus modalan air an trèanadh air dàta fìor. Carson nach dèan thu deuchainn air càileachd dàta dàta synthetigeach leat fhèin? Faighnich dha na h-eòlaichean againn airson na cothroman a tha seo an seo.
Tha e cudromach cuimhneachadh nach urrainn dha dàta synthetigeach a bhith cinnteach gum bi e 100% coltach ris an dàta tùsail, ach faodaidh e a bhith faisg gu leòr airson a bhith feumail airson cùis cleachdaidh sònraichte. Faodaidh a’ chùis cleachdaidh sònraichte seo a bhith eadhon mar mhodalan sgrùdaidh adhartach no trèanaidh innealan.
Chan e ‘neo-ainmeachadh’ clasaigeach an-còmhnaidh am fuasgladh as fheàrr, oir:
- Cunnart prìobhaideachd - bidh an-còmhnaidh agad
cunnart prìobhaideachd. A’ cur an sàs an fheadhainn sin
dòighean gun urra clasaigeach
ga dhèanamh nas duilghe a-mhàin, ach chan eil
do-dhèanta daoine fa-leth aithneachadh. - A 'sgrios dàta - mar as motha a tha thu
gun urra, mar as fheàrr a dhìonas tu
do phrìobhaideachd, ach mar as motha a tha thu
sgrios an dàta agad. Chan e seo dè
tha thu ag iarraidh airson analytics, oir
bidh dàta air a sgrios a’ leantainn gu dona
lèirsinn. - A ’toirt ùine - tha e na fhuasgladh
bheir sin tòrr ùine, oir
tha na dòighean sin ag obair eadar-dhealaichte
a rèir an dàta agus a rèir an t-seòrsa dàta.
Tha dàta synthetach ag amas air na h-uireasbhaidhean sin uile fhuasgladh. Tha an diofar cho iongantach is gun do rinn sinn bhidio mu dheidhinn. Coimhead e an seo.
Ceistean Bitheanta
Dàta synthetach
San fharsaingeachd, bidh a ’mhòr-chuid de ar luchd-dèiligidh a’ cleachdadh dàta synthetigeach airson:
- Deuchainn & leasachadh bathar-bog
- Dàta synthetigeach airson mion-sgrùdadh, leasachadh modail agus mion-sgrùdadh adhartach (AI & ML)
- Taisbeanaidhean bathair
Tha càraid dàta synthetigeach na mhac-samhail air a ghineadh le algairim de sheata dàta fìor agus / no stòr-dàta. Le Dàta Dàta Synthetic, tha Syntho ag amas air atharrais a dhèanamh air stòr-dàta no stòr-dàta tùsail cho faisg ‘s a ghabhas air an dàta tùsail gus riochdachadh reusanta den fhear thùsail a chruthachadh. Le càraid dàta synthetigeach, tha sinn ag amas air càileachd dàta synthetigeach nas fheàrr an taca ris an dàta tùsail. Bidh sinn a’ dèanamh seo leis a’ bhathar-bog dàta synthetigeach againn a bhios a’ cleachdadh na modalan AI as ùire. Bidh na modalan AI sin a’ gineadh puingean dàta gu tur ùr agus gam modaladh ann an dòigh a ghlèidh sinn feartan, dàimhean agus pàtrain staitistigeil an dàta tùsail chun ìre as urrainn dhut a chleachdadh mar gum biodh e na dhàta tùsail.
Faodar seo a chleachdadh airson grunn adhbharan, leithid a bhith a’ dèanamh deuchainn agus a’ trèanadh mhodalan ionnsachaidh innealan, a’ dèanamh atharrais air suidheachaidhean airson rannsachadh is leasachadh, agus a’ cruthachadh àrainneachdan brìgheil airson trèanadh is foghlam. Faodar càraidean dàta synthetach a chleachdadh gus dàta fìrinneach is riochdachail a chruthachadh a ghabhas cleachdadh an àite dàta san t-saoghal fhìor nuair nach eil e ri fhaighinn no nuair a bhiodh cleachdadh dàta san t-saoghal fhìor neo-phractaigeach no mì-bheusach air sgàth riaghailtean teann prìobhaideachd dàta.
Tha, tha sinn. Bidh sinn a’ tabhann grunn fheartan luach-leasaichte dàta synthetigeach agus meudachaidh, a’ toirt a-steach magadh, gus an dàta agad a thoirt chun ath ìre.
Tha dàta meallta agus dàta synthetigeach air a ghineadh le AI an dà sheòrsa de dhàta synthetigeach, ach tha iad air an gineadh ann an diofar dhòighean agus a’ frithealadh diofar adhbharan.
Is e seòrsa de dhàta synthetigeach a th’ ann an dàta meallta a thèid a chruthachadh le làimh agus gu tric air a chleachdadh airson adhbharan deuchainn is leasachaidh. Tha e mar as trice air a chleachdadh gus atharrais air giùlan dàta fìor san t-saoghal ann an àrainneachd fo smachd agus gu tric bidh e air a chleachdadh gus gnìomhachd siostam no tagradh a dhearbhadh. Gu tric tha e sìmplidh, furasta a ghineadh, agus chan eil feum air modalan no algorithms iom-fhillte. Gu tric, bidh aon neach-tagraidh cuideachd a’ magadh air dàta mar “dàta meallta” no “dàta meallta”.
Tha dàta synthetigeach air a ghineadh le AI, air an làimh eile, air a chruthachadh a’ cleachdadh dòighean inntleachd fuadain, leithid ionnsachadh innealan no modalan ginealach. Tha e air a chleachdadh gus dàta reusanta agus riochdachail a chruthachadh a ghabhas cleachdadh an àite dàta san t-saoghal fhìor nuair a bhiodh cleachdadh dàta an t-saoghail fhìor neo-phractaigeach no mì-bheusach air sgàth riaghailtean teann prìobhaideachd. Tha e gu tric nas iom-fhillte agus feumach air barrachd ghoireasan coimpiutaireachd na dàta meallta làimhe. Mar thoradh air an sin, tha e tòrr nas reusanta agus a’ dèanamh atharrais air an dàta tùsail cho faisg ‘s a ghabhas.
Ann an geàrr-chunntas, tha dàta meallta air a chruthachadh le làimh agus mar as trice air a chleachdadh airson deuchainn agus leasachadh, fhad ‘s a tha dàta synthetigeach air a ghineadh le AI air a chruthachadh a’ cleachdadh dòighean inntleachd fuadain agus air a chleachdadh gus dàta riochdachail agus reusanta a chruthachadh.
Càileachd Dàta
Faodaidh e a bhith dùbhlanach a bhith cinnteach gu bheil dàta synthetigeach a’ cumail an aon chàileachd dàta ris an dàta tùsail, agus gu tric an urra ris a’ chùis cleachdaidh sònraichte agus na dòighean a thathas a’ cleachdadh gus an dàta synthetigeach a ghineadh. Faodaidh cuid de dhòighean airson dàta synthetigeach a ghineadh, leithid modalan ginealach, dàta a thoirt gu buil a tha glè choltach ris an dàta tùsail. Prìomh cheist: ciamar a sheallas tu seo?
Tha cuid de dhòighean ann gus dèanamh cinnteach à càileachd dàta synthetigeach:
- Meatairean càileachd dàta tron aithisg càileachd dàta againn: Is e aon dhòigh air dèanamh cinnteach gu bheil an aon chàileachd dàta aig dàta synthetigeach ris an dàta tùsail a bhith a’ cleachdadh meatrach càileachd dàta gus coimeas a dhèanamh eadar an dàta synthetigeach agus an dàta tùsail. Faodar na meatrach sin a chleachdadh gus rudan leithid coltachd, mionaideachd agus iomlanachd an dàta a thomhas. Bha bathar-bog Syntho a’ toirt a-steach aithisg càileachd dàta le diofar mheatairean càileachd dàta.
- Measadh bhon taobh a-muigh: leis gu bheil càileachd dàta dàta synthetigeach an taca ri dàta tùsail deatamach, rinn sinn measadh o chionn ghoirid le eòlaichean dàta SAS (stiùiriche margaidh ann an anailisean) gus càileachd dàta dàta synthetigeach le Syntho a nochdadh an taca ris an fhìor dàta. Rinn Edwin van Unen, eòlaiche anailis bho SAS, measadh air stòran-dàta synthetigeach bho Syntho tro dhiofar mheasaidhean anailis (AI) agus roinneadh na builean. Coimhead air ath-aithris ghoirid den bhidio sin an seo.
- Deuchainn agus measadh leat fhèin: faodar dàta synthetigeach a dhearbhadh agus a mheasadh le bhith ga choimeas ri dàta san t-saoghal fhìor no le bhith ga chleachdadh gus modalan ionnsachaidh inneal a thrèanadh agus a’ dèanamh coimeas eadar an coileanadh agus modalan air an trèanadh air dàta fìor. Carson nach dèan thu deuchainn air càileachd dàta dàta synthetigeach leat fhèin? Faighnich dha na h-eòlaichean againn airson na cothroman a tha seo an seo.
Tha e cudromach cuimhneachadh nach urrainn dha dàta synthetigeach a bhith cinnteach gum bi e 100% coltach ris an dàta tùsail, ach faodaidh e a bhith faisg gu leòr airson a bhith feumail airson cùis cleachdaidh sònraichte. Faodaidh a’ chùis cleachdaidh sònraichte seo a bhith eadhon mar mhodalan sgrùdaidh adhartach no trèanaidh innealan.
Tha, tha sin fìor. Tha an dàta synthetigeach eadhon a ’cumail phàtranan nach robh fios agad gu robh iad an làthair anns an dàta tùsail.
Ach na gabh ris am facal air a shon. Rinn eòlaichean anailis SAS (stiùiriche margaidh cruinneil ann an anailisean) measadh (AI) air an dàta synthetigeach againn agus rinn iad coimeas eadar e agus an dàta tùsail. Aisteach? Coimhead air an tachartas slàn an seo no coimhead an dreach goirid mu dheidhinn càileachd dàta an seo.
Tha, tha sinn. Tha an àrd-ùrlar againn air a bharrrachadh airson stòran-dàta agus mar thoradh air sin, gleidheadh ionracas iomraidh eadar stòran-dàta anns an stòr-dàta.
A bheil e inntinneach barrachd fhaighinn a-mach mu dheidhinn seo?
Prìobhaideachd
Chan e, chan eil sinn. Is urrainn dhuinn an Einnsean Syntho a chuir a-steach gu furasta no san sgòth prìobhaideach agad tro docker.
Cha b' e. Rinn sinn an fheum as fheàrr den àrd-ùrlar againn ann an dòigh 's gum bi e furasta a chleachdadh ann an àrainneachd earbsach an neach-ceannach. Bidh seo a’ dèanamh cinnteach nach fhàg dàta gu bràth àrainneachd earbsach an neach-ceannach. Tha roghainnean cleachdaidh airson àrainneachd earbsach an neach-ceannach “air an togalach” agus ann an “àrainneachd sgòthan an neach-ceannach (sgòth prìobhaideach)”.
Roghainneil: Tha Syntho a’ toirt taic do dhreach a tha air aoigheachd san “Syntho cloud”.
Chan e. 'S e àrd-ùrlar fèin-sheirbheis a th' anns an Syntho Engine. Mar thoradh air an sin, tha e comasach dàta synthetigeach a ghineadh leis an Syntho Engine ann an dòigh a tha san inneal end-to-end phròiseas, chan urrainn dha Syntho fhaicinn a-riamh agus cha bhith feum air dàta a phròiseasadh.
Tha, bidh sinn a’ dèanamh seo tron aithisg QA againn.
Nuair a thathar a’ co-chur stòr-dàta, tha e riatanach sealltainn nach urrainn dha daoine fa-leth ath-aithneachadh. Anns am bhidio seo, Tha Marijn a ’toirt a-steach ceumannan prìobhaideachd a tha san aithisg càileachd againn gus seo a dhearbhadh.
Tha trì ann an aithisg QA Syntho ìre gnìomhachais slatan-tomhais airson measadh prìobhaideachd dàta. Tha am beachd air cùl gach aon de na meatrach seo mar a leanas:
- Dàta synthetach (S) a bhith “cho faisg’ s a ghabhas”, ach “gun a bhith ro fhaisg” air an dàta targaid (T).
- Dàta seilbh air a thaghadh air thuaiream (H) a’ dearbhadh an t-slat-tomhais airson “ro fhaisg”.
- A fuasgladh foirfe a’ gineadh dàta synthetigeach ùr a bhios gad ghiùlan fhèin dìreach mar an dàta tùsail, ach nach fhacas roimhe (= H).
Is e aon de na cùisean cleachdaidh a tha air a chomharrachadh gu sònraichte le Ùghdarras Dìon Dàta na h-Òlaind a bhith a’ cleachdadh dàta synthetigeach mar dhàta deuchainn.
Einnsean Syntho
Tha an Einnsean Syntho air a chuir a-steach ann an soitheach Docker agus faodar a chuir a-steach gu furasta agus a chuir a-steach don àrainneachd as fheàrr leat.
Am measg nan roghainnean cleachdadh tha:
- Air-a-mach
- Sgòth sam bith (prìobhaideach)
- Àrainneachd sam bith eile
Tha Syntho a ’toirt cothrom dhut ceangal gu furasta ris na stòran-dàta, tagraidhean, pìoban dàta no siostaman faidhle agad.
Bidh sinn a’ toirt taic do ghrunn luchd-ceangail aonaichte gus an urrainn dhut ceangal a dhèanamh ris an àrainneachd stòr (far a bheil an dàta tùsail air a stòradh) agus an àrainneachd ceann-uidhe (far a bheil thu airson an dàta synthetigeach agad a sgrìobhadh thuige) airson end-to-end dòigh-obrach aonaichte.
Feartan ceangail ris a bheil sinn a ’toirt taic:
- Plug-and-play le Docker
- Ceanglaichean stòr-dàta 20+
- Ceanglaichean siostam faidhlichean 20+
Gu nàdarra, tha an ùine ginealach an urra ri meud an stòr-dàta. Gu cuibheasach, tha clàr le nas lugha na 1 millean clàr air a cho-chur ann an nas lugha na 5 mionaidean.
Faodaidh algorithms ionnsachaidh inneal Syntho na feartan a choitcheannachadh nas fheàrr le barrachd chlàran eintiteas rim faighinn, a lughdaicheas an cunnart prìobhaideachd. Thathas a’ moladh co-mheas colbh-gu-sreath as ìsle de 1:500. Mar eisimpleir, ma tha 6 colbhan anns a’ chlàr stòr agad, bu chòir gum biodh co-dhiù 3000 sreath ann.
Chan eil idir. Ged a dh ’fhaodadh gun toir e beagan oidhirp gus na buannachdan, an obair agus na cùisean de dhàta synthetach a thuigsinn, tha am pròiseas synthesis gu math sìmplidh agus faodaidh neach sam bith le eòlas bunaiteach coimpiutair a dhèanamh. Airson tuilleadh fiosrachaidh mun phròiseas synthesizing, thoir sùil air an duilleig seo or Iarr demo.
Bidh an Syntho Engine ag obair as fheàrr air dàta structarail, clàr (rud sam bith anns a bheil sreathan agus colbhan). Taobh a-staigh nan structaran sin, tha sinn a’ toirt taic do na seòrsaichean dàta a leanas:
- Dàta structaran air a chruth ann an clàran (roinnean, àireamhan, msaa)
- Luchd-comharrachaidh dìreach agus PII
- Stòr-dàta mòr agus stòran-dàta
- Dàta àite cruinn-eòlasach (mar GPS)
- Dàta sreath ùine
- Stòr-dàta ioma-clàr (le ionracas rèiteachaidh)
- Dàta teacsa fosgailte
Taic dàta iom-fhillte
Ri taobh a h-uile seòrsa cunbhalach de dhàta clàr, tha an Syntho Engine a’ toirt taic do sheòrsan dàta iom-fhillte agus structaran dàta iom-fhillte.
- Sreath ùine
- Stòr-dàta ioma-clàr
- Teacs fosgailte
Chan e, leasaich sinn an àrd-ùrlar againn gus riatanasan àireamhachd a lughdachadh (me chan eil feum air GPU), gun a bhith a’ toirt buaidh air cruinneas an dàta. A bharrachd air an sin, bidh sinn a’ toirt taic do sgèileadh fèin-ghluasadach, gus an urrainn dhuinn stòran-dàta mòra a cho-chur.
Tha. Tha bathar-bog Syntho air a bharrrachadh airson stòran-dàta anns a bheil grunn chlàran.
A thaobh seo, bidh Syntho gu fèin-obrachail a’ lorg nan seòrsaichean dàta, sgeamaichean agus chruthan gus cruinneas dàta a mheudachadh. Airson stòr-dàta ioma-bhòrd, bidh sinn a’ toirt taic do cho-dhùnadh dàimh bùird fèin-ghluasadach agus synthesis gus ionracas iomraidh a ghleidheadh.
Tha dàta synthetigeach, ach tha an sgioba againn fìor!
Cuir fios gu Syntho agus cuiridh aon de na h-eòlaichean againn fios thugad aig astar solais gus sgrùdadh a dhèanamh air luach dàta synthetigeach!