การประเมินประโยชน์ใช้สอยและความคล้ายคลึงในตัวสร้างข้อมูลสังเคราะห์: การเจาะลึกทางเทคนิคและการวิเคราะห์เชิงเปรียบเทียบ
บทนำ
ในยุคดิจิทัลปัจจุบัน ความตระหนักรู้เกี่ยวกับความเป็นส่วนตัวของข้อมูลมีเพิ่มมากขึ้นอย่างมาก ผู้ใช้รับรู้ข้อมูลของตนมากขึ้นว่าเป็นลายนิ้วมือดิจิทัลที่เป็นเอกลักษณ์ ซึ่งก่อให้เกิดความเสี่ยงต่อความเป็นส่วนตัวในกรณีที่มีการละเมิดข้อมูล ข้อกังวลนี้ยังได้รับการขยายเพิ่มเติมโดยกฎระเบียบ เช่น GDPR ซึ่งอนุญาตให้ผู้ใช้สามารถขอลบข้อมูลของตนได้ แม้ว่ากฎหมายฉบับนี้จะมีความจำเป็นอย่างมาก แต่กฎหมายฉบับนี้อาจมีค่าใช้จ่ายสูงสำหรับบริษัทต่างๆ เนื่องจากการเข้าถึงข้อมูลจะลดลง ข้อจำกัดซึ่งมักใช้เวลาและทรัพยากรมากในการเอาชนะ
สารบัญ
เครื่องกำเนิดข้อมูลสังเคราะห์คืออะไร?
ป้อนข้อมูลสังเคราะห์ซึ่งเป็นวิธีแก้ปัญหาปริศนานี้ เครื่องกำเนิดข้อมูลสังเคราะห์จะสร้างชุดข้อมูลที่เลียนแบบข้อมูลผู้ใช้จริงในขณะเดียวกันก็รักษาความเป็นนิรนามและการรักษาความลับไว้ แนวทางนี้กำลังได้รับความสนใจในอุตสาหกรรมต่างๆ ตั้งแต่การดูแลสุขภาพไปจนถึงการเงิน ซึ่งความเป็นส่วนตัวเป็นสิ่งสำคัญยิ่ง
จะเลือกวิธีสร้างข้อมูลสังเคราะห์ที่เหมาะสมได้อย่างไร
ในภูมิทัศน์ที่หลากหลายของการสร้างข้อมูลสังเคราะห์ มีวิธีการมากมายให้เลือกใช้ ซึ่งแต่ละวิธีแย่งชิงความสนใจด้วยความสามารถเฉพาะตัว การเลือกวิธีการที่เหมาะสมที่สุดสำหรับการใช้งานเฉพาะเจาะจงต้องอาศัยความเข้าใจอย่างถ่องแท้เกี่ยวกับคุณลักษณะด้านประสิทธิภาพของแต่ละตัวเลือก สิ่งนี้จำเป็นต้องมีการประเมินที่ครอบคลุมของเครื่องกำเนิดข้อมูลสังเคราะห์ต่างๆ โดยอิงตามชุดตัวชี้วัดที่กำหนดไว้อย่างดีเพื่อทำการตัดสินใจอย่างมีข้อมูล
สิ่งต่อไปนี้คือการวิเคราะห์เชิงเปรียบเทียบที่เข้มงวดของ Syntho Engine ควบคู่ไปกับเฟรมเวิร์กโอเพ่นซอร์สที่มีชื่อเสียงอย่าง Synthetic Data Vault (SDV) ในการวิเคราะห์นี้ เราใช้ตัวชี้วัดที่ใช้กันทั่วไปหลายอย่าง เช่น ความเที่ยงตรงทางสถิติ ความแม่นยำในการทำนาย และความสัมพันธ์ระหว่างตัวแปร
ตัวชี้วัดการประเมินข้อมูลสังเคราะห์
ก่อนที่จะแนะนำตัวชี้วัดเฉพาะใดๆ เราต้องรับทราบว่ามีอุดมการณ์มากมายเกี่ยวกับการประเมินข้อมูลสังเคราะห์ ซึ่งแต่ละแนวคิดจะให้ข้อมูลเชิงลึกในแง่มุมหนึ่งของข้อมูล เมื่อคำนึงถึงสิ่งนี้ สามหมวดหมู่ต่อไปนี้จึงมีความโดดเด่นว่ามีความสำคัญและครอบคลุม ตัวชี้วัดเหล่านี้ให้ข้อมูลเชิงลึกเกี่ยวกับคุณภาพข้อมูลในด้านต่างๆ หมวดหมู่เหล่านี้คือ:
- ตัวชี้วัดความเที่ยงตรงทางสถิติ: ตรวจสอบคุณลักษณะทางสถิติพื้นฐานของข้อมูล เช่น ค่าเฉลี่ยและความแปรปรวน เพื่อให้แน่ใจว่าข้อมูลสังเคราะห์สอดคล้องกับโปรไฟล์ทางสถิติของชุดข้อมูลต้นฉบับ
- ความแม่นยำในการทำนาย: ตรวจสอบประสิทธิภาพของโมเดลการสร้างข้อมูลสังเคราะห์ ฝึกอบรมด้วยข้อมูลต้นฉบับ และประเมินข้อมูลสังเคราะห์ (Train Real – Test Synthetic, TRTS) และในทางกลับกัน (Train Synthetic – Test Real, TSTR)
- ความสัมพันธ์ระหว่างตัวแปร: หมวดหมู่รวมนี้ประกอบด้วย:
- ความสัมพันธ์ของคุณลักษณะ: เราประเมินว่าข้อมูลสังเคราะห์รักษาความสัมพันธ์ระหว่างตัวแปรได้ดีเพียงใดโดยใช้สัมประสิทธิ์สหสัมพันธ์ ตัวชี้วัดที่รู้จักกันดี เช่น Propensity Mean Squared Error (PMSE) จะเป็นประเภทนี้
- ข้อมูลร่วมกัน: เราวัดการพึ่งพาซึ่งกันและกันระหว่างตัวแปรเพื่อทำความเข้าใจความลึกของความสัมพันธ์เหล่านี้นอกเหนือจากความสัมพันธ์กัน
การวิเคราะห์เปรียบเทียบ: Syntho Engine กับทางเลือกโอเพ่นซอร์ส
การวิเคราะห์เปรียบเทียบดำเนินการโดยใช้กรอบงานการประเมินที่เป็นมาตรฐานและเทคนิคการทดสอบที่เหมือนกันในทุกรุ่น รวมถึงรุ่น Syntho Engine และ SDV ด้วยการสังเคราะห์ชุดข้อมูลจากแหล่งที่มาที่เหมือนกันและทดสอบทางสถิติและการประเมินโมเดลการเรียนรู้ของเครื่องเดียวกัน เรารับประกันว่าจะมีการเปรียบเทียบที่ยุติธรรมและเป็นกลาง ส่วนที่ต่อจากนี้ให้รายละเอียดเกี่ยวกับประสิทธิภาพของตัวสร้างข้อมูลสังเคราะห์แต่ละตัวในช่วงของตัววัดที่แสดงข้างต้น
สำหรับชุดข้อมูลที่ใช้ในการประเมินเราใช้ ชุดข้อมูลการสำรวจสำมะโนประชากรของผู้ใหญ่ UCI ซึ่งเป็นชุดข้อมูลที่รู้จักกันดีในชุมชนการเรียนรู้ของเครื่อง เราล้างข้อมูลก่อนการฝึกอบรมทั้งหมด จากนั้นแบ่งชุดข้อมูลออกเป็นสองชุด (ชุดฝึกอบรมและชุดทดสอบชั่วคราว) เราใช้ชุดการฝึกอบรมเพื่อสร้างจุดข้อมูลใหม่ 1 ล้านจุดกับแต่ละโมเดล และประเมินตัวชี้วัดต่างๆ บนชุดข้อมูลที่สร้างขึ้นเหล่านี้ สำหรับการประเมินแมชชีนเลิร์นนิงเพิ่มเติม เราใช้ชุด Holdout เพื่อประเมินเมตริก เช่น ที่เกี่ยวข้องกับ TSTR และ TRTS
ตัวสร้างแต่ละตัวทำงานด้วยพารามิเตอร์เริ่มต้น เนื่องจากโมเดลบางรุ่น เช่น Syntho สามารถทำงานกับข้อมูลแบบตารางได้ทันทีโดยไม่ต้องปรับแต่งใดๆ เลย การค้นหาไฮเปอร์พารามิเตอร์ที่เหมาะสมสำหรับแต่ละรุ่นจะใช้เวลานานพอสมควร และตารางที่ 2 ได้แสดงให้เห็นความแตกต่างด้านเวลาอย่างมากระหว่างแบบจำลองของ Syntho และแบบจำลองที่ทดสอบด้วย
เป็นที่น่าสังเกตว่า Gaussian Copula Synthesizer ต่างจากโมเดลอื่นๆ ใน SDV ที่ใช้วิธีทางสถิติ ในทางตรงกันข้าม ส่วนที่เหลือจะขึ้นอยู่กับโครงข่ายประสาทเทียม เช่น โมเดล Generative Adversarial Networks (GAN) และตัวเข้ารหัสอัตโนมัติแบบแปรผัน นี่คือเหตุผลว่าทำไม Gaussian Copula จึงถือเป็นพื้นฐานสำหรับโมเดลทั้งหมดที่กล่าวถึง
ผลสอบ
คุณภาพของข้อมูล
รูปที่ 1 การแสดงผลลัพธ์คุณภาพพื้นฐานด้วยภาพสำหรับทุกรุ่น
การยึดมั่นต่อแนวโน้มและการนำเสนอข้อมูลที่กล่าวถึงก่อนหน้านี้สามารถดูได้ในรูปที่ 1 และตารางที่ 1 ในที่นี้ แต่ละเมตริกที่ใช้งานสามารถตีความได้ดังต่อไปนี้:
- คะแนนคุณภาพโดยรวม: การประเมินโดยรวมของคุณภาพของข้อมูลสังเคราะห์ โดยผสมผสานแง่มุมต่างๆ เช่น ความคล้ายคลึงกันทางสถิติและคุณลักษณะของข้อมูล
- รูปร่างคอลัมน์: ประเมินว่าข้อมูลสังเคราะห์รักษารูปร่างการกระจายเช่นเดียวกับข้อมูลจริงสำหรับแต่ละคอลัมน์หรือไม่
- แนวโน้มคู่คอลัมน์: ประเมินความสัมพันธ์หรือความสัมพันธ์ระหว่างคู่ของคอลัมน์ในข้อมูลสังเคราะห์เปรียบเทียบกับข้อมูลจริง
โดยรวมแล้วจะสังเกตได้ว่า Syntho ได้คะแนนสูงมากทั่วกระดาน ประการแรก เมื่อดูคุณภาพข้อมูลโดยรวม (ประเมินด้วยไลบรารีเมทริก SDV) Syntho สามารถบรรลุผลลัพธ์ได้สูงกว่า 99% (โดยมีการยึดเกาะของรูปร่างคอลัมน์ 99.92% และการยึดเกาะของรูปร่างคู่คอลัมน์ 99.31%) ในขณะที่ SDV ได้รับผลลัพธ์สูงสุด 90.84% (ด้วย Gaussian Copula โดยมีความสม่ำเสมอของรูปร่างคอลัมน์ 93.82% และการเกาะติดของรูปร่างคู่คอลัมน์ 87.86%)
ตารางที่ 1 การแสดงคะแนนคุณภาพของแต่ละชุดข้อมูลที่สร้างขึ้นต่อโมเดลแบบตาราง
ความครอบคลุมของข้อมูล
โมดูลรายงานการวินิจฉัยของ SDV ทำให้เราทราบว่าข้อมูลที่สร้างโดย SDV (ในทุกกรณี) หายไปมากกว่า 10% ของช่วงตัวเลข ในกรณีของ Triplet-Based Variational Autoencoder (TVAE) ข้อมูลหมวดหมู่จำนวนเท่ากันยังขาดหายไปเมื่อเปรียบเทียบกับชุดข้อมูลดั้งเดิม ไม่มีการสร้างคำเตือนดังกล่าวพร้อมกับผลลัพธ์ที่ได้รับจากการใช้ Syntho
รูปที่ 2 การแสดงภาพเมตริกประสิทธิภาพแบบคอลัมน์โดยเฉลี่ยสำหรับทุกรุ่น
ในการวิเคราะห์เชิงเปรียบเทียบ โครงเรื่องของรูปที่ 2 แสดงให้เห็นว่าการเก็บถาวร SDV จะให้ผลลัพธ์ที่ดีกว่าเล็กน้อยในการครอบคลุมหมวดหมู่ด้วยโมเดลบางส่วน (ได้แก่ GaussianCopula, CopulaGAN และ Conditional Tabular GAN – CTGAN) อย่างไรก็ตาม สิ่งสำคัญคือต้องเน้นย้ำว่าความน่าเชื่อถือของข้อมูลของ Syntho นั้นเหนือกว่าโมเดล SDV เนื่องจากการครอบคลุมของหมวดหมู่และช่วงมีความคลาดเคลื่อนน้อยมาก โดยแสดงความแปรปรวนเพียง 1.1% ในทางตรงกันข้าม โมเดล SDV แสดงให้เห็นถึงการเปลี่ยนแปลงอย่างมาก ตั้งแต่ 14.6% ถึง 29.2%
เมตริกที่แสดงที่นี่สามารถตีความได้ดังนี้:
- ความครอบคลุมของหมวดหมู่: วัดการมีอยู่ของหมวดหมู่ทั้งหมดในข้อมูลสังเคราะห์เมื่อเปรียบเทียบกับข้อมูลจริง
- การครอบคลุมของช่วง: ประเมินว่าช่วงของค่าในข้อมูลสังเคราะห์ตรงกับช่วงในข้อมูลจริงมากน้อยเพียงใด
ตารางที่ 2 การแสดงแบบตารางของการครอบคลุมโดยเฉลี่ยของประเภทแอตทริบิวต์ที่กำหนดต่อโมเดล
ประโยชน์
ต่อไปในหัวข้อการใช้ประโยชน์ของข้อมูลสังเคราะห์ เรื่องของโมเดลการฝึกอบรมเกี่ยวกับข้อมูลจะมีความเกี่ยวข้องกัน เพื่อให้มีการเปรียบเทียบที่สมดุลและยุติธรรมระหว่างเฟรมเวิร์กทั้งหมด เราได้เลือกตัวแยกประเภทการเร่งความเร็วไล่ระดับสีตามค่าเริ่มต้นจากไลบรารี SciKit Learn ซึ่งเป็นที่ยอมรับกันดีว่าเป็นโมเดลที่มีประสิทธิภาพดีพร้อมการตั้งค่าที่พร้อมใช้งานทันที
มีการฝึกแบบจำลองที่แตกต่างกันสองแบบ หนึ่งแบบบนข้อมูลสังเคราะห์ (สำหรับ TSTR) และอีกแบบหนึ่งบนข้อมูลต้นฉบับ (สำหรับ TRTS) แบบจำลองที่ได้รับการฝึกอบรมเกี่ยวกับข้อมูลสังเคราะห์ได้รับการประเมินโดยใช้ชุดทดสอบการระงับ (ซึ่งไม่ได้ใช้ในระหว่างการสร้างข้อมูลสังเคราะห์) และแบบจำลองที่ได้รับการฝึกอบรมเกี่ยวกับข้อมูลต้นฉบับจะได้รับการทดสอบบนชุดข้อมูลสังเคราะห์
รูปที่ 3 การแสดงคะแนนพื้นที่ใต้เส้นโค้ง (AUC) ต่อวิธีต่อแบบจำลอง
ผลลัพธ์ที่แสดงให้เห็นด้านบนแสดงให้เห็นถึงความเหนือกว่าของการสร้างข้อมูลสังเคราะห์โดยกลไก Syntho เมื่อเปรียบเทียบกับวิธีอื่นๆ โดยเห็นว่าไม่มีความแตกต่างระหว่างผลลัพธ์ที่ได้รับจากวิธีการต่างๆ (ชี้ไปที่ความคล้ายคลึงกันในระดับสูงระหว่างข้อมูลสังเคราะห์และข้อมูลจริง) นอกจากนี้ เส้นประสีแดงที่แสดงในพล็อตคือผลลัพธ์ที่ได้จากการประเมินประสิทธิภาพพื้นฐานของการทดสอบ Train Real, Test Real (TRTR) เพื่อเป็นพื้นฐานสำหรับหน่วยเมตริกที่สังเกตได้ เส้นนี้แสดงถึงค่า 0.92 ซึ่งเป็นคะแนนพื้นที่ใต้เส้นโค้ง (คะแนน AUC) ที่ได้รับจากแบบจำลองที่ฝึกฝนกับข้อมูลจริงและทดสอบกับข้อมูลจริง
ตารางที่ 3 การแสดงคะแนน AUC แบบตารางที่ทำได้โดย TRTS และ TSTR ตามลำดับต่อแบบจำลอง
การเปรียบเทียบตามเวลา
โดยปกติแล้ว การพิจารณาเวลาที่ใช้ไปกับการสร้างผลลัพธ์เหล่านี้เป็นสิ่งสำคัญ การแสดงภาพด้านล่างแสดงให้เห็นเพียงสิ่งนี้
รูปที่ 5 การแสดงภาพเวลาที่ใช้ในการฝึกและปฏิบัติ การสร้างข้อมูลสังเคราะห์ หนึ่งล้านดาต้าพอยต์ในรุ่นที่มีและไม่มี GPU
รูปที่ 5 แสดงเวลาที่ใช้ในการสร้างข้อมูลสังเคราะห์ในการตั้งค่าที่แตกต่างกันสองแบบ การทดสอบแรก (ในที่นี้จะเรียกว่าไม่มี GPU) เป็นการทดสอบการทำงานบนระบบที่ใช้ CPU Intel Xeon ที่มี 16 คอร์ที่ทำงานที่ 2.20 GHz การทดสอบที่ทำเครื่องหมายว่า "รันด้วย GPU" อยู่ในระบบที่ใช้ CPU AMD Ryzen 9 7945HX พร้อม 16 คอร์ที่ทำงานที่ 2.5GHz และ GPU แล็ปท็อป NVIDIA GeForce RTX 4070 ดังที่เห็นได้ชัดเจนในรูปที่ 2 และในตารางที่ 2 ด้านล่าง สังเกตได้ว่า Syntho สามารถสร้างข้อมูลสังเคราะห์ได้เร็วกว่ามาก (ในทั้งสองสถานการณ์) ซึ่งมีความสำคัญอย่างยิ่งในเวิร์กโฟลว์แบบไดนามิก
ตารางที่ 5 การแสดงเวลาแบบตาราง การสร้างข้อมูลสังเคราะห์ หนึ่งล้านจุดข้อมูลในแต่ละรุ่นที่มีและไม่มี GPU
ข้อค้นพบนี้เน้นย้ำถึงความสำคัญของการประเมินคุณภาพอย่างละเอียดในการเลือกวิธีการสร้างข้อมูลสังเคราะห์ที่เหมาะสม Syntho's Engine ซึ่งมีแนวทางที่ขับเคลื่อนด้วย AI แสดงให้เห็นถึงจุดแข็งที่โดดเด่นในตัวชี้วัดบางอย่าง ในขณะที่เครื่องมือโอเพ่นซอร์สเช่น SDV โดดเด่นในเรื่องความคล่องตัวและการปรับปรุงที่ขับเคลื่อนโดยชุมชน
เนื่องจากข้อมูลสังเคราะห์มีการพัฒนาอย่างต่อเนื่อง เราขอแนะนำให้คุณใช้ตัววัดเหล่านี้ในโปรเจ็กต์ของคุณ สำรวจความซับซ้อน และแบ่งปันประสบการณ์ของคุณ คอยติดตามโพสต์ในอนาคตซึ่งเราจะเจาะลึกลงไปในตัวชี้วัดอื่นๆ และเน้นตัวอย่างการใช้งานในโลกแห่งความเป็นจริง
ท้ายที่สุดแล้ว สำหรับผู้ที่ต้องการทดสอบน้ำด้วยข้อมูลสังเคราะห์ ทางเลือกโอเพ่นซอร์สที่นำเสนออาจเป็นทางเลือกที่สมเหตุสมผลเมื่อพิจารณาจากความสามารถในการเข้าถึง อย่างไรก็ตาม สำหรับมืออาชีพที่นำเทคโนโลยีสมัยใหม่นี้ไปใช้ในกระบวนการพัฒนา จะต้องคว้าโอกาสในการปรับปรุงและหลีกเลี่ยงอุปสรรคทั้งหมด ดังนั้นจึงเป็นเรื่องสำคัญที่จะต้องเลือกตัวเลือกที่ดีที่สุดที่มีอยู่ จากการวิเคราะห์ที่ให้ไว้ข้างต้น จึงค่อนข้างชัดเจนว่า Syntho และ Syntho Engine เป็นเครื่องมือที่มีความสามารถมากสำหรับผู้ปฏิบัติงาน
เกี่ยวกับ Syntho
ซินโธ มอบแพลตฟอร์มการสร้างข้อมูลสังเคราะห์อัจฉริยะ โดยใช้ประโยชน์จากรูปแบบข้อมูลสังเคราะห์และวิธีการสร้างที่หลากหลาย ช่วยให้องค์กรต่างๆ สามารถแปลงข้อมูลอย่างชาญฉลาดให้กลายเป็นความได้เปรียบทางการแข่งขัน ข้อมูลสังเคราะห์ที่ AI สร้างขึ้นของเราจะเลียนแบบรูปแบบทางสถิติของข้อมูลต้นฉบับ เพื่อให้มั่นใจถึงความถูกต้อง ความเป็นส่วนตัว และความรวดเร็ว ตามที่ประเมินโดยผู้เชี่ยวชาญภายนอก เช่น SAS ด้วยคุณสมบัติการลบการระบุตัวตนอัจฉริยะและการแมปที่สอดคล้องกัน ข้อมูลที่ละเอียดอ่อนได้รับการปกป้องในขณะที่รักษาความสมบูรณ์ในการอ้างอิง แพลตฟอร์มของเราช่วยให้สามารถสร้าง การจัดการ และการควบคุมข้อมูลการทดสอบสำหรับสภาพแวดล้อมที่ไม่ใช่การใช้งานจริง โดยใช้วิธีการสร้างข้อมูลสังเคราะห์ตามกฎสำหรับสถานการณ์เป้าหมาย นอกจากนี้ ผู้ใช้ยังสามารถสร้างข้อมูลสังเคราะห์โดยทางโปรแกรมและรับข้อมูลการทดสอบที่สมจริงเพื่อพัฒนาสถานการณ์การทดสอบและการพัฒนาที่ครอบคลุมได้อย่างง่ายดาย
คุณต้องการเรียนรู้การใช้งานข้อมูลสังเคราะห์เชิงปฏิบัติเพิ่มเติมหรือไม่? รู้สึกอิสระที่จะ กำหนดการสาธิต!
เกี่ยวกับผู้แต่ง
นักศึกษาฝึกงานด้านวิศวกรรมซอฟต์แวร์
ต้าam เป็นนักศึกษาปริญญาตรีที่ Delft University of Technology และฝึกงานด้านวิศวกรรมซอฟต์แวร์ที่ ซินโธ.
วิศวกรการเรียนรู้เครื่องจักร
Mihai สำเร็จการศึกษาระดับปริญญาเอกจาก มหาวิทยาลัยบริสตอล ในหัวข้อการเรียนรู้การเสริมแรงแบบลำดับชั้นนำไปใช้กับวิทยาการหุ่นยนต์ และเป็น วิศวกรการเรียนรู้ของเครื่องt ซินโธ.
บันทึกคู่มือข้อมูลสังเคราะห์ของคุณตอนนี้!
- ข้อมูลสังเคราะห์คืออะไร?
- ทำไมองค์กรถึงใช้มัน?
- การเพิ่มมูลค่ากรณีไคลเอ็นต์ข้อมูลสังเคราะห์
- วิธีการเริ่มต้น
