ارزیابی کاربرد و شباهت در مولدهای داده مصنوعی: یک فرو رفتن عمیق فنی و تجزیه و تحلیل مقایسه ای

تجزیه و تحلیل مقایسه‌ای با استفاده از یک چارچوب ارزیابی استاندارد و تکنیک‌های تست یکسان در همه مدل‌ها، از جمله موتورهای Syntho و مدل‌های SDV انجام شد. با ترکیب مجموعه‌های داده از منابع یکسان و قرار دادن آن‌ها در آزمایش‌های آماری مشابه و ارزیابی‌های مدل یادگیری ماشین، از مقایسه منصفانه و بی‌طرفانه اطمینان حاصل می‌کنیم. بخش زیر به جزئیات عملکرد هر تولید کننده داده مصنوعی در محدوده معیارهای ارائه شده در بالا می‌پردازد.  

در مورد مجموعه داده مورد استفاده برای ارزیابی، ما از آن استفاده کردیم مجموعه داده های سرشماری بزرگسالان UCI که یک مجموعه داده شناخته شده در جامعه یادگیری ماشینی است. ما داده ها را قبل از تمام آموزش ها تمیز کردیم و سپس مجموعه داده را به دو مجموعه (یک مجموعه آموزشی و یک مجموعه نگهدارنده برای آزمایش) تقسیم کردیم. ما از مجموعه آموزشی برای تولید 1 میلیون نقطه داده جدید با هر یک از مدل‌ها استفاده کردیم و معیارهای مختلفی را روی این مجموعه داده‌های تولید شده ارزیابی کردیم. برای ارزیابی‌های بیشتر یادگیری ماشین، از مجموعه نگه‌داری برای ارزیابی معیارهایی مانند موارد مربوط به TSTR و TRTS استفاده کردیم.  

هر ژنراتور با پارامترهای پیش فرض اجرا شد. از آنجایی که برخی از مدل‌ها، مانند Syntho، می‌توانند خارج از جعبه روی هر داده جدولی کار کنند، هیچ تنظیم دقیقی انجام نشد. جستجوی فراپارامترهای مناسب برای هر مدل زمان قابل توجهی را می طلبد و جدول 2 قبلاً تفاوت زمانی زیادی را بین مدل Syntho و مدل های آزمایش شده نشان می دهد. 

قابل ذکر است که برخلاف بقیه مدل‌ها در SDV، سینتی‌سایزر کوپولای گاوسی بر اساس روش‌های آماری است. در مقابل، بقیه مبتنی بر شبکه‌های عصبی مانند مدل‌های شبکه‌های متخاصم مولد (GAN) و رمزگذارهای خودکار متغیر هستند. به همین دلیل است که کوپولای گاوسی را می توان به عنوان یک خط پایه برای همه مدل های مورد بحث در نظر گرفت.