বেনামী ডেটা বনাম সিন্থেটিক ডেটা

এডউইন ভ্যান উনেন সিন্থোতে একটি আসল ডেটাসেট পাঠিয়েছেন এবং আমরা ডেটাসেটটি সংশ্লেষিত করেছি। কিন্তু প্রশ্নটিও ছিল: "আমরা যদি সিন্থেটিক ডেটাকে বেনামী ডেটার সাথে তুলনা করি তাহলে কী হবে?" যেহেতু আপনি একটি বেনামী ডেটাতে অনেক তথ্য হারাবেন, একটি ডেটাসেট সংশ্লেষণ করার সময়ও কি এটি ঘটবে? আমরা 56.000 সারি এবং কোম্পানির মন্থন-তথ্যের 128টি কলাম সহ টেলিযোগাযোগ শিল্প থেকে একটি ডেটাসেট দিয়ে শুরু করেছি। এই ডেটাসেটটি সংশ্লেষিত এবং বেনামী উভয়ই ছিল তাই এডউইন সিনথেটাইজেশনকে বেনামীকরণের সাথে তুলনা করতে পারে। তারপর, এডউইন SAS Viya ব্যবহার করে মডেলিং শুরু করেন। তিনি ধ্রুপদী রিগ্রেশন কৌশল এবং সিদ্ধান্ত গাছ ব্যবহার করে মূল ডেটাসেটে কয়েকটি মন্থন মডেল তৈরি করেছেন, তবে আরও অত্যাধুনিক কৌশল যেমন নিউরাল নেটওয়ার্ক, গ্রেডিয়েন্ট বুস্টিং, র্যান্ডম ফরেস্ট - এই ধরণের কৌশলগুলি। মডেল তৈরি করার সময় স্ট্যান্ডার্ড SAS Viya বিকল্পগুলি ব্যবহার করা।

তারপর, এটি ফলাফল দেখার সময় ছিল. ফলাফলগুলি সিন্থেটিক ডেটার জন্য খুব আশাব্যঞ্জক ছিল এবং বেনামীর জন্য নয়। শ্রোতাদের মধ্যে নন-মেশিন-লার্নিং বিশেষজ্ঞদের জন্য, আমরা ROC- বক্ররেখার নীচের এলাকাটি দেখি যা মডেলটির নির্ভুলতা সম্পর্কে কিছু বলে। বেনামী ডেটার সাথে মূল ডেটার তুলনা করে, আমরা দেখতে পাই যে আসল ডেটা মডেলের .8 এর ROC- বক্ররেখার অধীনে একটি এলাকা রয়েছে, যা বেশ ভাল, যাইহোক, বেনামী ডেটার .6 এর ROC- বক্ররেখার অধীনে একটি এলাকা রয়েছে৷ এর মানে আমরা বেনামী মডেলের সাথে অনেক তথ্য হারিয়ে ফেলি তাই আপনি অনেক ভবিষ্যদ্বাণী করার ক্ষমতা হারাবেন।

কিন্তু তারপর, প্রশ্ন সিন্থেটিক্স তথ্য সম্পর্কে কি? এখানে, আমরা ঠিক একই কাজ করেছি কিন্তু ডেটা বেনামী করার পরিবর্তে, সিন্থো ডেটা সংশ্লেষিত করেছে। এখন, আমরা দেখতে পাচ্ছি মূল ডেটা এবং সিন্থেটিক ডেটা উভয়েরই .8 এর ROC- বক্ররেখার অধীনে একটি এলাকা রয়েছে, যা খুব একই রকম। পরিবর্তনশীলতার কারণে ঠিক একই নয়, তবে খুব অনুরূপ। এর মানে, সিন্থেটিক ডেটার সম্ভাবনা খুবই আশাব্যঞ্জক – এডউইন এই বিষয়ে খুবই খুশি।