ਸਿੰਥੈਟਿਕ ਡੇਟਾ ਜਨਰੇਟਰਾਂ ਵਿੱਚ ਉਪਯੋਗਤਾ ਅਤੇ ਸਮਾਨਤਾ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨਾ: ਇੱਕ ਤਕਨੀਕੀ ਡੂੰਘਾਈ ਅਤੇ ਤੁਲਨਾਤਮਕ ਵਿਸ਼ਲੇਸ਼ਣ

ਤੁਲਨਾਤਮਕ ਵਿਸ਼ਲੇਸ਼ਣ ਇੱਕ ਪ੍ਰਮਾਣਿਤ ਮੁਲਾਂਕਣ ਫਰੇਮਵਰਕ ਅਤੇ ਸਿੰਥੋ ਇੰਜਣ ਅਤੇ SDV ਮਾਡਲਾਂ ਸਮੇਤ ਸਾਰੇ ਮਾਡਲਾਂ ਵਿੱਚ ਸਮਾਨ ਪਰੀਖਣ ਤਕਨੀਕਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤਾ ਗਿਆ ਸੀ। ਇੱਕੋ ਜਿਹੇ ਸਰੋਤਾਂ ਤੋਂ ਡੇਟਾਸੈਟਾਂ ਦਾ ਸੰਸਲੇਸ਼ਣ ਕਰਕੇ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਇੱਕੋ ਜਿਹੇ ਅੰਕੜਾ ਟੈਸਟਾਂ ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲ ਮੁਲਾਂਕਣਾਂ ਦੇ ਅਧੀਨ ਕਰਕੇ, ਅਸੀਂ ਇੱਕ ਨਿਰਪੱਖ ਅਤੇ ਨਿਰਪੱਖ ਤੁਲਨਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦੇ ਹਾਂ। ਅਨੁਭਾਗ ਜੋ ਉੱਪਰ ਪੇਸ਼ ਕੀਤੇ ਗਏ ਮੈਟ੍ਰਿਕਸ ਦੀ ਸੀਮਾ ਵਿੱਚ ਹਰੇਕ ਸਿੰਥੈਟਿਕ ਡੇਟਾ ਜਨਰੇਟਰ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦਾ ਵੇਰਵਾ ਦਿੰਦਾ ਹੈ।  

ਜਿਵੇਂ ਕਿ ਮੁਲਾਂਕਣ ਲਈ ਵਰਤੇ ਗਏ ਡੇਟਾਸੈਟ ਲਈ, ਅਸੀਂ ਇਸ ਦੀ ਵਰਤੋਂ ਕੀਤੀ UCI ਬਾਲਗ ਦੀ ਜਨਗਣਨਾ ਡੇਟਾਸੈਟ ਜੋ ਕਿ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਕਮਿਊਨਿਟੀ ਵਿੱਚ ਇੱਕ ਮਸ਼ਹੂਰ ਡੇਟਾਸੈਟ ਹੈ। ਅਸੀਂ ਸਾਰੀ ਸਿਖਲਾਈ ਤੋਂ ਪਹਿਲਾਂ ਡੇਟਾ ਨੂੰ ਸਾਫ਼ ਕੀਤਾ ਅਤੇ ਫਿਰ ਡੇਟਾਸੈਟ ਨੂੰ ਦੋ ਸੈੱਟਾਂ ਵਿੱਚ ਵੰਡਿਆ (ਇੱਕ ਸਿਖਲਾਈ ਅਤੇ ਟੈਸਟਿੰਗ ਲਈ ਇੱਕ ਹੋਲਡਆਊਟ ਸੈੱਟ)। ਅਸੀਂ ਹਰੇਕ ਮਾਡਲ ਦੇ ਨਾਲ 1 ਮਿਲੀਅਨ ਨਵੇਂ ਡੇਟਾਪੁਆਇੰਟ ਬਣਾਉਣ ਲਈ ਸਿਖਲਾਈ ਸੈੱਟ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਅਤੇ ਇਹਨਾਂ ਤਿਆਰ ਕੀਤੇ ਡੇਟਾਸੈਟਾਂ 'ਤੇ ਵੱਖ-ਵੱਖ ਮੈਟ੍ਰਿਕਸ ਦਾ ਮੁਲਾਂਕਣ ਕੀਤਾ। ਹੋਰ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮੁਲਾਂਕਣਾਂ ਲਈ, ਅਸੀਂ ਮੈਟ੍ਰਿਕਸ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ ਹੋਲਡਆਊਟ ਸੈੱਟ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਹੈ ਜਿਵੇਂ ਕਿ TSTR ਅਤੇ TRTS ਨਾਲ ਸੰਬੰਧਿਤ।  

ਹਰੇਕ ਜਨਰੇਟਰ ਨੂੰ ਡਿਫੌਲਟ ਪੈਰਾਮੀਟਰਾਂ ਨਾਲ ਚਲਾਇਆ ਜਾਂਦਾ ਸੀ। ਜਿਵੇਂ ਕਿ ਕੁਝ ਮਾਡਲ, ਜਿਵੇਂ ਕਿ ਸਿੰਥੋ, ਕਿਸੇ ਵੀ ਟੇਬਲਰ ਡੇਟਾ 'ਤੇ ਬਾਕਸ ਤੋਂ ਬਾਹਰ ਕੰਮ ਕਰ ਸਕਦੇ ਹਨ, ਕੋਈ ਵਧੀਆ ਟਿਊਨਿੰਗ ਨਹੀਂ ਕੀਤੀ ਗਈ ਸੀ। ਹਰੇਕ ਮਾਡਲ ਲਈ ਸਹੀ ਹਾਈਪਰਪੈਰਾਮੀਟਰਾਂ ਦੀ ਖੋਜ ਕਰਨ ਵਿੱਚ ਕਾਫ਼ੀ ਸਮਾਂ ਲੱਗੇਗਾ, ਅਤੇ ਸਾਰਣੀ 2 ਪਹਿਲਾਂ ਹੀ ਸਿੰਥੋ ਦੇ ਮਾਡਲ ਅਤੇ ਇਸਦੇ ਵਿਰੁੱਧ ਟੈਸਟ ਕੀਤੇ ਗਏ ਮਾਡਲਾਂ ਵਿੱਚ ਇੱਕ ਵੱਡਾ ਅੰਤਰ ਦਰਸਾਉਂਦਾ ਹੈ। 

ਇਹ ਧਿਆਨ ਦੇਣ ਯੋਗ ਹੈ ਕਿ SDV ਵਿੱਚ ਬਾਕੀ ਮਾਡਲਾਂ ਦੇ ਉਲਟ, ਗੌਸੀਅਨ ਕੋਪੁਲਾ ਸਿੰਥੇਸਾਈਜ਼ਰ ਅੰਕੜਾ ਵਿਧੀਆਂ 'ਤੇ ਅਧਾਰਤ ਹੈ। ਇਸ ਦੇ ਉਲਟ, ਬਾਕੀ ਨਿਊਰਲ ਨੈੱਟਵਰਕਾਂ 'ਤੇ ਆਧਾਰਿਤ ਹਨ ਜਿਵੇਂ ਕਿ ਜਨਰੇਟਿਵ ਐਡਵਰਸੇਰੀਅਲ ਨੈੱਟਵਰਕ (GAN) ਮਾਡਲ ਅਤੇ ਵੇਰੀਏਸ਼ਨਲ ਆਟੋ-ਏਨਕੋਡਰ। ਇਹੀ ਕਾਰਨ ਹੈ ਕਿ ਗੌਸੀਅਨ ਕੋਪੁਲਾ ਨੂੰ ਵਿਚਾਰੇ ਗਏ ਸਾਰੇ ਮਾਡਲਾਂ ਲਈ ਬੇਸਲਾਈਨ ਵਜੋਂ ਦੇਖਿਆ ਜਾ ਸਕਦਾ ਹੈ।