01 क्या हुआ
Hugging Face के लेखकों ने Open TTS Leaderboard बनाने की घोषणा की है, जो टेक्स्ट-टू-स्पीच मॉडल का मूल्यांकन वस्तुनिष्ठ मीट्रिक्स के माध्यम से करने के लिए एक मंच है। यह Qwen3 ASR के साथ WER/CER के माध्यम से सुगमता, H200 GPU पर बैच ऑफलाइन इनफ़रेंस के लिए RTFx और H200 और CPU पर बैच आकार 1 के साथ स्ट्रीमिंग के लिए TTFA के माध्यम से गति, और WavLM एम्बेडिंग के कोसाइन समानता के माध्यम से वक्ता समानता को मापता है। CPU परिणाम केवल छोटे लेकिन बढ़ते हुए मॉडल सेट के लिए उपलब्ध हैं।
02 मुख्य विवरण
- डिफ़ॉल्ट रैंकिंग Seed TTS Eval और CV3 Eval के अंग्रेज़ी स्प्लिट पर मैक्रो-औसत WER का उपयोग करके बनाई गई है। जिन भाषाओं के लिए Seed TTS Eval में ऑडियो नहीं है, उनके लिए केवल CV3 Eval का उपयोग किया जाता है; चीनी, जापानी और कोरियाई के लिए CER के साथ रिपोर्ट किया जाता है।
- स्ट्रीमिंग तुलना में, प्रत्येक मॉडल समान 50 अंग्रेज़ी CV3-Eval प्रॉम्प्ट पर एक समय में एक ऑडियो चलाता है, अपनी डिफ़ॉल्ट वॉयस और समान हार्डवेयर का उपयोग करते हुए। पहले तीन रन वार्म-अप के रूप में छोड़ दिए जाते हैं, और मीडियन TTFA रिपोर्ट किया जाता है।
- लेखकों के अनुसार, वस्तुनिष्ठ मूल्यांकन मॉडल जांच को वोट संग्रह के कुछ सप्ताह से घटाकर कुछ घंटे कर देता है। वे यह भी जोर देते हैं कि लीडरबोर्ड मानव-प्राथमिकता रैंकिंग का प्रतिस्थापन नहीं है, और WER तथा वक्ता समानता स्वाभाविकता या अभिव्यंजना को नहीं मापते हैं।
- लेखकों के अपने बेंचमार्क परिणामों के अनुसार, Kokoro-82M, supertonic-3 और fishaudio/s2-pro अंग्रेज़ी WER में अग्रणी हैं। वे परिणाम Hugging Face के रन से आए हैं और स्वतंत्र रूप से सत्यापित नहीं हुए हैं; लेखकों का कहना है कि मूल्यांकन स्क्रिप्ट जल्द ही ओपन-सोर्स की जाएंगी।
03 यह क्यों महत्वपूर्ण है
डेवलपर्स के लिए, यह लीडरबोर्ड हफ्तों तक वोट एकत्र किए बिना मॉडलों की तुलना करने का एक तेज़ और पुनरुत्पादनीय तरीका प्रदान करता है। फिर भी इसके मीट्रिक्स प्रॉक्सी ही हैं: WER और वक्ता समानता स्वाभाविकता, अभिव्यंजना या श्रोता प्राथमिकता को नहीं मापते हैं, और लीडरबोर्ड मानव रैंकिंग का प्रतिस्थापन नहीं है।
04 किनके लिए महत्वपूर्ण है
वॉयस सिस्टम इंजीनियर, मॉडल मूल्यांकन विशेषज्ञ और TTS मॉडल चुनने वाली टीमें।