मानव विशेषज्ञों से बेहतर प्रदर्शन करने वाला AI मॉडल

गूगल जेमिनी अल्ट्रा ने मैसिव मल्टीटास्क लैंग्वेज़ अंडरस्टैंडिंग (MMLU) टेस्ट में 90.1% स्कोर किया, जिससे यह मानव विशेषज्ञों से बेहतर प्रदर्शन करने वाला पहला AI मॉडल बन गया है।

MMLU टेस्ट क्या है?

• MMLU एक व्यापक बेंचमार्क है, जो 57 विषयों (गणित, भौतिकी, इतिहास, कानून, चिकित्सा और नैतिकता) में AI के ज्ञान और समस्या-समाधान क्षमता का मूल्यांकन करता है।

स्कोर तुलना:

• औसत मानव स्कोर: ~34.5%
• विशेषज्ञ मानव स्कोर: ~89.8%
• GPT-4 स्कोर: ~86.4%
• जेमिनी अल्ट्रा स्कोर: 90.0%–90.1%

महत्वपूर्ण उपलब्धि क्यों है?

1. पहला AI मॉडल जो मानव विशेषज्ञों से बेहतर प्रदर्शन करता है।
2. 32 प्रमुख AI बेंचमार्क में से 30 में सर्वश्रेष्ठ।
3. बहु-मॉडल क्षमता: पाठ, छवि, ....