दीपसेक की बढ़ती लोकप्रियता के साथ, बर्नस्टीन की हालिया रिपोर्ट में कहा गया है कि चीनी एआई ऐप शानदार दिखता है, लेकिन चमत्कार नहीं है, और यह $ 5 मिलियन के लिए नहीं बनाया गया है।
रिपोर्ट में उल्लेख किया गया है कि दीपसेक का दावा, जो कि $ 5 मिलियन की लागत से निर्मित Openai द्वारा CHATGPT की तुलना में है, झूठा है।
“ऐसा हमारा विश्वास है दीपसेक “$ 5M के लिए Openai का निर्माण नहीं किया”; मॉडल शानदार दिखते हैं, लेकिन हमें नहीं लगता कि वे चमत्कार हैं; और सप्ताहांत में परिणामी ट्विटर-वर्स पैनिक ओवरब्लन लगता है, ” एएनआई बर्नस्टीन रिपोर्ट का हवाला देते हुए रिपोर्ट किया।
बर्नस्टीन के विश्लेषक स्टेसी रसगॉन ने कहा, “उनके द्वारा बनाए गए मॉडल शानदार हैं, लेकिन वे चमत्कार नहीं हैं।” संबंधी प्रेस।
एआई मॉडल के दो मुख्य परिवार, ‘डीपसेक-वी 3’ और ‘दीपसेक आर 1‘, चीनी एआई ऐप द्वारा विकसित किया गया है।
V3 मॉडल एक बड़ा भाषा मॉडल है जो विशेषज्ञ (MOE) वास्तुकला के मिश्रण का उपयोग करता है। यह आर्किटेक्चर एक साथ काम करने के लिए कई छोटे मॉडलों को जोड़ती है, जिसके परिणामस्वरूप अन्य बड़े मॉडलों की तुलना में कम संसाधनों का उपयोग करते हुए उच्च प्रदर्शन होता है। कुल मिलाकर, V3 मॉडल में एक समय में लगभग 37 बिलियन सक्रिय उपयोगकर्ताओं के साथ 671 बिलियन पैरामीटर हैं।
इसमें मल्टी-हेड लेटेंट ध्यान (MHLA), मेमोरी उपयोग को कम करना, और दक्षता के लिए FP8 गणना का उपयोग करके मिश्रित-सटीक प्रशिक्षण जैसी नवीन तकनीकें शामिल हैं।
V3 मॉडल के लिए, दीपसेक लगभग दो महीने के लिए 2,048 NVIDIA H800 GPU का एक क्लस्टर, पूर्व-प्रशिक्षण के लिए 2.7 मिलियन GPU घंटे और 2.8 मिलियन GPU घंटे, पोस्ट-ट्रेनिंग सहित।
अनुमानों के अनुसार, इस प्रशिक्षण की लागत $ 2 प्रति GPU घंटे किराये की दर के आधार पर लगभग $ 5 मिलियन होगी। रिपोर्ट का दावा है कि यह राशि मॉडल के विकास के लिए की गई अन्य लागतों के लिए जिम्मेदार नहीं है।
दीपसेक आर 1, जो ओपनईएआई मॉडल के साथ प्रमुख रूप से प्रतिस्पर्धा करता है, वी 3 फाउंडेशन पर बनाया गया है, लेकिन तर्क क्षमताओं में सुधार करने के लिए सुदृढीकरण सीखने (आरएल) और अन्य तकनीकों का उपयोग करता है।
रिपोर्ट में कहा गया है कि आर 1 मॉडल के लिए आवश्यक संसाधन बहुत पर्याप्त थे और कंपनी द्वारा इसका हिसाब नहीं दिया गया था।
हालांकि, रिपोर्ट ने स्वीकार किया कि दीपसेक के मॉडल प्रभावशाली हैं, लेकिन $ 5 मिलियन के लिए एक Openai प्रतियोगी के निर्माण के बारे में घबराहट और अतिरंजित दावे गलत हैं।
