मेमरिस्टर प्रशिक्षण से एआई ऊर्जा लागत में कटौती होती है

चीनी शोधकर्ताओं ने एआई प्रशिक्षण ऊर्जा के उपयोग को परिमाण के क्रम में कम करने के लिए मेमरिस्टर हार्डवेयर पर संभाव्य अपडेट का उपयोग किया, जिससे अल्ट्रा-कुशल इलेक्ट्रॉनिक्स का मार्ग प्रशस्त हुआ।



चीनी वैज्ञानिकों ने मेमरिस्टर हार्डवेयर का उपयोग करके ऊर्जा-भूखे एआई मॉडल को प्रशिक्षित करने में एक सफलता का खुलासा किया है, जिससे पारंपरिक जीपीयू-आधारित प्रशिक्षण की तुलना में ऊर्जा की खपत लगभग छह ऑर्डर कम हो गई है।उनका नया दृष्टिकोण मेमोरीस्टर-आधारित तंत्रिका नेटवर्क में लंबे समय से चली आ रही हार्डवेयर-सॉफ्टवेयर बेमेल चुनौती से निपटता है और अगली पीढ़ी के एआई इलेक्ट्रॉनिक्स के लिए ऊर्जा प्रोफाइल को नया आकार दे सकता है।

प्रगति के मूल में एक त्रुटि-जागरूक संभाव्य अद्यतन (ईएपीयू) एल्गोरिदम है जो तंत्रिका नेटवर्क प्रशिक्षण में उपयोग किए जाने वाले ग्रेडिएंट-आधारित वजन अपडेट के साथ मेमरिस्टर उपकरणों के शोर, अप्रत्याशित व्यवहार को संरेखित करता है।पारंपरिक बैकप्रॉपैगेशन मॉडल वजन के लिए छोटे, सटीक समायोजन करता है, लेकिन भंडारण और प्रसंस्करण को संयोजित करने वाले मेमोरीस्टोरसनालॉग डिवाइस लिखने के शोर और बहाव से पीड़ित होते हैं जो ऐसे सूक्ष्म परिवर्तनों को प्रभावित करते हैं।उस शोर से लड़ने के बजाय, ईएपीयू रणनीति स्टोचैस्टिसिटी को अपनाती है: यह संभावित रूप से डिवाइस के शोर सीमा के नीचे अपडेट को छोड़ते हुए बड़े वजन बदलावों को लागू करता है, लिखने की संख्या में 99% से अधिक की कटौती करता है और ऊर्जा के उपयोग को नाटकीय रूप से कम करता है।

टीम ने एक प्रयोगात्मक 180 एनएम मेमरिस्टर ऐरे, इमेज डीनोइज़िंग के लिए प्रशिक्षण नेटवर्क और पारंपरिक प्रशिक्षण विधियों के बराबर या उससे बेहतर गुणवत्ता के साथ सुपर-रिज़ॉल्यूशन पर अपनी पद्धति को मान्य किया, लेकिन ऊर्जा के केवल एक छोटे से अंश का उपयोग किया।152-लेयर रेसनेट और विज़न ट्रांसफॉर्मर सहित बड़े नेटवर्क का सिमुलेशन में परीक्षण किया गया, जिसमें मानक दृष्टिकोण की तुलना में शोर वाले हार्डवेयर पर 60% से अधिक सटीकता का लाभ दिखाया गया।

ऊर्जा बचत के अलावा, कम अद्यतन आवृत्ति डिवाइस के जीवनकाल को लगभग 1,000× तक बढ़ा देती है, जिससे वाणिज्यिक मेमरिस्टर सिस्टम के लिए एक महत्वपूर्ण बाधा कम हो जाती है।पूर्व मेमरिस्टर प्रशिक्षण योजनाओं की तुलना में, ईएपीयू प्रशिक्षण ऊर्जा में लगभग 50× और सर्वोत्तम मौजूदा अनुकूलित एल्गोरिदम की तुलना में लगभग 13× कटौती करता है।

शोधकर्ता अपनी तकनीक के लिए व्यापक अनुप्रयोग देखते हैं, संभावित रूप से इसे अन्य मेमोरी प्रौद्योगिकियों जैसे फेरोइलेक्ट्रिक ट्रांजिस्टर और मैग्नेटोरेसिस्टिव रैम और यहां तक ​​​​कि बड़े पैमाने पर एआई प्रशिक्षण समूहों तक विस्तारित करते हैं जहां ऊर्जा लागत एक रणनीतिक चिंता का विषय है।यदि इसे बढ़ाया और व्यावसायीकरण किया जाए, तो यह कार्य टिकाऊ, ऊर्जा-कुशल एआई इलेक्ट्रॉनिक्स को व्यावहारिक वास्तविकता बनाने में मदद कर सकता है।