تطبيقات خوارزمية جاوس-نيوتن لتحسين تدريب الشبكات العصبية العميقة

الملخص

تناول هذه الورقة البحثية تطبيق خوارزمية جاوس-نيوتن لتحسين الشبكات العصبية العميقة ، متجاوزةً بذلك قصور أساليب التحسين التقليدية. فبينما تُستخدم تقنيات مثل التدرج العشوائي  (SGD)   على نطاق واسع، إلا أنها غالبًا ما تعاني من بطء التقارب وحساسية مفرطة للمعاملات الفائقة. تقدم خوارزمية جاوس-نيوتن، التي يستفيد من معلومات المشتقة من الرتبة الثانية، بديلاً أكثر كفاءة من خلال تقريب مصفوفة هيسيان، مما يتيح تحديثات أكثر دقة للمعاملات ومعدلات تقارب أسرع.

في هذه الدراسة، نُطبّق إطار عمل خوارزمية جاوس-نيوتن ضمن بنية شبكة عصبية التفافية، ونُقيّم أداءها على مجموعة بيانات CIFAR-10    التي تتكون من 60,000 صورة موزعة على 10 فئات. تُظهر تجاربنا أن هذه الطريقة تُحسّن دقة التصنيف بشكل ملحوظ وتقلل الخسارة مقارنةً بالتدرج العشوائي التقليدي

نناقش في هذه الورقة التطورات الحديثة في تقنيات التحسين من خلال دراسات أُجريت في عامي 2024 و2025، مما يُضفي مزيدًا من السياق على نتائجنا. تُقدَّم في هذه الورقة نتائج تجريبية مفصلة، ​​تشمل مقارنات سرعة التقارب ومقاييس الأداء النهائية. كما تتضمن روابط إلى الشيفرة البرمجية ومجموعة البيانات لضمان إمكانية إعادة إنتاج النتائج، مما يشجع على المزيد من البحث في تحسين جاوس-نيوتن في تطبيقات التعلم العميق. ونهدف من خلال هذا العمل إلى تسليط الضوء على إمكانات تقنيات التحسين المتقدمة في تعزيز كفاءة تدريب الشبكات العصبية العميقة، مما يمهد الطريق لابتكارات مستقبلية في هذا المجال