مضخة هيدروليكية ALBERT ABT 1-55-4 R 02- Z11 ALBERT ABT 1-25-1 R 00- B10E ABT 1-55-2 R 02- C1 مضخة هيدروليكية مؤازرة.

غالبًا ما تؤدي زيادة حجم النموذج عند التدريب المسبق على تمثيلات اللغة الطبيعية إلى تحسين الأداء في المهام النهائية. ومع ذلك ، في مرحلة ما ، تصبح الزيادات الإضافية في النموذج أكثر صعوبة بسبب قيود ذاكرة GPU / TPU و

أوقات تدريب أطول. لمعالجة هذه المشاكل ، نقدم اثنين من تقنيات المعامِلات لتقليل استهلاك الذاكرة وزيادة التدريب

سرعة BERT (Devlin et al. ، 2019). تظهر الأدلة التجريبية الشاملة

أن أساليبنا المقترحة تؤدي إلى نماذج ذات مقياس أفضل بكثير مقارنةً بها

الأصلي BERT. نستخدم أيضًا الخسارة الخاضعة للإشراف الذاتي والتي تركز على النمذجة

التناسق بين الجمل ، وإظهار أنه يساعد باستمرار المهام النهائية مع

مدخلات متعددة الجمل. نتيجة لذلك ، فإن أفضل نموذج لدينا يؤسس حالة جديدة من الفن

النتائج على معايير GLUE و RACE و SQuAD مع وجود معلمات أقل مقارنةً بمعايير BERT الكبيرة. الكود والنماذج الجاهزة متوفرة