משאבה הידראולית של ALBERT ABT1-55-4R02-Z11 ALBERT ABT1-25-1R00-B10E ABT1-55-2R02-C1 משאבת סרוו משאבה הידראולית.הגדלת גודל המודל בעת אימון מקדים של ייצוגי שפה טבעית מביאה לעתים קרובות לביצועים משופרים במשימות במורד הזרם. עם זאת, בשלב מסוים עליות נוספות במודל הופכות לקשות יותר עקב מגבלות זיכרון GPU/TPU ו זמני אימון ארוכים יותר. כדי לטפל בבעיות אלו, אנו מציגים שתי טכניקות להפחתת פרמטרים להורדת צריכת הזיכרון ולהגברת האימון המהירות של BERT (Devlin et al., 2019). עדויות אמפיריות מקיפות מראות שהשיטות המוצעות שלנו מובילות למודלים שמתקדמים הרבה יותר בהשוואה אליהם BERT המקורי. אנו משתמשים גם באובדן בפיקוח עצמי המתמקד בדוגמנות קוהרנטיות בין משפטים, ולהראות את זה בעקביות עוזר למשימות במורד הזרם עם כניסות מרובות משפטים. כתוצאה מכך, המודל הטוב ביותר שלנו מבסס את המצב החדש ביותר תוצאות על מדדי ה-GLUE, RACE ו-SQuAD תוך שהם בעלי פחות פרמטרים בהשוואה ל-BERT-large. הקוד והדגמים שהוכשרו מראש זמינים |
