AdamW Optimizer

הכלי AdamW Optimizer מספק קווים מנחים עקרוניים להקמת פרמטרי AdamW של PyTorch במהלך אימון רשתות עצביות. קהל היעד כולל מהנדסי ML וחוקרים המבקשים נקודות התחלה מהימנות ואסטרטגיות תכנון לשיפור ההתקבצות וההכללה. הכלי מנתח את model_type, dataset_size, batch_size ואת החומרה כדי להציע סט פרמטרים ספציפי עם נימוק. הוא מסביר את תפקיד learning_rate, weight_decay, beta1, beta2 ו-EPS ומציע אפשרויות תכנון כמו Warmup ו-Cosine Annealing. באופן תיאורטי AdamW מפריד את דעיכת המשקל מעדכוני הגרדיאנטים, וההמלצות משקפות הפרדה זו. הוא תומך בקבוצות פרמטרים אופציונליות, צבירת גרדיאנטים ותוכניות scheduler עבור ארכיטקטורות שונות. מקרי שימוש כוללים CNNs, transformers ודגמי רגרסיה קטנים שאורכים על מאגרי נתונים של ראייה סטנדרטיים או נתונים טבלאיים. הערך של הכלי טמון במתן נקודות התחלה על בסיס נתונים ובתהליך כוונון החוזר, שמפחית ריצות מיותרות ומאיץ מחזורי יישום. פונקציות מפתח כוללות סט פרמטרים שנוצר, תוכנית scheduler נלווית והסבר תמציתי שמקשר בחירות לגודל המודל, להיקף נתונים ולתקציב האימון.