שלב אופטימייזר PyTorch

הכלי שלב אופטימייזר PyTorch מחושב עדכון פרמטר יחיד עבור מודל תחת הגדרות אופטימייזר נבחרות. הוא מיועד למהנדסי ML, מרצים וחוקרים שמעוניינים визуализ ולהבין איך gradient מעדכן פרמטר ב-PyTorch. הכלי accepts a parameter value, its gradient and the learning rate, plus optional optimizer state such as momentum or Adam's beta values, and returns the updated parameter along with the update delta. This helps verify intuition before integrating into training code.

תפעלת רעיונית: עבור SGD, העדכון = p - lr * g. אם משתמשים במומנטום, term מהירות מצטבר: v = mu*v + lr*g; updated = p - v. עבור Adam, אומדים moment ו-bias-corrected; העדכון משתמש ב-m_hat ו- v_hat. הכלי תומך בתבניות אלה ויכול להציג את הדלתה ואת המצב האופציונלי.

קהל יעד וערך: מדעני נתונים, תלמידי ML ומלמדים יכולים להראות את ההשפעה של שינוי lr או momentum, להשוות נתיבי עדכון בין אופטימייזרים ולהרהר ביציבות. מקרים כוללים בדיקות סדר גודל גרידיאנט, הבנת התנהגות התכנסות והכנת ניסויי אימון עם כיווני עדכון צפויים.