Paso del Optimizador PyTorch

La herramienta Paso del Optimizador PyTorch calcula una actualización de parámetro única para un modelo bajo configuraciones de optimizador seleccionadas. Está diseñada para ingenieros ML, educadores e investigadores que desean visualizar y razonar sobre cómo un gradiente actualiza un parámetro en PyTorch. La herramienta acepta un valor de parámetro, su gradiente y la tasa de aprendizaje, además del estado opcional del optimizador como momentum o los valores beta de Adam, y devuelve el parámetro actualizado junto con el delta de actualización. Esto ayuda a verificar la intuición antes de integrarlo en el código de entrenamiento.

Operación conceptual: Para SGD, actualizado = p - lr * g. Si se usa momentum, un término de velocidad se acumula: v = mu*v + lr*g; actualizado = p - v. En Adam, se calculan estimaciones de momentos y se corrigen sesgos; la actualización usa m_hat y v_hat. La herramienta soporta estos patrones y puede mostrar el delta y el estado opcional.

Audiencia y valor: Científicos de datos, estudiantes de ML y docentes pueden mostrar el efecto de variar lr o momentum, comparar rutas de actualización entre optimizadores y razonar sobre la estabilidad. Casos de uso incluyen comprobaciones de magnitud de gradiente, comprensión del comportamiento de convergencia y preparación de experimentos de entrenamiento con direcciones de actualización esperadas.

Características principales: validación de entradas, soporte para múltiples optimizadores, manejo de estado opcional, salidas que incluyen updated_param y delta y un resultado numérico fácilmente integrable para demostraciones educativas.