Model Optimizer

Propósito e intención del usuario: la herramienta está dirigida a ingenieros ML, equipos de despliegue y científicos de datos que deben optimizar modelos para runtimes NVIDIA. Soporta planificación, conversión a motores TensorRT y estimaciones de rendimiento ajustadas al hardware. La utilidad es mayor en despliegues sensibles a la latencia.
Lógica central y características: Requiere model_file, input_names, input_shapes, output_names y target_precision; datos de calibración opcionales habilitan INT8. Opciones avanzadas incluyen formas dinámicas, manejo de ops personalizados y benchmarking. Entradas: model_file, input_names, input_shapes, output_names, target_precision, max_batch_size y engine_output. Salidas: engine_file, calibration_table, latency_estimate y throughput_estimate.
Algoritmos y cálculos: Construye un perfil de optimización TensorRT, aplica fusión de gráficos, selecciona kernels, calibra (para INT8) y exporta una engine serializada con un informe de rendimiento.
Errores y casos límite: Formatos inválidos, entradas ausentes, ops no soportadas o problemas de calibración pueden provocar fallos de compilación o retrocesos a FP16/FP32.
Industria/región y localización: Cumple con formatos DL y convenciones TensorRT; usa milisegundos para latencia y inferencias por segundo para el rendimiento.
Suposiciones y exclusiones: No se entrenan modelos; no es una pipeline de despliegue completo; no verifica precisión post-optimización. Casos de uso: planificación rápida de despliegue, optimización sensible al hardware y pruebas de rendimiento antes de producción.