Model Optimizer

Scopo e intento dell'utente: lo strumento è rivolto a ingegneri ML, team di deployment e data scientist che devono ottimizzare modelli per runtime NVIDIA. Supporta pianificazione, conversione in engine TensorRT e stime di prestazioni basate sull'hardware. L'utilità è maggiore quando si preparano modelli per deploy con requisiti di latenza.
Logica di base e caratteristiche: Richiede model_file, input_names, input_shapes, output_names e target_precision; i dati di calibrazione opzionali abilitano INT8. Opzioni avanzate includono forme dinamiche, gestione di operatori personalizzati e benchmarking. Ingressi: model_file, input_names, input_shapes, output_names, target_precision, max_batch_size e engine_output. Uscite: engine_file, calibration_table, latency_estimate e throughput_estimate.
Algoritmi e calcoli: Costruisce un profilo di ottimizzazione TensorRT, applica fusion di grafi, seleziona kernel, calibra (per INT8) ed esporta un engine serializzato con un rapporto di prestazioni.
Errori e casi limite: formati non validi, input mancanti, op non supportati o problemi di calibrazione possono causare fallimenti di build o fallback FP16/FP32.
Settore/Regione e localizzazione: Conforme ai formati DL e alle convenzioni TensorRT; usa millisecondi per la latenza e inferenze al secondo per il throughput.
Assunzioni ed esclusioni: non allena modelli; non è una pipeline di deployment completa; non verifica l'accuratezza post-ottimizzazione. Casi d'uso: pianificazione rapida del deployment, ottimizzazione dipendente dall'hardware e benchmarking prima della produzione.