Model Optimizer

But & intention utilisateur: L'outil s'adresse aux ingénieurs ML, aux équipes de déploiement et aux data scientists qui doivent optimiser les modèles pour les runtimes NVIDIA. Il prend en charge la planification, la conversion en engines TensorRT et une estimation de performance adaptée au matériel. L'utilité principale s'exprime lorsque les modèles doivent être déployés avec des exigences de latence.
Logique centrale & fonctionnalités: Nécessite model_file, input_names, input_shapes, output_names et target_precision; des données de calibration optionnelles permettent INT8. Options avancées: formes dynamiques, gestion des opérateurs personnalisés et benchmarking. Entrées: model_file, input_names, input_shapes, output_names, target_precision, max_batch_size et engine_output. Sorties: engine_file, calibration_table, latency_estimate et throughput_estimate.
Algorithmes & calculs: Construction d'un profil d'optimisation TensorRT, fusion de graphes, sélection de kernels, calibration (pour INT8) et export d'une engine sérialisée avec un rapport de performance.
Erreurs & cas limites: Formats invalides, entrées manquantes, opérateurs non pris en charge ou problèmes de calibration peuvent provoquer des échecs de build ou des retours à FP16/FP32.
Secteur/région & localisation: Conformité avec les formats DL et les conventions TensorRT; utilisation de millisecondes pour la latence et d'inférences par seconde pour le débit.
Hypothèses & exclusions: ne forme pas les modèles; pas de pipeline de déploiement complet; ne vérifie pas l'exactitude post-optimisation. Cas d'usage: planification rapide de déploiement, optimisation sensible au matériel et benchmarking avant le déploiement en production.