Model Optimizer

Zweck & Anwenderabsicht: Das Tool richtet sich an ML-Ingenieure, Deployment-Teams und Data Scientists, die Modelle für NVIDIA-Runtimes optimieren müssen. Es unterstützt Planung, Umwandlung in TensorRT-Engines und hardware-angepaßte Leistungsabschätzung. Der Hauptnutzen entsteht, wenn Modelle für latenzempfindliche Deployments vorbereitet werden.
Kernlogik & Funktionen: Erforderlich sind model_file, Eingangs- und Ausgangssignaturen sowie target_precision; optionale Kalibrierungsdaten ermöglichen INT8. Erweiterte Optionen umfassen dynamische Formen, benutzerdefinierte Operatoren (Ops) Behandlung und Benchmarking. Eingaben umfassen: model_file, input_names, input_shapes, output_names, target_precision, max_batch_size und engine_output. Ausgaben: engine_file, Kalibrierungstabelle, Latenz-Schätzung und Durchsatz-Schätzung.
Algorithmen & Berechnungen: Es wird ein TensorRT-Optimierungsprofil erstellt, Graph-Fusion angewendet, Kernel ausgewählt, kalibriert (für INT8) und eine serialisierte Engine mit einem Leistungsbericht exportiert.
Fehler & Randfälle: Ungültige Formate, fehlende Eingaben, nicht unterstützte Ops oder Kalibrierungsdatenprobleme können Build-Fehler verursachen oder zu FP16/FP32-Fallback führen.
Branche/Region & Lokalisierung: Entspricht DL-Modell-Formaten und TensorRT-Konventionen; verwendet Millisekunden für Latenz und Inferenz pro Sekunde (IPS) für Durchsatz.
Annahmen & Ausschlüsse: Trainiert keine Modelle; kein vollständiger Deployment-Pipeline; überprüft nicht die Genauigkeit nach der Optimierung. Anwendungsfälle umfassen schnelle Deploy-Planung, hardware-nahes Optimieren und Benchmarking vor der Produktionsbereitstellung.