Moniteur GPU Linux

Cet outil propose une surveillance de l'utilisation du GPU sous Linux avec une granularité par GPU. Il s'adresse aux administrateurs système, ingénieurs DevOps, ingénieurs ML et analystes de performances qui ont besoin d'une visibilité cohérente des charges GPU, de la mémoire, des températures et de la consommation d'énergie. En collectant les métriques via des interfaces standard, il évite le verrouillage par fournisseur tout en permettant des comparaisons entre vendeurs et une planification de capacité.
Conceptionnellement, l'outil exécute une collecte configurable qui interroge les pilotes GPU à intervalles fixes et produit des enregistrements horodatés. Il prend en charge NVIDIA via nvidia-smi et AMD via ROCm, avec les retours possibles vers des données génériques /proc lorsque disponibles. Les sorties sont conçues pour être ingérées par des pipelines de données, des tableaux de bord ou des règles d'alerte.
La valeur unique réside dans sa portabilité, le reporting strict par GPU et des formats d'export simples. Il fournit des unités cohérentes (pourcentage, MB/GB, Celsius, watts), gère les lacunes de données et peut être intégré à des stacks de surveillance existants. Les cas d'utilisation incluent la gestion des files d'attente d'entraînement, l'optimisation des jobs par lots et la détection proactive des anomalies thermiques dans des postes de travail partagés ou des data centers.
Les fonctions principales comprennent le support multi-GPU, l'échantillonnage configurable, l'utilisation mémoire/temperature/puissance par GPU, les horodatages ISO 8601, les sorties JSON/CSV et des agrégations optionnelles. Les flux de travail typiques incluent la caractérisation de référence, l'ajustement des seuils et l'export vers des tableaux de bord pour les SLA et la planification de capacité.