ML.NET Similarity Builder

Cet outil offre une approche structurée pour construire des modèles de similarité ML.NET pour les données SQL Server. Il cible les ingénieurs data, les scientifiques de données et les analystes qui ont besoin d'un scoring évolutif et auditable intégré dans les flux SQL. Il permet le classement, le clustering et le rapprochement d'enregistrements en mappant des features hétérogènes dans un espace vectoriel commun. Le système met l'accent sur la fiabilité, la reproductibilité et la compatibilité avec les processus SQL Server existants.
Conception: il ingère un schéma défini par l'utilisateur, applique le feature engineering (normalisation, embeddings, bucketing numérique) et entraîne un modèle de similarité via ML.NET. Les utilisateurs peuvent sélectionner des métriques telles que les distances cosinus, Euclidienne ou Manhattan, ajuster les dimensions d'embedding et évaluer avec des données retenues. Le pipeline de scoring résultant peut être déployé dans SQL Server, permettant des recherches de similarité in-database sur de gros ensembles de données.
Les avantages incluent une meilleure recherche, une déduplication et un regroupement basé sur le contenu, avec une intégration étroite dans les flux SQL. Il fournit des artefacts de modèle versionnés et une voie d'exportation claire pour le scoring en production. Cas d'utilisation typiques: similarité de documents, appariement de produits et résolution d'entités dans des magasins d'entreprise.
Les fonctionnalités clés couvrent les schémas d'entrée, la sélection de métriques, la création de features vectorielles, l'export du modèle et le scoring par lots. Les utilisateurs avancés peuvent activer la validation croisée, les mises à jour incrémentielles et l'ajustement des hyperparamètres. L'outil favorise la transparence en exposant les étapes de traitement des features et conserve des journaux pour la traçabilité.