Supermicro, IBM et NVIDIA présentent une nouvelle solution de cache KV conçue pour accélérer les performances d'inférence AI, en s'appuyant sur un matériel de stockage et de mise en réseau intégré pour réduire la latence dans le traitement à long contexte.
Supermicro a lancé une solution de cache KV utilisant ses serveurs de stockage Petascale avec IBM Storage Scale, NVIDIA Dynamo et NVIDIA Spectrum-X. Le communiqué ne donne aucun chiffre de revenus, de commandes, de prix ou de clients, donc l'effet financier n'est pas quantifiable et les seules revendications de performance sont peu susceptibles de revaloriser les actions.
Le logiciel IBM Storage Scale est intégré dans la nouvelle solution de cache KV de Supermicro aux côtés des composants NVIDIA. Aucune valeur de contrat, contribution aux revenus ou nombre de clients n'est divulgué, donc l'annonce est une intégration de produit routinière plutôt qu'un catalyseur financier mesurable pour les actions d'IBM.
Le logiciel d'inférence NVIDIA Dynamo et les commutateurs Ethernet Spectrum-X font partie de la nouvelle solution de cache KV de Supermicro. Le communiqué cite des avantages en termes de performances d'inférence mais ne fournit aucun volume d'expédition, chiffre d'affaires ou clients nommés, donc c'est une annonce d'écosystème routinière pour NVIDIA.
Supermicro a dévoilé une nouvelle solution de cache KV intégrant le logiciel IBM Storage Scale avec le matériel NVIDIA Dynamo et Spectrum-X. La collaboration vise à optimiser les performances d'inférence AI en réduisant le temps jusqu'au premier jeton (TTFT) pour les charges de travail à long contexte. Bien que l'intégration technique mette en avant la synergie de l'écosystème, les entreprises n'ont fourni aucun détail financier spécifique ni prévisions de revenus.
Le partenariat vise à améliorer les performances d'inférence AI en utilisant une solution de cache KV qui réduit la latence, ciblant spécifiquement les métriques de temps jusqu'au premier jeton (TTFT) pour les charges de travail AI à long contexte.