Supermicro, IBM und NVIDIA präsentieren eine neue KV-Cache-Lösung, die darauf ausgelegt ist, die Leistung der KI-Inferenz zu beschleunigen, indem integrierte Speicher- und Netzwerkhardware genutzt wird, um die Latenz bei der Verarbeitung von Langzeit-Kontexten zu reduzieren.
Supermicro hat eine KV-Cache-Lösung gestartet, die seine Petascale-Speicherserver mit IBM Storage Scale, NVIDIA Dynamo und NVIDIA Spectrum-X nutzt. Die Veröffentlichung enthält keine Umsatz-, Auftrags-, Preis- oder Kundenzahlen, sodass der finanzielle Effekt nicht quantifizierbar ist und die Leistungsansprüche allein wahrscheinlich nicht zu einer Neubewertung der Aktien führen werden.
Die IBM Storage Scale-Software ist in die neue KV-Cache-Lösung von Supermicro integriert, zusammen mit NVIDIA-Komponenten. Es wurden keine Vertragswerte, Umsatzbeiträge oder Kundenzahlen offengelegt, sodass die Ankündigung eine routinemäßige Produktintegration und kein messbarer finanzieller Katalysator für die IBM-Aktien ist.
NVIDIA Dynamo-Inferenzsoftware und Spectrum-X-Ethernet-Switches sind Teil der neuen KV-Cache-Lösung von Supermicro. Die Veröffentlichung nennt Vorteile der Inferenzleistung, gibt jedoch keine Versandmengen, Umsatzzahlen oder benannten Kunden an, sodass es sich um eine routinemäßige Ökosystem-Ankündigung für NVIDIA handelt.
Supermicro hat eine neue KV-Cache-Lösung vorgestellt, die IBM Storage Scale-Software mit NVIDIA Dynamo und Spectrum-X-Hardware integriert. Die Zusammenarbeit zielt darauf ab, die Leistung der KI-Inferenz zu optimieren, indem die Time-to-First-Token (TTFT) für Langzeit-Kontext-Workloads reduziert wird. Während die technische Integration die Synergie des Ökosystems hervorhebt, wurden keine spezifischen finanziellen Details oder Umsatzprognosen bereitgestellt.
Die Partnerschaft zielt darauf ab, die Leistung der KI-Inferenz zu verbessern, indem eine KV-Cache-Lösung genutzt wird, die die Latenz reduziert und speziell die Time-to-First-Token (TTFT)-Metriken für Langzeit-KI-Workloads anspricht.