Infineon unterstützt KI-Inferenzhardware mit niedriger Latenz

Da sich generative KI-Workloads von batchorientiertem Modelltraining hin zu interaktiver Inferenz verlagern, verändern sich die Anforderungen an die Infrastruktur: Weg von reiner Rechenleistung, hin zu niedrigen Antwortlatenzen bei gleichzeitig strengen Energiegrenzen. In diesem Kontext arbeitet Infineon Technologies mit d-Matrix zusammen, um die Stromversorgung für die KI-Inferenzbeschleunigerplattform Corsair zu optimieren.

KI-Inferenz wendet trainierte Machine-Learning-Modelle auf eingehende Daten an, um Ausgaben wie Vorhersagen, Klassifikationen oder Sprachantworten zu erzeugen, ohne die Modelle erneut zu trainieren. Besonders bei interaktiven KI-Anwendungen, insbesondere bei der Inferenz großer Sprachmodelle, muss die Infrastruktur Token-Latenz, Rechendichte und Energieeffizienz im Rechenzentrumsmaßstab ausbalancieren.

Stromversorgung wird zum Engpass in der Inferenzhardware
Im Gegensatz zu KI-Trainingssystemen, die auf maximalen Durchsatz über große Beschleunigercluster ausgelegt sind, muss Inferenzhardware für interaktive Anwendungen schnelle Antwortzeiten innerhalb eng definierter Energiegrenzen aufrechterhalten.

Die Corsair-Plattform von d-Matrix adressiert genau diese Workload-Kategorie, darunter Antwortgenerierung mit großen Sprachmodellen, agentische KI-Anwendungen und Predictive-Analytics-Workloads in Branchen wie Finanzwesen und Gesundheitswesen.

Der Beitrag von Infineon konzentriert sich auf die Integration von Leistungshalbleitern, insbesondere der dualphasigen Stromversorgungsmodule OptiMOS™ TDM2254xx.

Diese Module unterstützen vertikale Stromversorgung, eine Architektur zur Reduzierung von Leistungsverlusten und zur Verbesserung der elektrischen Effizienz durch kürzere Strompfade zwischen Spannungsregelung und Rechensilizium. Infineon gibt für das Moduldesign eine Leistungsdichte von 1,0 A/mm2 an – eine relevante Kennzahl bei hochdichten Beschleunigerplatinen, bei denen thermische und räumliche Einschränkungen die Skalierbarkeit direkt beeinflussen.

Niedrige Latenz erfordert Optimierung auf Platinenebene
Interaktive KI-Inferenz unterscheidet sich von konventionellen Beschleunigerdesigns dadurch, dass Latenzkonsistenz ebenso wichtig wird wie der gesamte Rechendurchsatz.

d-Matrix erklärte, dass die Corsair-Architektur auf eine Token-Latenz von unter 2 Millisekunden ausgelegt ist und damit auf interaktive Echtzeit-KI-Anwendungen abzielt, bei denen Antwortverzögerungen die Nutzbarkeit direkt beeinflussen.

Die Erreichung dieser Leistung erfordert eine stabile Stromversorgung mit hoher Leistungsdichte über Beschleunigerplatinen hinweg, die unter dynamischen Lastschwankungen arbeiten. Die Integration kompakter Stromversorgungsmodule auf Platinenebene reduziert die Komplexität des Leiterbahn-Layouts und trägt zur elektrischen Stabilität bei schnell wechselnden Inferenzanforderungen bei.

Die Zusammenarbeit spiegelt einen breiteren Hardwaretrend wider, bei dem sich KI-Beschleuniger zunehmend nicht nur über ihre Rechenarchitektur, sondern auch über die Auslegung der Stromversorgung differenzieren.

Halbleiterstrategien für die KI-Infrastruktur
Infineon ordnet diese Partnerschaft in seine umfassendere Halbleiterstrategie für KI-Infrastrukturen ein, die sowohl Trainings- als auch Inferenzumgebungen umfasst.

Das Portfolio des Unternehmens umfasst Leistungshalbleiter auf Basis von Silizium (Si), Siliziumkarbid (SiC) und Galliumnitrid (GaN) für Stromwandlung im Rechenzentrum und das Design von Compute-Subsystemen.

Für Entwickler von KI-Infrastrukturen zeigt dies einen breiteren Wandel hin zur Optimierung der gesamten Stromversorgungskette – von der Energieumwandlung auf Anlagenebene bis zur Point-of-Load-Versorgung auf Beschleunigerebene – da Energieeffizienz zunehmend zu einem begrenzenden Faktor für die Skalierung von KI-Rechenzentren wird.

Bearbeitet von Aishwarya Mambet, Induportals-Redakteurin, mit Unterstützung von KI.

www.infineon.com