Warum sind Nachschlagevorgänge in großen Embedding-Tabellen, wie sie z. B. in Empfehlungssystemen verwendet werden, für KI-Hardware schwer zu handhaben?

Antwort: C. Weil kaum Rechenaufwand anfällt und verstreute Stellen einer riesigen Tabelle gelesen werden, sodass Matrix-Recheneinheiten nicht genutzt werden können und Speicherkapazität, Bandbreite und Latenz die Geschwindigkeit bestimmen

In Empfehlungssystemen erreichen die Tabellen mit je einem Vektor pro ID (z. B. für Nutzer oder Produkte) mehrere hundert GB, und für jede Eingabe werden verstreute Zeilen der Tabelle gelesen und aufsummiert. Der Rechenaufwand ist gering, die Zugriffe sind unregelmäßig, und weder Coalescing noch Caches greifen gut; das unterscheidet sich stark von den Stärken von Beschleunigern für Matrixprodukte. Erforderlich sind Maßnahmen, die Tabelle auf den Speicher vieler GPUs oder CPUs zu verteilen, um Kapazität und Bandbreite sicherzustellen.