Pourquoi la consultation de grandes tables d'embeddings, utilisées notamment dans les modèles de systèmes de recommandation, est-elle difficile à traiter pour le matériel d'IA ?

Réponse : C. Parce qu'il n'y a presque pas de calcul et que la lecture porte sur des emplacements dispersés d'une table gigantesque ; les unités matricielles ne sont pas exploitées et la vitesse dépend de la capacité, de la bande passante et de la latence mémoire

Dans les systèmes de recommandation, les tables contenant un vecteur par identifiant d'utilisateur ou de produit atteignent plusieurs centaines de GB, et chaque entrée lit et additionne des lignes dispersées de la table. Le calcul est quasi inexistant, les lectures sont irrégulières et ni la coalescence des accès ni les caches ne sont efficaces ; c'est très éloigné du point fort des accélérateurs optimisés pour le produit matriciel. Il faut répartir les tables dans la mémoire de nombreux GPU ou CPU pour disposer de la capacité et de la bande passante nécessaires.