Welke uitspraak over de werking van de all-reduce-communicatie bij gedistribueerde training is juist?

Antwoord: B. De waarden (zoals gradiënten) van alle GPU's worden opgeteld en de som wordt aan alle GPU's uitgedeeld

All-reduce is een communicatievorm waarbij de tensoren van gelijke vorm van elke GPU elementgewijs worden opgeteld (reduce) en alle GPU's het resultaat ontvangen. Bij ring-all-reduce, waarbij GPU's in een ring worden verbonden en de data in kleine stukken worden verdeeld en aan de buur doorgegeven, blijft de communicatiehoeveelheid per GPU vrijwel constant ook als het aantal GPU's toeneemt. Bij training met dataparallellisme wordt deze communicatie gebruikt voor het middelen van de gradiënten in elke stap.