China is “de eerste die één generatief AI-model traint in meerdere datacenters”

Abraham54

Beheerder
Forumleiding
Lid geworden
2 augustus 2016
Berichten
35.822
Waarderingsscore
6.980
Punten
113
Leeftijd
70
OS
Windows 11 Professional
AV
Microsoft Defender
FW
Windows Firewall
China is “de eerste die één generatief AI-model traint in meerdere datacenters” met een innovatieve mix van “niet-gesanctioneerde” GPU's, gedwongen door Amerikaanse importblokkades voor AI-technologie.

Chinese AI-datacenters splitsen hun GenAI-workloads, waardoor het probleem van de vermogenslimieten mogelijk wordt opgelost.



ojQoSPxvbyxoTJtSGym4Ee-1920-80.jpg.webp

Wat u moet weten

  • Techindustrie-analist Patrick Moorhead beweert dat een enkel generatief AI-model draait in meerdere datacenters in China.

  • In plaats van te vertrouwen op een consistente reeks bijpassende GPU's, combineren onderzoekers in China “niet-gesanctioneerde” eenheden van verschillende merken.

  • Het verdelen van de werklast van een enkel generatief AI-model over meerdere locaties zou een oplossing kunnen zijn voor de vermogenslimieten die synoniem zijn met deze technologie.


(Afbeelding: Getty Images | MF3d)


Ondanks een voortdurende saga van importbeperkingen en regelrechte blokkades die NVIDIA ervan weerhouden om voor ongeveer $5 miljard aan AI-chips te verschepen, lijkt de staat van generatieve AI in China niet te vertragen. Integendeel, het land lijkt de middelen die het nog heeft nadat NVIDIA werd verhinderd om haar A800 en H800 AI en HPC GPU's op de lokale markt te verkopen, te bundelen en slimme manieren te bedenken om “niet-gesanctioneerde” hardware te combineren in meerdere, afzonderlijke datacenters.





Techindustrie-analist Patrick Moorhead beweerde via X (voorheen Twitter) dat China uitblinkt met “lager presterende hardware” dan wat beschikbaar is voor generatieve AI-ontwikkelaars in de Verenigde Staten en dat het onlangs “de eerste was die een enkel GAI-model trainde in meerdere datacenters”. Het komt met een korreltje zout, omdat de bron “een zeer groot bedrijf” was tijdens een gesprek dat werd beschermd door een NDA (Non-Disclosure Agreement), maar het zou een realistische oplossing zijn voor het gigantische elektriciteitsverbruik dat te zien is bij de AI-inspanningen van Microsoft en Google.


Hoe kan China AI bevorderen zonder de nieuwste GPU's?

d5TXnMLfRddRe9MyRQy82G-1200-80.jpg

Hoewel de beperkingen van de Amerikaanse overheid NVIDIA dwingen om licenties te verwerven voor de A100, A800, H100 en H800 GPU's die expliciet zijn ontworpen voor kunstmatige intelligentie, heeft dit de Chinese inspanningen op het gebied van generatieve AI niet tegengehouden, omdat het land inventieve en ongebruikelijke workarounds vindt. Vooral de tactiek om “GPU's van verschillende merken samen te smelten in één trainingscluster” (via Tom's Hardware) zorgt ervoor dat de onderzoekers doorgaan met welke hardware dan ook.


NVIDIA mag dan wel 's werelds grootste GPU-fabrikant zijn, maar door zijn datacenters te ondersteunen met alternatieven van merken zoals Huawei's “Ascend” AI-reeks, blijven China's inspanningen groeien, ook al gaat dat langzamer dan het geval zou zijn met de nieuwste geavanceerde componenten.

Een AI-server op basis van NVIDIA A100-technologie onthuld in 2021. (Afbeelding: Getty Images | Feature China)


Het opsplitsen van deze “samengevoegde” AI-verwerkingsinspanningen over meerdere datacenters zou meer een oplossing kunnen zijn voor de zorgen dat “er niet genoeg kracht (voor AI) zal zijn in 2025”, voorspeld door Elon Musk eerder dit jaar, maar geeft ongetwijfeld de enorme groei van generatieve AI aan en geeft enige geloofwaardigheid dat superintelligentie slechts “een paar duizend dagen” verwijderd zou kunnen zijn van goed uitgeruste bedrijven zoals Sam Altman's in de VS gevestigde OpenAI.


Hoewel de beperkingen van de Amerikaanse overheid NVIDIA dwingen om licenties te verwerven voor de A100, A800, H100 en H800 GPU's die expliciet zijn ontworpen voor kunstmatige intelligentie, heeft dit de Chinese inspanningen op het gebied van generatieve AI niet tegengehouden, omdat het land inventieve en ongebruikelijke workarounds vindt. Vooral de tactiek om “GPU's van verschillende merken samen te smelten in één trainingscluster” (via Tom's Hardware) zorgt ervoor dat de onderzoekers doorgaan met welke hardware dan ook.


NVIDIA mag dan wel 's werelds grootste GPU-fabrikant zijn, maar door zijn datacenters te ondersteunen met alternatieven van merken zoals Huawei's “Ascend” AI-reeks, blijven China's inspanningen groeien, ook al gaat dat langzamer dan het geval zou zijn met de nieuwste geavanceerde componenten.


Het opsplitsen van deze “samengevoegde” AI-verwerkingsinspanningen over meerdere datacenters zou meer een oplossing kunnen zijn voor de zorgen dat “er niet genoeg kracht (voor AI) zal zijn in 2025”, voorspeld door Elon Musk eerder dit jaar, maar geeft ongetwijfeld de enorme groei van generatieve AI aan en geeft enige geloofwaardigheid dat superintelligentie slechts “een paar duizend dagen” verwijderd zou kunnen zijn van goed uitgeruste bedrijven zoals Sam Altman's in de VS gevestigde OpenAI.


Dit bewijst vooral dat kunstmatige intelligentie allesbehalve een modegril is, ongeacht de ontvangst door de massa. China blijft ondanks zijn beperkingen uitbreiden op het gebied van generatieve AI, terwijl Microsoft een investering van $1,3 miljard doet in Mexico terwijl het Westen groeit met vrijwel onbeperkte toegang tot NVIDIA's high-end AI GPU's. Het is nog niet duidelijk of de Chinese onderzoekers substantiële winst boeken door een enkel model over datacenters uit te voeren, maar het is duidelijk dat de sancties van de VS hen absoluut niet hebben afgeschrikt.




Publicatie van Windows Central
Auteur: Ben Wilson
 
Terug
Bovenaan Onderaan