Vodja Della je pred dnevi delil precej mračno napoved, po kateri se mrzlica umetne inteligence v prihodnjem obdobju ne le ne bo umirila, temveč bo še pospešila, s tem pa se lahko pomanjkanje pomnilnika še poglobi. Po njegovem bi lahko povpraševanje po pomnilniških čipih v prihodnjem obdobju zraslo v nepredstavljivo velikem obsegu, razlog za to pa je, da se poleg strojne opreme, namenjene podatkovnim centrom za umetno inteligenco, zaradi izboljševanja zmogljivosti vgrajuje vse več pomnilnika, proizvodnja pa tega skoka ne more dohiteti.
Po besedah Michaela Della bo povpraševanje po pomnilniku v naslednjih nekaj letih zraslo 625-krat, kar pomeni, da se bo stanje pomanjkanja pomnilnika še zaostrilo, saj se več pomnilnika vgrajuje tako ob pospeševalnike umetne inteligence kot ob strežniške procesorje, ki jih postrežejo, število podatkovnih centrov pa dinamično narašča, zato bo vsake komponente potrebnih več. 625-kratno rast je sicer izpeljal na primeru, da je leta 2022 pospeševalnik Nvidia H100 potreboval 80 GB pomnilnika HBM3, pospeševalniki umetne inteligence, ki prihajajo leta 2028, pa bodo lahko imeli že 2 TB pomnilnika HBM, kar pomeni nekaj več kot 25-kratno rast na tem področju. Temu se pridruži pričakovanje, da bo do leta 2028 tudi povpraševanje po pospeševalnikih umetne inteligence zraslo 25-krat, s čimer smo prispeli do števila 625, ki ga je omenil zgoraj.
Vodja je pri naslednji generaciji pospeševalnikov umetne inteligence očitno računal z največjo podprto pomnilniško zmogljivostjo, ki pri Vera Rubin Superchip dejansko znaša 2 TB, vendar bo večina rackov po pričakovanjih uporabljala »le« 576 GB pomnilnika HBM4. To je seveda 7,2-krat več, kot ga je potreboval pospeševalnik H100 iz zgornjega primera, a vendarle ne 25-kratno povečanje. Če je rast povpraševanja po pospeševalnikih umetne inteligence ocenil pravilno, torej če ta res doseže 25-kratnik, lahko na pomnilniškem trgu skupaj pričakujemo »le« 180-kratno rast, kar se seveda še vedno zdi masivno in skoraj nepremagljivo.
Veliki proizvajalci pomnilnika že zdaj ne morejo držati koraka z rastjo povpraševanja, sendviče pomnilniških čipov HBM4 pa bodo izdelovala le tri podjetja: SK hynix, Samsung in Micron. Na področju HBM3 poskušajo dohiteti tudi drugi igralci, a niti z združenimi močmi ne morejo zadovoljiti trenutnega povpraševanja. Dejstvo je sicer, da bo zaradi tekočih kapitalskih naložb leta 2028 morda začelo delovati nekaj novih tovarn in nekaj novih proizvodnih linij, vendar bo to le majhna pomoč, če bo povpraševanje res tako poskočilo, kot napoveduje vodja Della.
Pri čipih DRAM, ki so potrebni tako v strežniških pomnilniških modulih kot v sendvičih pomnilniških čipov HBM, je že zdaj masivno pomanjkanje, hkrati pa je izjemno tudi povpraševanje po pomnilniških čipih LPDDR5x in NAND Flash, ki naj bi še naprej raslo, vendar je zaenkrat nemogoče natančno oceniti, kako se bodo razvijala prihodnja četrtletja, tolikšna je negotovost.
V strežniku za umetno inteligenco NVL72 na osnovi Nvidie GB200 en rack trenutno potrebuje skupaj 480 GB pomnilnika LPDDR5x na ploščici, en stolp pa vsebuje skupaj 144 rež E.1, v katere lahko namestimo hitre kartice SSD z veliko shranjevalno zmogljivostjo. Celoten stolp lahko doseže največ 13,4 TB pomnilnika HBM3e, največ 17 TB sistemskega pomnilnika in največ 547 TB shranjevalne zmogljivosti, takih stolpov pa je lahko v posameznem večjem podatkovnem centru za umetno inteligenco več sto ali celo več tisoč, torej je zanje res potrebna orjaška količina pomnilniških čipov.
