Micron je dosegel pomemben mejnik na področju pomnilniških modulov SOCAMM za podatkovne centre z umetno inteligenco: izdelal je prvi 256-gigabajtni pomnilniški modul tipa SOCAMM2 v industriji, zaradi katerega se lahko pomnilniška zmogljivost posameznih sistemov občutno poveča v primerjavi s prejšnjim rekorderjem, 192-gigabajtnim modulom. Že pred šestimi meseci predstavljeni 192-gigabajtni modul je bil resen dosežek tako po zmogljivosti kot po hitrosti in energijski učinkovitosti, s svojo najnovejšo razvojno rešitvijo pa proizvajalec letvico postavlja še više. Dobave 256-gigabajtnih modulov SOCAMM2 so se že začele, zato bodo strežniki z umetno inteligenco kmalu lahko izkoristili njihove prednosti.
Zahvaljujoč zmogljivosti 256 GB na modul lahko ob enem procesorju odslej deluje do 2 TB sistemskega pomnilnika, kar v praksi pomeni, da je v Nvidiinem regalu NVL72 ob 36 procesorjih lahko skupaj 72 TB sistemskega pomnilnika, s čimer se možnosti bistveno razširijo. Novi pomnilniški modul SOCAMM2 je mogoče šteti za velik korak naprej: zaradi večje gostote ponuja praktično 33 % višjo pomnilniško zmogljivost kot prejšnji »rekorder«, hkrati pa lahko deluje tudi do 66 % učinkoviteje kot klasični pomnilniški moduli tipa RDIMM.
Dodatna prednost je, da je 256-gigabajtni modul SOCAMM2 popolnoma združljiv tudi z vse bolj razširjenimi sistemi za tekočinsko hlajenje, kar je dobra novica, saj zaradi naraščanja zmogljivosti in omejitve TDP učinkovito hlajenje postaja vse večji izziv, ki ga je najlažje premagati s tekočinskim hlajenjem. Ekipa podjetja Nvidia, ki je oživila pomnilniški standard SOCAMM, je sicer ravno na tem področju nekoč naletela na ovire: pomnilniških modulov v gosto zapolnjenih strežnikih preprosto niso mogli učinkovito ohlajati, zato so začeli sodelovati z velikimi proizvajalci pomnilnika, ki so jim priskočili na pomoč in delo usmerili v pravo smer. Tako je v bistvu nastal standard SOCAMM2, katerega moduli postajajo vse zmogljivejši.
Na novih pomnilniških modulih SOCAMM2 so najnovejši Micronovi pomnilniški čipi LPDDR5X, od katerih ima vsak zmogljivost 32 Gb, torej 4 GB. To so monolitni čipi, kar pomeni, da so pomnilniške celice in vezja, ki jih strežejo, na istem silicijevem čipu.
Poleg energijske učinkovitosti in večje pomnilniške zmogljivosti je pomembno tudi, da se z novimi pomnilniškimi moduli občutno poveča zmogljivost strežnikov z umetno inteligenco, razširijo pa se lahko tudi njihove zmožnosti. Zaradi večje pomnilniške zmogljivosti se lahko pri razvoju modelov umetne inteligence že z enim samim procesorjem odprejo precej večja kontekstna okna, kar pripomore k učinkovitejšemu delu. Ta napredek pomaga tudi pri tem, da se čas do prvega žetona (TTFT – Time to First Token) bistveno skrajša, zato lahko na vprašanja, zastavljena na primer klepetalnim robotom, odgovore dobimo prej, tudi druge naloge pa se lahko opravijo hitreje.
Na področju umetne inteligence, kjer je trenutno vse v vrenju, ni pomembno le, da so pospeševalniki umetne inteligence in procesorji, ki jih strežejo, čim hitrejši, ampak tudi, da podatkovne nabore streže dovolj hiter pomnilnik za shranjevanje, pa tudi čim hitrejši pomnilnik, ki je čim bližje procesnim enotam. Zahvaljujoč Micronu se na področju sistemskega pomnilnika dogaja pomemben napredek, ki pomaga ohranjati tempo razvoja in tudi razširja nabor možnosti.
