Inženirji podjetja Micron delajo na razvoju posebne pomnilniške tehnologije, katere cilj je, da bi blizu GPE, ki deluje kot pospeševalnik UI, lahko postavili polje pomnilniških čipov NAND Flash z razmeroma veliko zmogljivostjo shranjevanja, dovolj hitrih in z dovolj nizko zakasnitvijo, s čimer bi bistveno razširili možnosti v zvezi z izvajanjem in učenjem posebej velikih LLM.
Projekt, ki za zdaj poteka pod delovnim imenom »Near-GPU NAND«, v bistvu prihaja kot koristen dodatek ob glavnem pomnilniku na osnovi HBM in DRAM ter ob klasičnih sistemih za shranjevanje na osnovi NAND Flash, oziroma med njimi. Prav pride v primerih, ko ni potrebna visoka pasovna širina prenosa podatkov čipov HBM ali običajnih čipov DRAM oziroma nizka zakasnitev, ki jo ponujajo, vendar je treba podatke v primerjavi z možnostmi klasičnih sistemov za shranjevanje NAND Flash namestiti veliko bližje GPE.
Za uspeh razvijajo posebne pomnilniške čipe NAND Flash, ki tako glede gostote podatkov kot glede zakasnitve ponujajo nekakšno vmesno plast med omenjenimi pomnilniškimi tehnologijami. Ti pomnilniški čipi bodo imeli manjšo gostoto podatkov kot klasični čipi TLC ali QLC NAND Flash, saj se namesto na gostoto podatkov raje osredotočajo na višjo zmogljivost V/I, višjo pasovno širino prenosa podatkov in boljši čas branja. »Near-GPU NAND« kot izjemno hiter predpomnilnik z visoko zmogljivostjo v bistvu ustvarja most med klasičnimi pomnilniškimi čipi HBM ali GDDR7/LPDDR6 in običajnim sistemom za shranjevanje.
Ta predpomnilnik je mogoče odlično uporabiti za naloge sklepanja in tudi za izvajanje konkretnih velikih jezikovnih modelov, podatke pa je mogoče gospodarneje hraniti blizu GPE, kot če bi za dosego cilja uporabili klasično tehnologijo pomnilnika DRAM ali HBM. Omenjeni predpomnilnik lahko ponuja kapaciteto nekaj 100 GB, vse to pa lahko stane bistveno manj kot klasične tehnologije DRAM, hkrati pa lahko ponuja tudi boljšo zmogljivost kot klasični sistemi za shranjevanje na osnovi NAND Flash. Zahvaljujoč posebnemu predpomnilniku bi se zapleteni LLM zagnali tudi na sistemih z manj GPE, hvala uporabi več pomnilniških in shranjevalnih ravni, kar bi skupno pomagalo optimizirati zmogljivost sistema.
Podobna zasnova nastaja tudi v delavnicah SanDisk in SK hynix pod imenom HBF, torej High-Bandwidth Flash, ki bi pomagal razširiti pomnilniško območje HBM grafičnega procesorja z uporabo čipov NAND Flash, nameščenih blizu GPE, in povečanjem njihove vzdržljivosti. Delo še poteka, saj je treba priti z rešitvijo, ki ponuja ustrezno pasovno širino prenosa podatkov in zakasnitev, hkrati pa je dovolj vzdržljiva, tako da lahko učinkovito dopolni hitre in izjemno drage sendviče pomnilniških čipov HBM, ki jih sicer ne izdelajo toliko, kolikor bi si trg želel. Obenem tudi Samsung ne sedi križem rok: pod imenom zNAND-O razvija posebno pomnilniško arhitekturo, prav tako za namene UI, opremljeno z precej impresivnimi lastnostmi.
