De ce memoria și stocarea devin tot mai importante

Discuțiile despre infrastructura pentru inteligența artificială se concentrează, de obicei, asupra GPU-urilor: câte sunt disponibile și cât de performante sunt. Pentru o companie care utilizează zilnic inteligența artificială, performanța înseamnă însă și cât de repede răspund aplicațiile, câți utilizatori pot deservi simultan și cât costă funcționarea acestora. Toate aceste aspecte depind, în parte, de viteza cu care datele pot fi accesate și transferate către procesoare.

Un GPU poate efectua un număr foarte mare de calcule, dar o parte din capacitatea sa de procesare poate rămâne neutilizată în timp ce așteaptă datele necesare. Diferența dintre puterea de procesare și viteza memoriei este cunoscută sub denumirea de memory wall. Pe măsură ce modelele AI gestionează contexte tot mai lungi și solicitări tot mai interactive, modul în care este organizată memoria și în care circulă datele în sistem devine din ce în ce mai important.

Capacitatea memoriei determină volumul de informații care poate fi păstrat pentru procesare, în timp ce lățimea de bandă stabilește cât de repede pot fi transferate aceste informații. Un model mai mare, o conversație mai lungă sau un număr mai ridicat de solicitări simultane pot pune presiune asupra ambelor resurse. Limitările diferă în funcție de aplicație și de configurația sistemului, motiv pentru care o comparație bazată exclusiv pe puterea de calcul a GPU-urilor nu oferă o imagine completă.

Memoria GPU, memoria RAM a serverului și soluțiile de stocare îndeplinesc roluri diferite. Memoria GPU păstrează datele utilizate direct de accelerator, în timp ce memoria RAM a serverului susține procesele CPU și datele necesare acestora. SSD-urile stochează modelele și seturile de date, care sunt încărcate în memorie atunci când este nevoie.

Extinderea memorie RAM pe server nu crește capacitatea fizică a memoriei GPU, dar poate elimina blocajele din procesele care pregătesc și gestionează datele. Dimensionarea corectă a acestor componente permite sistemului să utilizeze mai eficient puterea de calcul disponibilă.

În ceea ce privește memoria pentru servere, Kingston oferă gama Server Premier DDR5. Acestea vin cu tehnologie de corectare a erorilor (ECC) sunt testate individual, iar gama este validată pentru platformele Intel și AMD. Pentru echipele IT care extind configurații existente sau standardizează infrastructura mai multor servere, lista controlată de componente (Bill of Materials – BOM) și utilizarea unor revizii fixe ale cipurilor DRAM contribuie la reducerea necesității de revalidare.

După antrenare, modelele AI sunt utilizate pentru a genera răspunsuri, a analiza imagini sau a realiza predicții. Această etapă, cunoscută sub denumirea de inferență, aduce noi cerințe privind timpii de răspuns și accesul la date. În cazul unui serviciu utilizat de mai multe echipe, infrastructura trebuie să poată gestiona solicitări simultane, fără întârzieri care să afecteze activitatea.

Modelele lingvistice bazate pe arhitectura Transformer păstrează o parte dintre calculele efectuate într-o memorie cache de tip key-value (KV cache), pentru a le reutiliza în timpul generării răspunsurilor. Acest mecanism economisește timp, dar consumă memorie. În cazul unui serviciu care gestionează simultan numeroase conversații lungi, necesarul de memorie poate deveni considerabil.

Echipele responsabile de infrastructură pot reduce presiunea asupra memoriei GPU prin mutarea datelor reutilizabile din cache către alte niveluri de memorie sau stocare, deși accesul mai lent la acestea poate influența timpii de răspuns.

Un exemplu al direcției în care evoluează industria este NVIDIA CMX. Platforma utilizează SSD-uri NVMe pentru a stoca date contextuale care pot fi reutilizate de modelele AI în timpul inferenței. Practic, stocarea capătă un rol nou în infrastructura AI, însă astfel de sisteme necesită o coordonare strânsă între soluțiile de stocare, rețea și software-ul care gestionează solicitările.

Un angajat care întreabă un asistent AI despre politica de călătorii a companiei se așteaptă să primească rapid un răspuns. Într-un sistem bazat pe Retrieval-Augmented Generation (RAG), aplicația caută mai întâi în documentele companiei și transmite modelului informațiile relevante. Pentru a identifica pasajele care au un sens similar cu întrebarea formulată, sistemul poate utiliza o bază de date vectorială. Identificarea și recuperarea acestor informații necesită timp, astfel că accesul lent la datele stocate poate întârzia răspunsul. Pe măsură ce volumul documentelor crește și tot mai mulți angajați utilizează serviciul, performanța stocării poate deveni un factor limitativ.

Alegerea unui SSD pentru aplicațiile AI presupune evaluarea modului în care acesta funcționează atunci când sistemul este intens solicitat. Capacitatea și vitezele maxime de transfer sunt importante, dar la fel de relevante sunt timpii de răspuns și variațiile acestora în condiții de încărcare ridicată.

Analiza Kingston privind infrastructura pentru inferență evidențiază aceeași necesitate: soluții de stocare capabile să susțină mai multe modele AI și să se extindă odată cu cererea, menținând în același timp o performanță predictibilă.

Kingston DC3000ME este un exemplu de SSD enterprise conceput pentru astfel de medii. Acesta utilizează interfața PCIe 5.0 NVMe, în format U.2, oferă criptare hardware AES pe 256 de biți și este proiectat pentru latență redusă și performanță I/O constantă. Protecția hardware împotriva pierderii alimentării (Power-Loss Protection) reduce riscul pierderii sau coruperii datelor în cazul unei întreruperi neașteptate a curentului electric.

„Un proiect AI ar trebui să pornească de la o nevoie clară de business, fie că vorbim despre sprijinirea angajaților în găsirea mai rapidă a informațiilor, fie despre reducerea timpului alocat activităților repetitive. Pe măsură ce numărul utilizatorilor crește, companiile trebuie să se asigure că infrastructura poate susține cererea. Memoriile noastre Server Premier și SSD-urile enterprise, inclusiv DC3000ME, ajută echipele IT să construiască sisteme adaptate volumelor de lucru, să mențină o performanță predictibilă și să valorifice mai bine puterea de calcul existentă”, declară Raul Dragomir, Business Development Manager pentru România și Bulgaria în cadrul Kingston Technology.

Într-o fabrică, procesarea locală a datelor provenite de la senzori poate ajuta la identificarea semnelor unor probleme înainte ca echipamentele să sufere defecțiuni. De asemenea, poate reduce timpii de răspuns și volumul de date transmis către un centru de date central.

Alegerea componentelor pentru astfel de sisteme presupune luarea în considerare a condițiilor de funcționare și a duratei de viață estimate a echipamentelor. Pentru aceste aplicații, Kingston oferă SSD-uri industriale în formate SATA și NVMe, inclusiv modele proiectate să funcționeze într-un interval extins de temperaturi. Modulele Design-In DRAM oferă memorie DDR4 și DDR5 pentru echipamente dezvoltate în scopuri specifice.

În cazul dispozitivelor cu spațiu limitat, portofoliul Kingston de memorii și soluții de stocare embedded include componente integrate direct pe placa de circuit. Acestea cuprind eMMC și UFS pentru stocare, memorii DRAM discrete pentru memoria de lucru și eMCP, care combină stocarea eMMC și memoria DRAM într-un singur pachet, reducând spațiul necesar pe placă.

Producătorii trebuie, de asemenea, să știe cum vor fi susținute aceste componente pe întreaga durată de viață a echipamentelor. Echipele de inginerie Kingston oferă asistență pentru selectarea și integrarea componentelor, în timp ce suportul pentru ciclul de viață al produselor ajută clienții să planifice eventualele modificări ale acestora.

Pentru o companie care își extinde utilizarea inteligenței artificiale, investițiile ar trebui să fie determinate de cerințele reale ale aplicațiilor. Măsurarea performanței în condiții de utilizare reprezentative permite identificarea priorităților: mai multă putere de calcul, memorie suplimentară, stocare mai rapidă sau conexiuni mai performante între componente.

În funcție de nevoile sistemului, modernizarea anumitor componente poate îmbunătăți performanța și permite utilizarea mai eficientă a puterii de calcul existente. Prin alegerea corectă a memoriei, a soluțiilor de stocare și a resurselor de procesare încă din etapa de planificare, companiile își pot extinde mai ușor aplicațiile AI și pot gestiona mai eficient costurile.