Begitu kamu mulai melihat bagaimana sistem AI benar-benar memindahkan data di dalamnya, kamu akan cepat menyadari bahwa masalahnya bukan hanya soal prosesor yang lebih cepat atau kapasitas penyimpanan yang lebih besar, tapi apa yang terjadi di antara lapisan-lapisan itu dan seberapa sering sistem harus menunggu.

Di artikel sebelumnya tentang High Bandwidth Memory, fokusnya adalah menjaga data sedekat mungkin dengan prosesor supaya GPU tidak menganggur. Itu adalah bagian paling atas dari stack, dan memang sangat penting, tapi hanya menyelesaikan sebagian dari masalah karena tidak semua data bisa berada di sana.

Begitu kumpulan data kerja menjadi lebih besar dari kapasitas lapisan tersebut, kamu kembali harus memindahkan data antara DRAM dan NAND, dan di titik itulah semuanya mulai terasa tidak seimbang. DRAM itu cepat dan responsif, tapi mahal dan tidak bisa terus diperbesar tanpa batas. NAND jauh lebih masuk akal dari sisi kapasitas, tapi bahkan flash yang bagus tetap membawa latensi yang cukup untuk terasa saat sistem bekerja terus-menerus.

Ruang di antara keduanya inilah tempat Storage Class Memory mulai menunjukkan perannya. Bukan sebagai sesuatu yang menggantikan salah satu sisi, tapi sebagai cara untuk membuat perpindahan data lebih halus sehingga sistem tidak terus-menerus melompat dari sangat cepat ke lebih lambat lalu kembali lagi.

Kalau kamu ingin melihat gambaran besarnya kenapa lapisan-lapisan ini mulai muncul, ini langsung terhubung ke artikel utama di sini: NAND tidak akan hilang, tapi server AI sekarang bergantung pada lebih dari sekadar flash.

Selama lebih dari dua dekade, GetUSB telah membahas bagaimana data benar-benar bergerak, bukan hanya bagaimana ia dipasarkan. Dalam kurun waktu tersebut, kita telah melihat evolusi storage melalui beberapa siklus, mulai dari penurunan hard drive mekanis, naiknya penggunaan flash, hingga sekarang ke sistem di mana storage bukan lagi sekadar komponen pasif, melainkan bagian dari infrastruktur itu sendiri.

Apa yang sedang terjadi sekarang di infrastruktur AI terasa seperti salah satu titik transisi tersebut, tetapi dengan jenis tekanan yang berbeda sebagai pendorongnya.

NAND flash tidak akan hilang, dan sebenarnya tidak ada perdebatan soal itu. NAND tetap menjadi fondasi penyimpanan modern, dan menjalankan perannya dengan sangat baik. Di saat yang sama, permintaan terhadap NAND meningkat dengan cepat, sebagian besar didorong oleh workload AI yang membutuhkan dataset sangat besar dan akses konstan ke data tersebut. Permintaan ini mulai menekan pasokan dengan cara yang semakin sulit diabaikan, baik itu dalam bentuk tekanan harga, alokasi yang lebih ketat, atau sekadar lead time yang lebih panjang untuk deployment berskala besar.

Ketika ketidakseimbangan seperti ini mulai muncul, industri tidak tinggal diam menunggu semuanya kembali normal. Industri mulai mencari cara lain untuk menyelesaikan masalah tersebut, dan di situlah pergeseran mulai terjadi.