Begitu kamu mulai melihat bagaimana sistem AI benar-benar memindahkan data di dalamnya, kamu akan cepat menyadari bahwa masalahnya bukan hanya soal prosesor yang lebih cepat atau kapasitas penyimpanan yang lebih besar, tapi apa yang terjadi di antara lapisan-lapisan itu dan seberapa sering sistem harus menunggu.

Di artikel sebelumnya tentang High Bandwidth Memory, fokusnya adalah menjaga data sedekat mungkin dengan prosesor supaya GPU tidak menganggur. Itu adalah bagian paling atas dari stack, dan memang sangat penting, tapi hanya menyelesaikan sebagian dari masalah karena tidak semua data bisa berada di sana.

Begitu kumpulan data kerja menjadi lebih besar dari kapasitas lapisan tersebut, kamu kembali harus memindahkan data antara DRAM dan NAND, dan di titik itulah semuanya mulai terasa tidak seimbang. DRAM itu cepat dan responsif, tapi mahal dan tidak bisa terus diperbesar tanpa batas. NAND jauh lebih masuk akal dari sisi kapasitas, tapi bahkan flash yang bagus tetap membawa latensi yang cukup untuk terasa saat sistem bekerja terus-menerus.

Ruang di antara keduanya inilah tempat Storage Class Memory mulai menunjukkan perannya. Bukan sebagai sesuatu yang menggantikan salah satu sisi, tapi sebagai cara untuk membuat perpindahan data lebih halus sehingga sistem tidak terus-menerus melompat dari sangat cepat ke lebih lambat lalu kembali lagi.

Kalau kamu ingin melihat gambaran besarnya kenapa lapisan-lapisan ini mulai muncul, ini langsung terhubung ke artikel utama di sini: NAND tidak akan hilang, tapi server AI sekarang bergantung pada lebih dari sekadar flash.