Storage Class Memory dijelaskan: lapisan yang hilang antara DRAM dan NAND

Begitu kamu mulai melihat bagaimana sistem AI benar-benar memindahkan data di dalamnya, kamu akan cepat menyadari bahwa masalahnya bukan hanya soal prosesor yang lebih cepat atau kapasitas penyimpanan yang lebih besar, tapi apa yang terjadi di antara lapisan-lapisan itu dan seberapa sering sistem harus menunggu.

Di artikel sebelumnya tentang High Bandwidth Memory, fokusnya adalah menjaga data sedekat mungkin dengan prosesor supaya GPU tidak menganggur. Itu adalah bagian paling atas dari stack, dan memang sangat penting, tapi hanya menyelesaikan sebagian dari masalah karena tidak semua data bisa berada di sana.

Begitu kumpulan data kerja menjadi lebih besar dari kapasitas lapisan tersebut, kamu kembali harus memindahkan data antara DRAM dan NAND, dan di titik itulah semuanya mulai terasa tidak seimbang. DRAM itu cepat dan responsif, tapi mahal dan tidak bisa terus diperbesar tanpa batas. NAND jauh lebih masuk akal dari sisi kapasitas, tapi bahkan flash yang bagus tetap membawa latensi yang cukup untuk terasa saat sistem bekerja terus-menerus.

Ruang di antara keduanya inilah tempat Storage Class Memory mulai menunjukkan perannya. Bukan sebagai sesuatu yang menggantikan salah satu sisi, tapi sebagai cara untuk membuat perpindahan data lebih halus sehingga sistem tidak terus-menerus melompat dari sangat cepat ke lebih lambat lalu kembali lagi.

Kalau kamu ingin melihat gambaran besarnya kenapa lapisan-lapisan ini mulai muncul, ini langsung terhubung ke artikel utama di sini: NAND tidak akan hilang, tapi server AI sekarang bergantung pada lebih dari sekadar flash.

Di mana celah itu muncul

Di atas kertas, DRAM dan NAND selama ini bekerja dengan baik bersama karena memang dirancang untuk tugas yang berbeda. Yang satu menangani data aktif, yang lain menyimpan data, dan sistem memindahkan informasi bolak-balik sesuai kebutuhan. Untuk workload tradisional, pemisahan ini masih berjalan cukup baik.

Workload AI tidak bekerja seperti itu. Mereka cenderung menggunakan kembali dataset besar secara berulang, memindahkan data secara paralel, dan menjaga banyak operasi berjalan bersamaan, yang berarti sistem terus-menerus menarik data dari storage, bukan hanya sesekali.

Di sinilah latensi mulai terasa lebih penting daripada sebelumnya. Bukan dalam bentuk hambatan besar yang langsung terlihat, tapi sebagai penundaan kecil yang terus menumpuk. Sistem tidak berhenti, tapi juga tidak berjalan seefisien yang seharusnya, dan di titik itu kamu mulai melihat prosesor menunggu data alih-alih langsung memprosesnya.

Storage Class Memory hadir di jalur tersebut dan mengurangi seberapa sering sistem harus benar-benar turun sampai ke NAND, sekaligus menjaga agar biaya tidak melonjak karena mencoba memindahkan semuanya ke DRAM.

Bagaimana cara membayangkannya

Cara paling mudah untuk membayangkannya adalah kembali ke analogi gudang, tapi kali ini bukan fokus ke area loading seperti pada HBM, melainkan apa yang terjadi sedikit di belakangnya.

Kamu punya area loading tempat pekerjaan aktif terjadi, kotak dibuka, disortir, dan dipindahkan. Itu adalah DRAM. Lalu lebih ke belakang ada rak-rak gudang tempat semua disimpan dalam jumlah besar. Itu adalah NAND.

Kalau setiap kali kamu butuh sesuatu harus berjalan jauh ke dalam gudang, mengambilnya, lalu membawanya kembali ke depan, pekerjaan tetap berjalan, tapi tidak seefisien yang seharusnya. Sekarang bayangkan ada area staging tepat di belakang area loading, di mana barang-barang yang kemungkinan akan segera digunakan sudah tersedia. Tidak semuanya, tapi cukup untuk menjaga alur kerja tetap lancar.

Area staging itulah yang diwakili oleh Storage Class Memory. Ini bukan untuk menggantikan gudang atau memperluas area loading, tapi untuk memastikan sistem tidak harus selalu mengambil jalur terpanjang setiap kali membutuhkan sesuatu.

Apa yang benar-benar berubah dengan SCM

Dari sudut pandang sistem, nilai dari SCM (Storage Class Memory) bukan karena ia jauh lebih cepat dari semua yang lain, tapi karena ia mengurangi seberapa sering jalur paling lambat digunakan. Perbedaan ini penting, karena masalah performa biasanya bukan berasal dari satu komponen yang lambat, melainkan dari seberapa sering sistem harus bergantung padanya.

Dengan menambahkan lapisan di antara DRAM dan NAND, sistem bisa menjaga lebih banyak data tetap dekat dengan proses komputasi tanpa harus menanggung biaya dan konsumsi daya dari memperbesar DRAM secara signifikan.

Di saat yang sama, ini juga mencegah NAND digunakan terlalu berat untuk pola akses yang sebenarnya tidak dirancang untuk penggunaan yang terus-menerus dan berfrekuensi tinggi.

Di sinilah batas antara memori dan storage mulai menjadi sedikit kabur. SCM berperilaku lebih seperti memori dalam cara aksesnya, tapi tetap membawa karakteristik storage dalam hal kepadatan dan biaya. Sifat hibrida ini justru yang membuatnya sangat cocok untuk sistem AI, di mana kategori tradisional sudah tidak lagi pas seperti dulu.

Kenapa lapisan ini penting sekarang

Dari sisi teknis, ini bukan konsep yang benar-benar baru, tapi menjadi jauh lebih relevan karena cara workload AI bekerja saat ini. Jumlah data yang dipindahkan, digunakan ulang, dan diakses kembali jauh lebih besar dibandingkan sistem sebelumnya.

Peningkatan ini tidak hanya menekan kapasitas penyimpanan, tapi juga efisiensi dalam mengakses data secara berulang, dan di situlah lapisan tambahan mulai memberikan dampak yang nyata.

Ini juga kembali ke tema yang sama seperti di artikel pertama: industri tidak menggantikan NAND, tapi membangun di sekitarnya. Storage Class Memory adalah bagian dari perubahan tersebut, mengurangi tekanan pada DRAM dan NAND tanpa harus menghilangkan salah satunya.

Dari sini, arsitektur terus berkembang ke dua arah. Di atas lapisan ini, muncul memori yang semakin khusus seperti HBM. Di bawahnya, NAND sendiri terus beradaptasi ke peran baru, termasuk upaya untuk membuat flash berperilaku lebih seperti memori.

Pada akhirnya, sistem bekerja bukan karena satu lapisan sempurna, tapi karena setiap lapisan digunakan untuk pekerjaan yang memang paling cocok untuknya.

Catatan editorial dan gambar: Gambar yang digunakan dalam artikel ini adalah foto asli yang diambil langsung oleh penulis untuk GetUSB.info.

Cara artikel ini dibuat: Konten ini dikembangkan oleh penulis berdasarkan topik teknis dan arah editorial. Alat AI digunakan untuk membantu membentuk ritme dan struktur artikel, dengan peninjauan dan persetujuan akhir oleh penulis.