Ketika kebanyakan orang mendengar tentang infrastruktur AI, pembicaraan biasanya berputar di sekitar GPU, High Bandwidth Memory (HBM), atau penyimpanan solid-state yang sangat cepat. Asumsinya adalah kecerdasan buatan berjalan sepenuhnya di atas perangkat keras paling mutakhir, tempat semuanya diukur dalam nanodetik dan terabyte per detik.

Asumsi itu tidak salah, tetapi belum lengkap.

Kenyataannya, sistem AI modern masih sangat bergantung pada salah satu teknologi tertua di pusat data: hard drive mekanis.

Itu mungkin terdengar aneh, mengingat kita sudah membahas bagaimana server AI mulai bergerak melampaui memori flash tradisional dalam artikel kami: NAND tidak akan hilang, tapi server AI sekarang bergantung pada lebih dari sekadar flash. Kami juga membahas mengapa teknologi seperti High Bandwidth Memory (HBM) menjadi sangat penting untuk menjaga sistem AI tetap mendapat pasokan data dengan cukup cepat agar tidak terjadi bottleneck pada GPU.

Namun ada sisi lain dari cerita ini yang tidak mendapat perhatian sebanyak itu: skala murni.

AI tidak hanya membutuhkan penyimpanan yang cepat. AI membutuhkan jumlah penyimpanan yang hampir sulit dibayangkan.

Dan hard drive masih menjadi satu-satunya teknologi yang mampu memberikan kapasitas tersebut dengan biaya yang masih realistis untuk ditanggung industri.

Memahami Hierarki Penyimpanan AI

Cara paling mudah untuk memahami infrastruktur AI modern adalah berhenti membayangkannya sebagai satu komputer, lalu mulai membayangkannya sebagai sebuah operasi logistik besar.

HBM bertindak seperti dermaga bongkar muat, tempat data dipindahkan dengan kecepatan luar biasa. DRAM berfungsi seperti ruang kerja aktif, tempat informasi terus-menerus diproses dan dimanipulasi. NAND flash lebih mirip rak penyimpanan terdekat, tempat akses cepat tetap penting, tetapi penyimpanan jangka panjang juga mulai menjadi faktor penting.

Hard drive, di sisi lain, adalah gudangnya.

Bukan bagian paling mencolok dari operasi tersebut. Bukan juga bagian tercepat. Tetapi jelas bagian yang paling besar.

Teknologi	Kapasitas Umum	Kekuatan Utama	Peran Utama dalam AI
HBM	80GB–192GB	Bandwidth ekstrem	Komputasi GPU aktif
DRAM	Ratusan GB	Latensi rendah	Memori kerja
SSD NAND	Beberapa TB	Penyimpanan persisten cepat	Staging dataset dan caching
Hard Drive	Petabyte hingga exabyte	Efisiensi kapasitas	Penyimpanan massal dan arsip

Perbedaan itu penting karena sistem pelatihan AI mengonsumsi data dalam skala yang jarang sekali ditemui orang dalam penggunaan komputer biasa.

Laptop konsumen mungkin menyimpan beberapa terabyte data. Bahkan workstation kelas atas mungkin hanya menyimpan puluhan terabyte. Infrastruktur AI beroperasi beberapa tingkat skala di atas itu.

Saat laptop konsumen berpikir dalam terabyte, cluster AI berpikir dalam exabyte.

Satu exabyte sama dengan satu juta terabyte.

Jika sebuah hard drive enterprise modern menyimpan 30TB, masih dibutuhkan lebih dari 33.000 hard drive untuk membangun satu exabyte kapasitas penyimpanan mentah.

Operator AI besar tidak membangun satu exabyte. Mereka membangun banyak exabyte di berbagai wilayah, lapisan redundansi, lingkungan pelatihan, sistem backup, dan penyimpanan arsip.

Masalah Exabyte

Melatih model bahasa besar dapat melibatkan petabyte teks, gambar, video, telemetri, checkpoint, dan status pelatihan yang diarsipkan. Setelah dataset tersebut dikumpulkan, data itu jarang dihapus. Dataset terus bertambah seiring model dilatih ulang, disempurnakan, dan diperluas.

Selama pelatihan AI, sistem terus-menerus membuat checkpoint, yang pada dasarnya adalah status penyimpanan besar dari model saat sedang belajar. Jika sebuah cluster gagal di tengah siklus pelatihan selama beberapa minggu, checkpoint tersebut mungkin menjadi satu-satunya hal yang mencegah hilangnya jutaan dolar waktu komputasi.

Itu berarti infrastruktur penyimpanan bukan lagi hanya soal kecepatan, tetapi juga soal mempertahankan kumpulan data raksasa yang tetap bisa diakses.

Di sinilah hard drive diam-diam tetap dominan.

Pada tahun 2010, hard drive 2TB terasa sangat besar. Lingkungan enterprise saat itu umum menggunakan drive SAS 300GB atau 600GB, dan kapasitas di atas beberapa terabyte dianggap sebagai kapasitas premium.

Sekarang, hard drive enterprise 24TB dan 30TB mulai menjadi penerapan standar di dalam pusat data besar. Produsen juga sudah menguji drive 40TB+ menggunakan teknologi seperti HAMR (Heat-Assisted Magnetic Recording), yang meningkatkan areal density tanpa menambah ukuran fisik drive itu sendiri.

Untuk memberi gambaran tentang pertumbuhan itu, satu rak penyimpanan modern sekarang bisa menyimpan lebih banyak data daripada seluruh pusat data enterprise ukuran menengah dari tahun 2010.

Begitulah drastisnya permintaan penyimpanan telah berubah.

Dan AI adalah salah satu alasan utamanya.

AI Berjalan dengan Lebih dari Sekadar Kecepatan

Pembahasan publik tentang AI cenderung berfokus pada GPU karena GPU melakukan pekerjaan yang terlihat. GPU menghasilkan jawaban, membuat gambar, dan memproses token.

Penyimpanan melakukan pekerjaan yang tidak terlihat, yaitu menjaga pipeline kecerdasan itu sendiri tetap ada.

GPU hanya berguna jika dapat terus mengakses jumlah data pelatihan yang sangat besar.

Data itu harus berada di suatu tempat.

Bukan di dalam HBM. Bukan di dalam DRAM. Dan tentu saja tidak seluruhnya di dalam lapisan penyimpanan NAND yang mahal.

Data itu terutama berada di atas infrastruktur hard drive berskala besar.

Sebuah pusat data AI modern dapat berisi ratusan petabyte data yang tersimpan. Beberapa lingkungan hyperscale kemungkinan sudah jauh melampaui itu menuju arsitektur skala exabyte. Mencoba menyimpan semuanya sepenuhnya di NAND flash akan tidak realistis secara finansial, bahkan untuk penyedia cloud terbesar sekalipun.

Inilah bagian yang sering dilewatkan banyak orang ketika membahas hardware AI.

Performa penting, tetapi ekonomi juga penting.

Industri senang memasarkan angka IOPS dan benchmark, tetapi penerapan AI berskala besar pada akhirnya dibatasi oleh total cost of ownership.

Hard drive terus menawarkan biaya per terabyte paling rendah dalam penerapan skala besar. Hard drive juga tetap sangat efisien untuk menyimpan cold data, dataset arsip, snapshot backup, checkpoint model, dan informasi pelatihan massal yang tidak membutuhkan waktu akses tingkat nanodetik.

Mengapa Hard Drive Masih Berfungsi untuk AI

Ada juga salah kaprah lain yang perlu diluruskan: orang sering menganggap hard drive terlalu lambat untuk digunakan dalam lingkungan AI.

Itu tidak sepenuhnya benar.

Satu hard drive memang lambat dibandingkan DRAM atau NAND flash. Tetapi pusat data AI tidak bekerja dengan satu drive. Mereka bekerja dengan array penyimpanan raksasa yang memiliki akses paralel ke ribuan disk secara bersamaan.

Yang lebih penting lagi, banyak workload AI melibatkan streaming sekuensial dataset besar, bukan transaksi acak kecil-kecil. Workload sekuensial kebetulan menjadi salah satu area di mana array hard drive enterprise modern masih bekerja dengan sangat baik.

Dengan kata lain, infrastruktur AI tidak selalu bertanya, “Apa penyimpanan tercepat yang mungkin?”

Kadang yang ditanyakan adalah:

Apa cara praktis tercepat untuk menyimpan 500 petabyte tanpa membuat perusahaan bangkrut?

Itu adalah masalah rekayasa yang sangat berbeda.

Infrastruktur AI Menjadi Ekosistem Memori Berlapis

Ini juga menjelaskan mengapa teknologi baru ditambahkan secara berlapis ke dalam sistem AI, bukan langsung menggantikan teknologi lama sepenuhnya.

Dalam artikel kami tentang Storage Class Memory: lapisan yang hilang antara DRAM dan NAND, kami membahas bagaimana industri terus menciptakan lapisan perantara untuk menyeimbangkan kecepatan, persistensi, dan ekonomi.

Kami juga membahas bagaimana NAND berusaha bergerak mendekati performa tingkat memori dalam: High Bandwidth Flash: bisakah NAND akhirnya bertindak seperti memori?.

Infrastruktur AI sedang menjadi tepat seperti itu: ekosistem memori berlapis.

HBM menangani komputasi langsung. DRAM mengelola workload aktif. NAND flash menyerap tugas penyimpanan persisten yang cepat. Teknologi storage-class mencoba menjembatani celah latensi. Hard drive menyediakan fondasi kapasitas besar di bawah semuanya.

Masa depan penyimpanan AI bukanlah satu teknologi menggantikan teknologi lain.

Melainkan beberapa teknologi yang ditumpuk bersama, karena tidak ada satu jenis memori pun yang menyelesaikan semua masalah dengan baik.

Itu mungkin salah paham terbesar tentang infrastruktur AI saat ini. Orang mengira teknologi terbaru otomatis mematikan teknologi yang lebih lama.

Namun sejarah komputasi jarang berjalan seperti itu.

Hard drive bertahan melewati SSD karena dunia terus menghasilkan lebih banyak data lebih cepat daripada penurunan harga flash. Sekarang AI mempercepat tren itu lebih jauh lagi. Jumlah informasi yang dihasilkan, disimpan, disalin, dan dilatih ulang meledak begitu cepat sampai kapasitas itu sendiri menjadi sumber daya strategis.

Ironisnya, semakin maju AI, semakin penting pula infrastruktur penyimpanan skala besar yang mendukungnya.

Artinya, salah satu teknologi tertua di pusat data mungkin akan terus memainkan peran penting dalam AI jauh lebih lama daripada yang diperkirakan banyak orang.

---

Sekilas, chip memori NAND dan satu barel minyak mentah tampak seperti dua hal yang sama sekali tidak berkaitan.

Yang satu berasal dari dunia wafer silikon, clean room, laser mikroskopis, dan kimia tingkat lanjut. Yang satu lagi berasal dari rig pengeboran, jaringan pipa, kapal tanker, dan kilang minyak.

Namun ketika harga minyak naik, industri NAND merasakannya dengan sangat cepat.

Bagian yang membingungkan adalah ini: chip NAND itu sendiri hampir tidak mengandung minyak.

Kedengarannya bertentangan, sampai kita memahami bagaimana manufaktur semikonduktor modern benar-benar bekerja. Chipnya mungkin sangat kecil, tetapi dunia industri yang dibutuhkan untuk membuatnya sangat besar.

NAND Dimulai dari Pasir, Bukan Minyak Bumi

Memori NAND dibuat dari silikon, yang pada akhirnya berasal dari kuarsa dan pasir yang dimurnikan secara sangat tinggi.

Proses produksinya sulit dibayangkan karena berlangsung pada skala yang terlalu kecil untuk benar-benar dipahami oleh mata manusia secara alami. Salah satu cara paling mudah untuk memikirkannya adalah seperti pengecatan semprot dalam ukuran mikroskopis.

Di dalam pabrik semikonduktor, wafer silikon tipis berada di dalam ruang vakum sementara gas-gas khusus dimasukkan di bawah kondisi panas dan plasma yang dikendalikan dengan sangat cermat. Gas-gas tersebut bereaksi dan meninggalkan lapisan material setipis atom di permukaan wafer.

Bayangkan menyemprotkan cat ke sebuah permukaan satu lapisan mikroskopis demi satu lapisan, hanya saja cat tersebut harus mendarat dengan presisi hampir sempurna di seluruh wafer. Lalu bayangkan proses itu diulang ratusan kali.

NAND 3D modern pada dasarnya adalah gedung pencakar langit vertikal berisi sel-sel memori yang ditumpuk lapis demi lapis. Dari sinilah istilah industri seperti “NAND 200-layer” atau “NAND 300-layer” berasal.

Jadi, Mengapa Minyak Berpengaruh?

Minyak tidak secara langsung berubah menjadi chip memori.

Sebaliknya, minyak menggerakkan ekosistem industri raksasa yang memungkinkan chip itu ada sejak awal.

Pabrik semikonduktor modern lebih mirip stasiun luar angkasa di Bumi daripada pabrik elektronik tradisional. Lingkungan di dalamnya harus tetap terkendali secara luar biasa setiap detik, setiap hari.

Udara di dalam fab terus-menerus disaring dan disirkulasikan ulang karena partikel debu mikroskopis sekalipun dapat merusak produksi. Suhu dikontrol secara ketat karena fluktuasi kecil dapat memengaruhi yield produksi. Sistem vakum besar mengalirkan gas melalui ruang proses tanpa henti. Sistem pemurnian air menghasilkan air ultra-murni, lebih bersih daripada yang bisa dibayangkan kebanyakan orang untuk diminum.

Meskipun chip memori akhir hampir tidak memiliki berat, infrastruktur yang mendukung pembuatannya membentang melalui bangunan raksasa, pabrik gas industri, jaringan listrik, pemasok bahan kimia, armada pengiriman, dan sistem logistik global.

Di situlah minyak masuk ke dalam cerita.

Minyak memengaruhi biaya transportasi, bahan kimia industri, plastik, resin epoksi, harga pengiriman barang, pembangkitan listrik, dan begitu banyak sistem pendukung di sekitar produksi semikonduktor. Bahkan cangkang pelindung hitam di sekitar banyak paket NAND, dalam satu bentuk atau lainnya, dapat ditelusuri kembali ke material petrokimia.

Infrastruktur Tak Terlihat di Balik Chip Mungil

Kebanyakan orang melihat USB flash drive atau SSD dan melihat produk elektronik kecil.

Yang tidak mereka lihat adalah infrastruktur tak terlihat di baliknya. Artikel yang menunjukkan bagaimana memori flash bekerja sering membuat orang terkejut, karena lingkungan produksinya lebih mirip laboratorium ilmiah daripada lini perakitan elektronik tradisional.

Mereka tidak melihat clean room yang memindahkan dan menyaring volume udara sangat besar setiap menit. Mereka tidak melihat sistem pemurnian kimia yang menghasilkan gas khusus ultra-murni. Mereka tidak melihat kebutuhan daya yang terus-menerus diperlukan untuk menjaga pabrik-pabrik ini tetap stabil sepanjang waktu.

Dan mereka jelas tidak melihat jaringan transportasi global yang memindahkan bahan mentah, wafer, controller, substrat, chip jadi, dan produk yang sudah dikemas antarnegara sebelum perangkat akhir sampai ke rak toko.

Jumlah fisik minyak yang terkait dengan satu chip NAND sebenarnya sangat kecil. Satu galon minyak tidak “membuat” satu chip memori.

Kenyataannya, satu galon yang sama dapat secara tidak langsung mendukung sistem transportasi, pemrosesan kimia, pembangkitan listrik, pembuatan plastik, dan operasi industri yang secara kolektif membantu memproduksi ribuan perangkat NAND.

Itulah yang membuat semikonduktor begitu menarik. Nilainya bukan terletak pada bahan mentah itu sendiri. Nilainya berasal dari presisi, rekayasa, kimia, dan infrastruktur yang luar biasa rumit yang diperlukan untuk memproduksi memori andal pada skala mikroskopis.

Mengapa Harga NAND Bisa Bereaksi Begitu Cepat

NAND juga berperilaku berbeda dari banyak produk teknologi lainnya.

Smartphone atau kamera premium mungkin mempertahankan harga yang relatif stabil selama berbulan-bulan. Memori NAND tidak selalu bekerja seperti itu. Harga memori dapat bergerak cepat karena pasar ini lebih mirip pasar komoditas daripada pasar elektronik mewah.

Ketika harga minyak naik tajam, pengiriman menjadi lebih mahal. Biaya bahan kimia naik. Biaya operasional pabrik meningkat. Ongkos pengiriman barang naik hampir seketika, terutama untuk kargo udara.

Bahkan ketidakpastian saja dapat menciptakan tekanan pasar, karena pemasok dan distributor menjadi lebih berhati-hati terhadap inventaris dan biaya di masa depan.

Hubungan antara minyak dan NAND bersifat tidak langsung, tetapi benar-benar nyata.

Realitas yang Lebih Besar

Selama bertahun-tahun, semikonduktor sebagian besar dibahas sebagai kisah teknologi murni. Transistor yang lebih kecil. Chip yang lebih cepat. Kapasitas penyimpanan yang lebih besar.

Namun manufaktur semikonduktor modern juga merupakan kisah energi, kisah kimia, dan kisah logistik.

Memori NAND dibuat dari silikon, tetapi ia bertahan berkat sistem industri global yang digerakkan oleh listrik, transportasi, pemurnian, dan infrastruktur manufaktur canggih.

Minyak tidak berubah menjadi NAND.

Minyak menggerakkan dunia yang membuat NAND menjadi mungkin.

Catatan EEAT: Artikel ini dibuat dengan bantuan AI untuk penyusunan struktur dan penyuntingan, dengan arahan akhir, tinjauan teknis, dan pengembangan topik dipandu oleh penulis. Tujuannya adalah menjelaskan hubungan kompleks antara semikonduktor dan infrastruktur industri dengan cara yang praktis dan mudah dipahami pembaca.

Begitu Anda mulai melihat bagaimana sistem AI sebenarnya dibangun, ada satu kesimpulan yang sangat wajar yang cenderung diambil orang, dan jujur saja, pada awalnya itu memang terdengar sangat masuk akal.

Jika NAND terlalu lambat untuk bagian tertentu dari workload, dan bahkan arsitektur flash yang sudah canggih pun masih menimbulkan cukup banyak jeda hingga terasa dampaknya, maka jawaban yang tampaknya paling jelas adalah menambahkan lebih banyak DRAM. Bagaimanapun juga, DRAM selalu menjadi lapisan yang cepat. Di sanalah data aktif berada, responsnya cepat, dan selama puluhan tahun itu adalah bagian sistem yang Anda andalkan ketika Anda tidak ingin prosesor hanya duduk diam menunggu sesuatu datang.

Jadi asumsi itu mudah dibuat: jika masalahnya adalah kecepatan, maka perluas saja hal tercepat yang sudah Anda miliki.

Logika itu terlihat masuk akal sampai AI masuk ke dalam gambar dan mulai mendorong DRAM ke peran yang sebenarnya tidak pernah dirancang untuk ditanggung sepenuhnya. Masalahnya bukan karena DRAM tiba-tiba menjadi lambat, usang, atau entah bagaimana kurang berguna dibanding sebelumnya. Masalahnya adalah workload AI meminta jauh lebih banyak dari DRAM daripada sekadar menjadi lapisan kerja cepat antara compute dan storage.

Untuk kerangka besar di balik pergeseran ini, artikel ini terhubung langsung ke artikel pilar utama di sini: NAND tidak akan hilang, tapi server AI sekarang bergantung pada lebih dari sekadar flash.

DRAM Dibangun untuk Kecepatan, Bukan untuk Menanggung Seluruh Sistem

Hal pertama yang perlu dipahami adalah bahwa DRAM sejak awal selalu dioptimalkan untuk kecepatan dan responsivitas, bukan untuk menampung data dalam jumlah sangat besar pada skala masif. Dalam komputasi tradisional, perbedaan itu jarang menjadi masalah karena sebagian besar workload memiliki pemisahan yang cukup jelas antara data aktif dan data yang disimpan. Sistem menyimpan apa yang langsung dibutuhkan di memori, mengambil sisanya dari storage saat diperlukan, dan perpindahan itu biasanya cukup baik sehingga hampir tak ada yang benar-benar memikirkannya terlalu jauh.

AI mengubah keseimbangan itu secara cukup drastis. Alih-alih memproses potongan kecil data aktif lalu melanjutkan, model AI cenderung terus kembali ke dataset besar, memindahkan informasi secara paralel, dan menjaga bagian working set yang jauh lebih besar tetap berada dalam jangkauan lapisan compute untuk jangka waktu yang lebih lama. Itu berarti DRAM tidak lagi hanya diminta menahan tugas yang sedang berjalan. DRAM sekarang diminta membantu menampung kumpulan data yang sangat besar dan terus berubah, yang ingin selalu berada dekat dengan sistem setiap saat.

Itu adalah pekerjaan yang sangat berbeda.

Itulah juga sebabnya teknologi di atas dan di sekitar DRAM menjadi semakin penting. Dalam artikel sebelumnya tentang apa itu High Bandwidth Memory dan mengapa AI bergantung padanya, fokusnya adalah memindahkan sejumlah kecil data penting sangat dekat ke prosesor agar GPU tetap terus terisi data. Artikel itu menegaskan bahwa kedekatan memang penting, tetapi secara diam-diam juga mengungkap masalah berikutnya, karena begitu working set tumbuh melampaui lapisan terdekat itu, sistem tetap harus memutuskan di mana semua hal lainnya akan ditempatkan.

Tembok Pertama Adalah Biaya, dan Itu Muncul Sangat Cepat

Salah satu alasan mengapa banyak orang menyukai gagasan “tinggal tambahkan lebih banyak DRAM” adalah karena terdengar bersih dan langsung. Dalam praktiknya, itu menjadi mahal dengan sangat cepat. Harga DRAM jelas tidak seperti NAND, dan ketika Anda mulai menskalakan sistem ke wilayah AI, Anda tidak lagi bicara soal menambahkan sedikit memori ekstra ke sebuah server. Anda sedang membicarakan ratusan gigabyte, kadang jauh lebih besar, tersebar di banyak node, rack, dan cluster.

Pada titik itu, DRAM berhenti terasa seperti peningkatan performa dan mulai terlihat seperti beban infrastruktur. Kurva biayanya tidak naik pelan-pelan. Kurva itu menanjak cukup cepat sampai gagasan menggunakan DRAM untuk menyelesaikan setiap masalah lokalitas data mulai runtuh di bawah beban ekonominya sendiri.

Itulah salah satu alasan mengapa memory stack kini menjadi lebih dalam, bukan lebih sederhana. Industri tidak menjauh dari DRAM karena nilainya hilang. Industri menjauh dari asumsi bahwa DRAM sendirian bisa menjadi jawaban untuk setiap masalah sensitif latensi pada skala AI.

Tembok Kedua Adalah Daya, dan Masalah Ini Tidak Pernah Tidur

Bahkan jika biaya lebih mudah dibenarkan, DRAM tetap menghadapi masalah lain yang mustahil diabaikan begitu sistem menjadi cukup besar, yaitu daya. DRAM harus terus-menerus diberi daya untuk mempertahankan statusnya. Itu memang bagian dari teknologinya. Jadi semakin banyak Anda menambahkannya, semakin banyak pula energi yang dikonsumsi sistem hanya untuk menjaga data tetap berada di sana dan siap digunakan.

Di lingkungan yang lebih kecil, overhead itu mungkin terasa bisa diterima. Dalam sistem AI padat yang berjalan terus-menerus, itu mulai menjadi masalah operasional yang serius. Lebih banyak DRAM berarti lebih banyak konsumsi daya, lebih banyak panas, lebih banyak pendinginan, dan lebih banyak tekanan desain pada seluruh platform. Tiba-tiba keputusan ini bukan lagi hanya soal kapasitas memori. Ini menjadi soal batas termal, efisiensi pusat data, dan apakah infrastruktur pendukung sanggup menyerap biaya untuk menjaga memori aktif sebanyak itu tetap hidup sepanjang waktu.

Di sinilah peran lapisan perantara mulai terasa lebih masuk akal. Dalam artikel sebelumnya tentang Storage Class Memory, lapisan yang hilang antara DRAM dan NAND, idenya bukan untuk menggantikan DRAM, tetapi untuk meringankan sebagian tekanannya dengan menambahkan lapisan yang menjaga lebih banyak data tetap dekat dengan compute tanpa memaksa semuanya masuk ke tier yang paling mahal dan paling boros daya.

Lalu Ada Kenyataan Fisik dari Kedekatan

Ada alasan lain mengapa DRAM tidak bisa diskalakan tanpa batas dengan baik dalam sistem AI, dan itu lebih sedikit berkaitan dengan anggaran serta lebih banyak berkaitan dengan fisika. DRAM bernilai sebagian karena letaknya relatif dekat dengan prosesor. Semakin dekat memori ke compute, biasanya semakin rendah latensinya dan semakin responsif keseluruhan sistem terasa. Namun kedekatan bukanlah sesuatu yang bisa terus Anda perluas selamanya tanpa konsekuensi.

Ada batas fisik untuk seberapa banyak memori yang bisa ditempatkan dekat CPU atau GPU sebelum kompleksitas tata letak, panjang jalur sinyal, integritas sinyal, dan batasan packaging mulai berbalik melawan Anda. Inilah tepatnya alasan mengapa advanced memory packaging muncul sejak awal. HBM ada karena penempatan DRAM tradisional hanya bisa melangkah sampai batas tertentu, dan begitu sisi compute menjadi cukup cepat, jarak dan jalur itu mulai menjadi jauh lebih penting daripada sebelumnya.

Tetapi HBM juga bukan jawaban penuh untuk masalah kapasitas. HBM menawarkan bandwidth yang luar biasa, tetapi bukan volume tanpa batas. Akibatnya, sistem hidup dalam tindakan menyeimbangkan yang terus-menerus antara apa yang bisa ditempatkan sangat dekat dan apa yang harus diletakkan lebih jauh. Workload AI menekan keseimbangan itu jauh lebih keras daripada yang pernah terjadi pada sistem konvensional.

AI Membuat Keterlambatan Kecil Menjadi Mahal

Salah satu hal yang lebih menarik dari infrastruktur AI adalah bahwa ia menyingkap inefisiensi yang dulu bisa disembunyikan oleh workload yang lebih lama. Dalam sistem yang lebih tradisional, sedikit keterlambatan dalam akses data mungkin tidak berarti banyak. Prosesor menunggu sebentar, tugas selesai sedikit lebih lambat, dan pengguna tidak pernah menyadarinya. Sistem AI jauh lebih tidak toleran karena beroperasi dengan paralelisme yang sangat besar dan karena begitu banyak uang terikat pada lapisan compute.

Jika GPU tidak mendapatkan data saat dibutuhkan, itu bukan sekadar gangguan teknis. Itu adalah waktu menganggur yang mahal. Kalikan hal itu di banyak accelerator yang berjalan paralel, dan bahkan keterlambatan yang sangat kecil pun mulai tampak sebagai kerugian nyata dalam utilisasi.

Itu mengubah tujuannya. Tujuannya bukan sekadar memiliki memori yang cepat. Tujuannya adalah mempertahankan pengiriman data yang konsisten pada skala yang cukup besar untuk membuat bagian paling mahal dari sistem terus sibuk setiap saat. Itu adalah tuntutan yang jauh lebih berat, dan itulah tepatnya alasan mengapa DRAM saja mulai terlihat tidak memadai setelah infrastruktur AI tumbuh melampaui titik tertentu.

Analogi Gudang Itu Masih Tetap Berlaku – Hanya Saja Ukurannya Menjadi Lebih Besar

Jika kita terus memakai analogi gudang yang sama dari artikel-artikel sebelumnya, DRAM masih merupakan loading dock. Di situlah pekerjaan aktif terjadi, di situlah barang dibuka, disortir, dan dipindahkan ke penggunaan langsung. Selama bertahun-tahun, model itu bekerja dengan baik karena jumlah aktivitas di loading dock masih bisa dikelola dan sistem tidak menuntut agar semuanya dipersiapkan di sana pada saat yang sama.

AI mengubah skala operasinya. Sekarang loading dock diharapkan menopang arus material yang hampir terus-menerus, dengan jauh lebih banyak aktivitas yang berlangsung secara paralel dan jauh lebih sedikit toleransi terhadap keterlambatan. Pada titik tertentu, bahkan loading dock terbaik pun tidak bisa terus berkembang begitu saja. Hanya ada sejumlah ruang tertentu, hanya ada sejumlah gerakan paralel tertentu yang bisa berlangsung dengan efisien, dan hanya ada sejumlah persediaan tertentu yang bisa Anda simpan langsung di titik penggunaan sebelum tata letaknya sendiri menjadi bagian dari masalah.

Jadi jawabannya bukan membuat loading dock itu menjadi tak terbatas besarnya. Jawabannya adalah merancang ulang workflow di sekelilingnya.

Di sinilah sisa hierarki memori mulai layak mendapatkan tempatnya. HBM menjaga data yang paling sensitif terhadap waktu tetap tepat di samping prosesor. Storage Class Memory membantu menghaluskan transisi antara memori aktif dan storage yang lebih lambat. Dan dalam artikel yang lebih baru tentang mengapa sistem AI modern mengonsumsi begitu banyak memori, fokusnya bergeser ke bagaimana sisi storage juga sedang didesain ulang agar bisa ikut berperan lebih cerdas dalam memberi makan sistem.

Tidak satu pun dari lapisan-lapisan itu ada karena DRAM gagal. Lapisan-lapisan itu ada karena AI telah melampaui gagasan bahwa satu lapisan cepat saja dapat menanggung seluruh workload sendirian.

Apa Arti Sebenarnya Semua Ini bagi Memory Stack AI

Inti sebenarnya di sini bukanlah bahwa DRAM akan hilang, karena jelas itu tidak terjadi. DRAM tetap menjadi salah satu bagian paling penting dari seluruh stack. Yang berubah adalah perannya. Alih-alih menjadi tempat di mana semua data aktif seharusnya tinggal, DRAM kini menjadi tempat bagi data yang paling mendesak dan paling sensitif terhadap waktu, sementara lapisan lain menangani beban yang terus tumbuh dari skala, biaya, dan kapasitas.

Itu adalah pergeseran yang halus, tetapi penting. Itu berarti infrastruktur AI sedang menjauh dari gagasan lama tentang model dua lapis yang sederhana – memori di sini, storage di sana – dan bergerak menuju sesuatu yang jauh lebih bernuansa, di mana teknologi yang berbeda masing-masing diminta menangani bagian workload yang paling cocok untuk mereka.

Sederhananya, DRAM masih sangat penting, tetapi tidak lagi cukup jika berdiri sendiri. AI telah mengubah ukuran working set, kecepatan compute, biaya keterlambatan, dan ekonomi dari menjaga semuanya tetap dekat. Begitu semua hal itu berubah pada saat yang sama, hierarki memori juga harus berubah bersamanya.

Ke Mana Ini Akan Mengarah Selanjutnya

Begitu Anda menerima bahwa DRAM tidak bisa cukup jauh “meregang” untuk menampung semua yang ingin dijaga AI tetap dekat ke compute, pertanyaan berikutnya menjadi cukup jelas. Di mana sebenarnya sisa data itu tinggal, terutama ketika jumlah informasinya terlalu besar untuk dibenarkan jika semuanya harus dipertahankan di memori?

Di sinilah percakapan kembali berbelok, dan sebuah teknologi yang oleh banyak orang dianggap sudah tersisih justru mulai menjadi penting dengan cara yang cukup mengejutkan. Karena sementara DRAM bergumul dengan skala dan flash masih membawa kompromi biaya serta latensinya sendiri, hard drive tetap menawarkan sesuatu yang sulit digantikan oleh bagian stack lainnya: kapasitas yang praktis dalam volume sangat besar.

Dan itulah tepatnya alasan mengapa bagian berikutnya dari seri ini harus melihat mengapa hard drive masih sangat penting bagi infrastruktur AI.

Sel-selnya kecil, kecepatannya besar, dan tetap akurat. Bukan sulap, ini rekayasa.

Pada suatu titik Anda melihat sebuah flash drive USB dengan klaim kecepatan 400MB per detik lalu berpikir … tidak mungkin itu nyata. Atau setidaknya, tidak mungkin itu dilakukan dengan akurat.

Rasanya terlalu cepat. Terlalu rapi. Terlalu sempurna. Seolah pasti ada sesuatu yang harus dikorbankan.

Insting itu tidak salah – hanya saja insting itu didasarkan pada cara kita memahami kecepatan di dunia nyata. Saat manusia bergerak lebih cepat, kesalahan terjadi. Saat sistem dipaksa terburu-buru, hasilnya jadi berantakan. Jadi ketika Anda mendengar “400MB per detik,” otak Anda diam-diam menerjemahkannya menjadi “mungkin ada sesuatu yang dilewati.”

Tapi memori flash tidak bekerja seperti yang kita bayangkan.

Hal pertama yang perlu dipahami adalah ini: sebuah flash drive USB tidak sedang menulis satu aliran data dengan sangat, sangat cepat. Ia menulis banyak potongan data yang lebih kecil pada saat yang sama, di banyak area memori, semuanya bekerja secara paralel.

Jadi alih-alih satu proses bergerak dengan kecepatan ekstrem, Anda punya puluhan proses yang lebih kecil yang semuanya berjalan dengan ritme yang sangat terkontrol dan sangat bisa dikelola. Dari luar hasilnya terlihat cepat, tetapi di dalam semuanya tertata, tersebar, dan dilakukan dengan sengaja.

Bayangkan seperti gudang.

Kalau satu orang harus memuat 400 kotak ke truk setiap detik, hasilnya akan kacau. Kotak akan jatuh, salah label, atau bahkan terlewat sama sekali. Itulah gambaran yang ada di kepala kebanyakan orang saat mendengar “400MB per detik.”

Tapi bukan itu yang terjadi.

Sebaliknya, bayangkan ada 40 ban berjalan, masing-masing dengan pekerja yang menaruh satu kotak pada satu waktu. Setiap kotak dipindai, diverifikasi, dan ditempatkan dengan benar sebelum lanjut ke langkah berikutnya. Tidak ada yang terburu-buru. Tidak ada yang kewalahan. Namun total output-nya sangat besar karena semuanya terjadi secara bersamaan.

Begitulah cara memori flash mencapai kecepatan tanpa mengorbankan akurasi.

Di dalam flash drive USB, sebuah kontroler bertindak seperti pengatur lalu lintas. Ia membagi data yang masuk menjadi bagian-bagian kecil lalu mendistribusikan bagian-bagian itu ke beberapa chip memori flash NAND. Setiap chip menulis bagiannya secara mandiri, sering kali paralel dengan chip lain. Sistem ini dirancang untuk meningkatkan performa dengan mengalikan upaya, bukan dengan memaksa satu jalur bekerja melampaui batasnya.

Dan di sinilah semuanya jadi lebih menarik lagi.

Memori Flash Tidak Sempurna – Ia Terus-Menerus Mengoreksi Dirinya Sendiri

Yang mudah terlewat adalah betapa konstan proses ini sebenarnya. Setiap potongan kecil data yang ditulis ke flash langsung diperiksa, dan kalau perlu, dikoreksi sebelum sistem lanjut ke langkah berikutnya. Ini bukan jaring pengaman satu kali pakai – proses ini terjadi terus-menerus di semua area memori, pada saat yang sama, sementara data baru masih terus ditulis. Sistem selalu menulis, memverifikasi, dan menyesuaikan secara paralel.

Inilah bagian yang kebanyakan orang tidak sadari, dan justru inilah yang membuat seluruh sistem bisa bekerja.

Memori flash NAND pada dasarnya memang tidak sempurna. Di tingkat fisik, menyimpan data berarti menempatkan muatan listrik ke dalam sel-sel yang sangat kecil. Muatan itu bisa sedikit bergeser. Hasil penulisan bisa meleset sedikit dari posisi yang seharusnya. Kesalahan kecil bukan hanya mungkin terjadi – memang sudah diantisipasi.

Karena itulah sistem ini dibangun dengan kenyataan itu sebagai dasar.

Setiap kali data ditulis, kontroler akan memeriksa hasilnya. Jika ada sesuatu yang tidak sepenuhnya benar, ia akan menyesuaikan lalu menulis ulang data tersebut. Bersamaan dengan data aslinya, ada informasi tambahan yang disimpan khusus untuk koreksi kesalahan. Saat data dibaca kembali, kontroler menggunakan informasi tambahan itu untuk mendeteksi dan memperbaiki ketidaksesuaian secara instan.

Di tingkat fisik, menulis ke NAND bukan satu tindakan tunggal – melainkan rangkaian langkah yang cepat. Kontroler menerapkan tegangan yang presisi untuk menyimpan muatan di dalam sebuah sel, langsung memeriksa apakah muatan itu benar-benar mendarat di tempat yang seharusnya, dan kalau tidak, ia akan menyesuaikan lalu mencoba lagi. Ini terjadi dalam hitungan mikrodetik, dan berulang terus sampai data tertulis dengan benar.

Semua ini terjadi begitu cepat sampai Anda tidak pernah melihatnya. Tapi proses itu terus berlangsung setiap saat.

Dengan kata lain, akurasi tidak datang dari kesempurnaan. Akurasi datang dari verifikasi dan koreksi yang terus-menerus pada kecepatan mesin.

Itulah sebabnya sebuah flash drive USB bisa memindahkan data dengan kecepatan ratusan megabyte per detik dan tetap menjaga integritas data. Ia tidak menulis secara buta lalu berharap semuanya baik-baik saja. Ia menulis, memeriksa, mengoreksi, dan mengonfirmasi setiap langkah di sepanjang proses.

Jadi lain kali Anda melihat spesifikasi seperti 400MB/sec, akan sangat membantu kalau Anda membingkai ulang apa arti angka itu sebenarnya.

Itu bukan satu hal yang bergerak mustahil cepat. Itu adalah sistem terkoordinasi dari banyak operasi kecil yang bekerja bersama, semuanya diperiksa, dan semuanya dirancang dengan asumsi bahwa kesalahan memang akan terjadi – lalu langsung diperbaiki.

Flash bukan cepat karena terburu-buru. Flash cepat karena ia melipatgandakan kerja.

Infrastruktur AI punya cara tersendiri untuk menyingkap batasan yang hampir tidak pernah ditemui oleh kebanyakan sistem.

Di artikel-artikel sebelumnya, kita melihat bagaimana high bandwidth memory untuk workload AI menjaga data tetap sedekat mungkin dengan GPU, dan bagaimana storage class memory di antara DRAM dan NAND membantu memperhalus celah antara memori aktif dan penyimpanan flash tradisional. Kedua lapisan itu ada karena sistem tidak bisa membiarkan dirinya menunggu, bahkan untuk waktu yang singkat, tanpa kehilangan efisiensi.

Tapi ada arah lain juga yang sedang dituju industri, dan itu tidak melibatkan pengenalan jenis memori yang sepenuhnya baru.

Sebaliknya, yang dilakukan adalah mengambil sesuatu yang sudah ada, yaitu NAND flash, lalu mendorongnya ke peran yang pada awalnya memang tidak dirancang untuknya.

Di sinilah gagasan tentang High Bandwidth Flash mulai masuk ke dalam pembicaraan.

Masalah yang sejak awal memang bukan untuk diselesaikan NAND

NAND flash sejak dulu dibangun di atas satu gagasan sederhana: menyimpan banyak data secara efisien dan mengambilnya kembali saat dibutuhkan.

Untuk sebagian besar workload, model itu bekerja dengan sangat baik. Data berada di storage, sistem memintanya, lalu SSD mengirimkannya cukup cepat sehingga hampir tidak ada yang benar-benar menyadari adanya jeda.

Workload AI mengubah dinamika itu.

Alih-alih baca dan tulis sesekali, sistem-sistem ini terus-menerus menarik data secara paralel, sering kali melintasi ribuan thread, dengan toleransi yang sangat kecil terhadap inkonsistensi dalam pengiriman. Ini bukan hanya soal kecepatan secara terpisah, tetapi soal menjaga aliran data yang stabil agar sisi komputasi tetap termanfaatkan sepenuhnya.

Di titik itulah perilaku NAND tradisional mulai menunjukkan batasnya.

Bahkan drive NVMe berkinerja tinggi, dengan antrian yang dalam dan angka throughput yang kuat, masih tetap beroperasi dalam model storage yang mengasumsikan lonjakan aktivitas, bukan aliran akses yang terus-menerus seperti memori.

Jadi pertanyaannya menjadi: apa yang terjadi jika Anda berhenti memperlakukan NAND sebagai storage, lalu mulai memperlakukannya lebih seperti bagian dari sistem memori?

Apa sebenarnya arti dari “High Bandwidth Flash”

High Bandwidth Flash bukan standar formal dan juga bukan satu kategori produk tunggal.

Konsep ini lebih tepat dipahami sebagai arah arsitektur, dan di situlah ia mulai berbeda dari apa yang sebelumnya kita bahas tentang High Bandwidth Memory.

High Bandwidth Memory tetaplah memori. Ia adalah DRAM, dibangun dan ditempatkan untuk memberikan akses yang sangat cepat dengan duduk secara fisik dekat dengan prosesor. Seluruh inti HBM adalah kedekatan dan pengurangan latensi, yaitu membawa data sedekat mungkin ke compute supaya bisa diakses hampir seketika.

High Bandwidth Flash menyelesaikan masalah yang berbeda. Ia menerima kenyataan bahwa NAND berada lebih jauh di dalam sistem dan membawa latensi yang lebih tinggi, lalu berfokus pada cara memindahkan jumlah data yang jauh lebih besar secara paralel agar jarak itu menjadi kurang berarti.

Sederhananya, HBM adalah tentang membuat memori menjadi lebih cepat dengan mendekatkannya. High Bandwidth Flash adalah tentang membuat storage terasa lebih cepat dengan mengubah cara storage itu diakses.

Perbedaan ini penting, karena tujuan di sini bukan mengubah NAND menjadi DRAM. Tujuannya adalah membuat NAND tetap berguna dalam situasi di mana storage tradisional justru akan memperlambat sistem.

Pergeseran ini terjadi di level sistem, bukan hanya di level media penyimpanan.

Alih-alih satu SSD tunggal melayani permintaan dengan cara tradisional, Anda mulai melihat banyak channel NAND bekerja secara paralel, controller yang dirancang untuk konkurensi alih-alih sekadar kapasitas, jalur data yang lebih lebar melalui antarmuka PCIe Gen5 dan Gen6, serta lapisan software yang mengantisipasi dan menyiapkan data sebelum data itu diminta.

Jika digabungkan, perubahan-perubahan ini tidak menghilangkan latensi bawaan NAND, tetapi mengurangi seberapa sering latensi itu menjadi faktor pembatas di dalam sistem.

Cara lain untuk memikirkan bandwidth

Saat orang mendengar istilah “high bandwidth,” asumsi yang biasanya muncul adalah kecepatan mentah.

Padahal dalam konteks ini, bandwidth sebenarnya lebih berkaitan dengan seberapa banyak data yang bisa dipindahkan sekaligus, dan seberapa konsisten perpindahan itu bisa dipertahankan.

Workload AI bukan hanya membutuhkan akses cepat, tetapi akses yang bisa diprediksi dalam skala besar.

Jika sebuah cluster GPU menarik data secara tidak merata, bahkan variasi kecil pun bisa membuat sebagian sistem tersendat. Kalikan itu di ratusan atau ribuan node, maka inefisiensi tersebut mulai muncul dalam bentuk yang sulit diabaikan.

High Bandwidth Flash adalah upaya untuk merapikan itu, bukan dengan menghapus karakteristik NAND, tetapi dengan mengelilinginya menggunakan cukup banyak paralelisme dan kecerdasan sehingga karakteristik tersebut menjadi kurang berpengaruh bagi keseluruhan sistem.

Melanjutkan analogi gudang

Kalau kita tetap memakai model gudang yang sama dari artikel-artikel sebelumnya, NAND selalu menjadi lantai penyimpanan utama.

Di situlah semuanya berada, tersusun dalam baris dan rak, dioptimalkan untuk kepadatan dan efisiensi, bukan untuk kecepatan akses.

DRAM adalah dermaga muat, tempat pekerjaan aktif berlangsung. SCM adalah area staging tepat di belakangnya.

High Bandwidth Flash mengubah cara gudang itu beroperasi.

Alih-alih satu pekerja masuk ke lorong-lorong untuk mengambil barang satu per satu, sekarang ada banyak dermaga muat yang terbuka bersamaan, beberapa forklift bergerak paralel, dan barang-barang sudah diposisikan lebih dulu berdasarkan apa yang diperkirakan akan dibutuhkan sistem berikutnya.

Gudangnya sendiri tidak berubah secara mendasar, tetapi cara gudang itu diakses memang berubah.

Anda tidak mengubah gudang menjadi dermaga muat, Anda membuat gudang itu berperilaku seolah-olah jaraknya jauh lebih dekat ke sana.

Bagaimana ini dibangun dalam praktik

Sebagian besar hal yang memungkinkan High Bandwidth Flash tidak berasal dari NAND itu sendiri, tetapi dari lapisan-lapisan di sekelilingnya.

Controller sekarang memainkan peran yang lebih besar dalam bagaimana data didistribusikan, dengan fokus pada operasi paralel di banyak NAND die dan channel, bukan sekadar mengelola kapasitas dan keausan. Di saat yang sama, bandwidth antarmuka terus bertambah, memberi sistem-sistem ini lebih banyak ruang untuk memindahkan data tanpa terkekang oleh bus.

Namun, hal yang membuat perbedaan terbesar adalah bagaimana software berinteraksi dengan hardware.

Data tidak lagi sekadar diambil saat diminta. Data diprediksi, disiapkan, di-cache, dan diatur dengan cara yang selaras dengan bagaimana workload AI bekerja. Itu berarti mengantisipasi pola akses, menjaga data yang sering dipakai tetap lebih dekat ke bagian atas stack, dan meminimalkan seberapa sering sistem harus kembali ke jalur yang lebih lambat.

Semua ini tidak mengubah NAND menjadi memori sejati, tetapi memungkinkan NAND untuk berpartisipasi dalam sistem memori secara lebih aktif daripada sebelumnya.

Apa yang tetap bukan dirinya

Dengan semua kemajuan ini, tetap penting untuk menjaga ekspektasi tetap realistis.

High Bandwidth Flash tidak membuat NAND setara dengan DRAM. Ia tetap berbasis blok, tetap membawa latensi yang lebih tinggi daripada bentuk memori sejati apa pun, dan tetap sangat bergantung pada controller serta software agar bisa bekerja baik di lingkungan yang menuntut.

Batasan-batasan itu tidak hilang, hanya saja dikelola dengan lebih efektif melalui desain sistem.

Di mana posisinya dalam infrastruktur AI

Di deployment dunia nyata, High Bandwidth Flash mulai muncul di sistem yang harus menangani dataset sangat besar tanpa mendorong semuanya ke tier memori yang mahal.

Dalam praktiknya, yang benar-benar terlihat adalah sebuah sistem yang mengandalkan NAND jauh lebih aktif daripada sebelumnya, bukan sekadar sebagai tempat data disimpan, tetapi sebagai bagian dari jalur data kerja yang memberi makan resource komputasi secara lebih terus-menerus.

Dalam lingkungan inferensi berskala besar, misalnya, model dan data konteks sering kali melebihi apa yang secara realistis bisa muat di dalam DRAM. Daripada memaksa semuanya masuk ke memori, sistem mengandalkan akses NAND dengan throughput tinggi, sehingga data bisa mengalir cukup cepat sampai-sampai terasa lebih seperti perpanjangan memori daripada storage tradisional.

Dalam lingkungan training, di mana dataset terus dikunjungi ulang dan diproses secara paralel, tujuannya bergeser ke menjaga aliran yang stabil alih-alih menangani lonjakan-lonjakan terpisah. High Bandwidth Flash mendukung hal itu dengan menjaga banyak jalur data tetap aktif sekaligus, sehingga kemungkinan satu permintaan menjadi bottleneck bisa dikurangi.

Bahkan di sistem NVMe fabric terdistribusi pun, gagasannya tetap sama. Data tersebar di banyak perangkat dan node, tetapi diakses secara terkoordinasi dengan penekanan pada throughput dan ketersediaan, bukan semata kapasitas penyimpanan. NAND tetap melakukan pekerjaan fundamental yang sama, tetapi cara sistem berinteraksi dengannya jauh lebih dinamis dibanding dulu.

Hasil akhirnya adalah NAND berhenti terasa seperti lapisan yang jauh di bagian paling bawah stack dan mulai terasa seperti bagian dari sistem aktif, walaupun tidak pernah sepenuhnya mencapai karakteristik performa milik memori.

Mengapa arah ini penting

Kalau Anda mundur selangkah dan melihat apa yang sedang terjadi di ketiga artikel ini, sebuah pola mulai terlihat.

HBM membawa memori lebih dekat ke compute. SCM mengurangi jarak antara memori dan storage. High Bandwidth Flash mendorong storage lebih dekat ke memori.

Semuanya sedang bergerak menuju tujuan yang sama: mengurangi seberapa jauh data harus menempuh perjalanan, dan seberapa lama sistem harus menunggunya.

Kembali ke gambaran besarnya

NAND tidak akan hilang.

Kalau pun ada yang berubah, justru NAND menjadi semakin penting, karena total jumlah data yang dibutuhkan sistem-sistem ini terus bertambah.

Yang berubah adalah bagaimana NAND digunakan.

NAND bukan lagi sekadar lapisan pasif di bagian paling bawah stack. NAND sedang ditarik ke atas, diintegrasikan lebih erat, dan diminta berperilaku dengan cara yang makin menyerupai memori, meskipun tidak pernah benar-benar menjadi memori itu sendiri.

Pergeseran itulah yang sudah kita tunjukkan di artikel asli: industri tidak menggantikan NAND, melainkan membangun di sekelilingnya.

Apa berikutnya

Dari sini, stack terus berkembang ke dua arah.

Di atas, memori menjadi lebih cepat dan lebih terspesialisasi. Di bawah, storage menjadi lebih cerdas dan lebih terintegrasi. Dan di suatu titik di tengah, garis pemisah di antara keduanya terus menjadi semakin sulit didefinisikan.

Di artikel berikutnya, kita akan melihat bagaimana sistem AI menangani data kerja secara real time, dan mengapa konsep seperti context dan KV cache mulai memengaruhi bagaimana memori dan storage dirancang bersama.

Catatan editorial

Perspektif, arah, dan kerangka teknis artikel ini dipandu oleh penulis, berdasarkan tema-tema spesifik yang dibahas sepanjang tulisan dan percakapan yang lebih luas tentang bagaimana NAND sedang didorong lebih dekat ke lapisan memori dalam infrastruktur AI.

AI digunakan sebagai asisten drafting untuk membantu ritme, alur kalimat, dan organisasi struktur, tetapi arah pembahasan, perbandingan, dan maksud editorial akhirnya ditentukan oleh penulis.

Gambar pendamping juga dibuat dengan AI, bukan sebagai visual stok generik, melainkan sebagai ilustrasi yang sengaja dirancang untuk mencerminkan konsep-konsep spesifik artikel yang sulit dikomunikasikan melalui citra konvensional – terutama gagasan bahwa NAND flash bertindak lebih seperti lapisan aktif yang berdekatan dengan memori di dalam arsitektur data modern.

Seluruh isi telah ditinjau, diperhalus, dan disetujui oleh penulis sebelum dipublikasikan.

Jika Anda datang ke sini karena mencoba melakukan defrag pada USB stick atau menggunakan TRIM pada flash drive USB, alasan Anda menemui jalan buntu itu sederhana: alat-alat tersebut tidak berlaku untuk flash drive USB seperti halnya pada hard drive dan SSD.

Anda menemukan artikel ini karena sedang mencoba melakukan defrag pada USB stick atau menggunakan TRIM pada flash drive USB, dan kemungkinan besar Anda sudah menyadari sesuatu yang cukup membuat frustrasi – tidak ada opsi untuk melakukan keduanya. Tidak ada pengaturan, tidak ada alat, tidak ada apa pun yang bekerja seperti pada hard drive atau SSD. Itu bukan kesalahan, dan itu juga bukan sesuatu yang tersembunyi di suatu menu. Anda memang tidak bisa melakukan defrag atau menggunakan TRIM secara andal pada flash drive USB, dan begitu Anda memahami bagaimana perangkat ini bekerja, alasannya akan menjadi cukup jelas.

Begitu kamu mulai melihat bagaimana sistem AI benar-benar memindahkan data di dalamnya, kamu akan cepat menyadari bahwa masalahnya bukan hanya soal prosesor yang lebih cepat atau kapasitas penyimpanan yang lebih besar, tapi apa yang terjadi di antara lapisan-lapisan itu dan seberapa sering sistem harus menunggu.

Di artikel sebelumnya tentang High Bandwidth Memory, fokusnya adalah menjaga data sedekat mungkin dengan prosesor supaya GPU tidak menganggur. Itu adalah bagian paling atas dari stack, dan memang sangat penting, tapi hanya menyelesaikan sebagian dari masalah karena tidak semua data bisa berada di sana.

Begitu kumpulan data kerja menjadi lebih besar dari kapasitas lapisan tersebut, kamu kembali harus memindahkan data antara DRAM dan NAND, dan di titik itulah semuanya mulai terasa tidak seimbang. DRAM itu cepat dan responsif, tapi mahal dan tidak bisa terus diperbesar tanpa batas. NAND jauh lebih masuk akal dari sisi kapasitas, tapi bahkan flash yang bagus tetap membawa latensi yang cukup untuk terasa saat sistem bekerja terus-menerus.

Ruang di antara keduanya inilah tempat Storage Class Memory mulai menunjukkan perannya. Bukan sebagai sesuatu yang menggantikan salah satu sisi, tapi sebagai cara untuk membuat perpindahan data lebih halus sehingga sistem tidak terus-menerus melompat dari sangat cepat ke lebih lambat lalu kembali lagi.

Kalau kamu ingin melihat gambaran besarnya kenapa lapisan-lapisan ini mulai muncul, ini langsung terhubung ke artikel utama di sini: NAND tidak akan hilang, tapi server AI sekarang bergantung pada lebih dari sekadar flash.

Sistem AI biasanya tidak melambat karena keterbatasan komputasi, melainkan karena sistem tidak mampu memindahkan data cukup cepat untuk terus “memberi makan” prosesor dengan informasi secara konsisten.

Dengan kata lain, bottleneck-nya bukan pada kemampuan memproses data, tetapi pada kemampuan mengirimkan data tersebut dengan kecepatan yang dibutuhkan oleh workload AI modern.

Di sinilah High Bandwidth Memory (HBM) menjadi bagian penting dari arsitektur.

Untuk melihat gambaran yang lebih luas tentang bagaimana memori berkembang melampaui flash dan mengapa sistem AI sekarang bergantung pada beberapa lapisan, lihat analisis utama kami: NAND tidak akan hilang, tapi server AI sekarang bergantung pada lebih dari sekadar flash.

Selama lebih dari dua dekade, GetUSB telah membahas bagaimana data benar-benar bergerak, bukan hanya bagaimana ia dipasarkan. Dalam kurun waktu tersebut, kita telah melihat evolusi storage melalui beberapa siklus, mulai dari penurunan hard drive mekanis, naiknya penggunaan flash, hingga sekarang ke sistem di mana storage bukan lagi sekadar komponen pasif, melainkan bagian dari infrastruktur itu sendiri.

Apa yang sedang terjadi sekarang di infrastruktur AI terasa seperti salah satu titik transisi tersebut, tetapi dengan jenis tekanan yang berbeda sebagai pendorongnya.

NAND flash tidak akan hilang, dan sebenarnya tidak ada perdebatan soal itu. NAND tetap menjadi fondasi penyimpanan modern, dan menjalankan perannya dengan sangat baik. Di saat yang sama, permintaan terhadap NAND meningkat dengan cepat, sebagian besar didorong oleh workload AI yang membutuhkan dataset sangat besar dan akses konstan ke data tersebut. Permintaan ini mulai menekan pasokan dengan cara yang semakin sulit diabaikan, baik itu dalam bentuk tekanan harga, alokasi yang lebih ketat, atau sekadar lead time yang lebih panjang untuk deployment berskala besar.

Ketika ketidakseimbangan seperti ini mulai muncul, industri tidak tinggal diam menunggu semuanya kembali normal. Industri mulai mencari cara lain untuk menyelesaikan masalah tersebut, dan di situlah pergeseran mulai terjadi.

Setiap tahun, tanpa gagal, artikel yang sama selalu muncul lagi.

“USB Flash Drive Terbaik 2026.” “Top 10 USB Drive Tercepat yang Bisa Kamu Beli.” “USB Stick Mana yang Harus Kamu Pilih Sekarang?”

Formatnya hampir selalu sama. Beberapa brand terkenal, sedikit grafik benchmark, mungkin ada komentar soal build quality, lalu ditutup dengan ranking yang kelihatan cukup meyakinkan untuk bikin orang klik… dan akhirnya beli.

Sekilas memang terlihat berguna. Dulu, kecepatan storage itu memang pembeda. Kapasitas juga. Bahkan brand juga relatif bisa dipercaya dari luar.

Tapi masalahnya sekarang beda.

Daftar-daftar itu mencoba menjawab masalah yang sebenarnya sudah tidak terlalu relevan lagi hari ini.