Sistem AI biasanya tidak melambat karena keterbatasan komputasi, melainkan karena sistem tidak mampu memindahkan data cukup cepat untuk terus “memberi makan” prosesor dengan informasi secara konsisten.

Dengan kata lain, bottleneck-nya bukan pada kemampuan memproses data, tetapi pada kemampuan mengirimkan data tersebut dengan kecepatan yang dibutuhkan oleh workload AI modern.

Di sinilah High Bandwidth Memory (HBM) menjadi bagian penting dari arsitektur.

Untuk melihat gambaran yang lebih luas tentang bagaimana memori berkembang melampaui flash dan mengapa sistem AI sekarang bergantung pada beberapa lapisan, lihat analisis utama kami: NAND tidak akan hilang, tapi server AI sekarang bergantung pada lebih dari sekadar flash.

Selama lebih dari dua dekade, GetUSB telah membahas bagaimana data benar-benar bergerak, bukan hanya bagaimana ia dipasarkan. Dalam kurun waktu tersebut, kita telah melihat evolusi storage melalui beberapa siklus, mulai dari penurunan hard drive mekanis, naiknya penggunaan flash, hingga sekarang ke sistem di mana storage bukan lagi sekadar komponen pasif, melainkan bagian dari infrastruktur itu sendiri.

Apa yang sedang terjadi sekarang di infrastruktur AI terasa seperti salah satu titik transisi tersebut, tetapi dengan jenis tekanan yang berbeda sebagai pendorongnya.

NAND flash tidak akan hilang, dan sebenarnya tidak ada perdebatan soal itu. NAND tetap menjadi fondasi penyimpanan modern, dan menjalankan perannya dengan sangat baik. Di saat yang sama, permintaan terhadap NAND meningkat dengan cepat, sebagian besar didorong oleh workload AI yang membutuhkan dataset sangat besar dan akses konstan ke data tersebut. Permintaan ini mulai menekan pasokan dengan cara yang semakin sulit diabaikan, baik itu dalam bentuk tekanan harga, alokasi yang lebih ketat, atau sekadar lead time yang lebih panjang untuk deployment berskala besar.

Ketika ketidakseimbangan seperti ini mulai muncul, industri tidak tinggal diam menunggu semuanya kembali normal. Industri mulai mencari cara lain untuk menyelesaikan masalah tersebut, dan di situlah pergeseran mulai terjadi.

Seperti Apa Sebenarnya Server AI Saat Penutupnya Dibuka

Saat ini banyak sekali perbincangan tentang AI yang menggunakan “terlalu banyak memori”. Harga naik. Pasokan terbatas. Semua orang mengatakan permintaan sedang meledak. Anda mungkin sudah membaca itu.

Namun, sebagian besar tulisan melewatkan bagian terpenting: seperti apa bentuk fisik sebuah komputer AI, dan mengapa sejak awal ia membutuhkan memori sebanyak itu. Bukan dalam grafik abstrak atau prakiraan pasar, melainkan dalam gambaran yang bisa dibayangkan. Begitu Anda memahami apa yang benar-benar dikonsumsi oleh satu sistem AI, sisa ceritanya berhenti terdengar dramatis dan mulai terasa tak terelakkan.

Baru-baru ini saya menjelaskan hal ini di tempat yang sama sekali tidak berkaitan dengan pusat data. Saya berada di sekolah anak saya pada acara “hari orang tua”, berdiri di sebuah ruang kelas, dan beberapa siswa mulai bertanya tentang AI. Bukan pertanyaan tentang chatbot. Pertanyaan nyata. Seperti apa komputernya? Ke mana data pergi? Mengapa semua orang terus mengatakan “memori” seolah-olah itulah inti dari semuanya?