Sistem AI biasanya tidak melambat karena keterbatasan komputasi, melainkan karena sistem tidak mampu memindahkan data cukup cepat untuk terus “memberi makan” prosesor dengan informasi secara konsisten.

Dengan kata lain, bottleneck-nya bukan pada kemampuan memproses data, tetapi pada kemampuan mengirimkan data tersebut dengan kecepatan yang dibutuhkan oleh workload AI modern.

Di sinilah High Bandwidth Memory (HBM) menjadi bagian penting dari arsitektur.

Untuk melihat gambaran yang lebih luas tentang bagaimana memori berkembang melampaui flash dan mengapa sistem AI sekarang bergantung pada beberapa lapisan, lihat analisis utama kami: NAND tidak akan hilang, tapi server AI sekarang bergantung pada lebih dari sekadar flash.