Di Dalam Komputer AI: Mengapa Sistem AI Modern Mengonsumsi Begitu Banyak Memori

Seperti Apa Sebenarnya Server AI Saat Penutupnya Dibuka

Saat ini banyak sekali perbincangan tentang AI yang menggunakan “terlalu banyak memori”. Harga naik. Pasokan terbatas. Semua orang mengatakan permintaan sedang meledak. Anda mungkin sudah membaca itu.

Namun, sebagian besar tulisan melewatkan bagian terpenting: seperti apa bentuk fisik sebuah komputer AI, dan mengapa sejak awal ia membutuhkan memori sebanyak itu. Bukan dalam grafik abstrak atau prakiraan pasar, melainkan dalam gambaran yang bisa dibayangkan. Begitu Anda memahami apa yang benar-benar dikonsumsi oleh satu sistem AI, sisa ceritanya berhenti terdengar dramatis dan mulai terasa tak terelakkan.

Baru-baru ini saya menjelaskan hal ini di tempat yang sama sekali tidak berkaitan dengan pusat data. Saya berada di sekolah anak saya pada acara “hari orang tua”, berdiri di sebuah ruang kelas, dan beberapa siswa mulai bertanya tentang AI. Bukan pertanyaan tentang chatbot. Pertanyaan nyata. Seperti apa komputernya? Ke mana data pergi? Mengapa semua orang terus mengatakan “memori” seolah-olah itulah inti dari semuanya?

Jadi saya mulai dari hal yang paling sederhana. Saya meminta mereka membayangkan sebuah komputer biasa. Yang akan Anda gunakan di rumah. Komputer itu memiliki prosesor untuk menghitung, memori untuk menyimpan apa yang sedang dikerjakan saat ini, dan penyimpanan untuk menyimpan hal-hal untuk nanti. Tugas sekolah. Foto. Gim. Semuanya punya tempatnya.

Kemudian saya jelaskan bahwa AI tetaplah sebuah komputer, tetapi bukan komputer yang mengerjakan satu tugas kecil pada satu waktu. Ia menjalankan perhitungan dalam jumlah besar di atas data dalam jumlah besar, berulang kali, membandingkan pola, menyesuaikan bobot, menyimpan checkpoint, dan melakukannya begitu cepat sehingga menunggu penyimpanan menjadi musuh utama.

Itulah sebabnya memori menjadi bintang utama. Bukan karena sedang tren. Melainkan karena tanpa memori yang cukup dan penyimpanan yang cepat, GPU hanya akan menunggu—dan itu seperti membeli mobil balap lalu membiarkannya terparkir karena jalannya terlalu sempit.

Sebuah server AI bukanlah satu menara desktop. Ia lebih menyerupai workstation yang dipadatkan secara ekstrem. Server pelatihan yang umum saat ini memiliki delapan GPU, dan setiap GPU memiliki memori ultra-cepatnya sendiri hanya untuk mengikuti beban perhitungan. Selain itu, server memiliki kumpulan besar memori sistem untuk memasok GPU tanpa hambatan, serta sejumlah SSD NVMe di dalam sasis untuk menyiapkan dataset dan menulis hasil perantara.

Saat Anda melihat daftar material nyata dari mesin-mesin ini, tidak ada yang samar. Anda melihat ratusan gigabyte memori GPU, sering kali setengah terabita hingga beberapa terabita RAM sistem, dan puluhan terabita penyimpanan SSD NVMe di dalam satu server. Bukan di jaringan. Bukan di SAN bersama. Di dalam satu kotak.

Biasanya di situlah ruangan menjadi sunyi, karena skala mulai terasa nyata. Satu server dapat memiliki lebih banyak penyimpanan flash daripada yang akan dimiliki kebanyakan rumah tangga seumur hidup. Dan AI tidak diskalakan dengan menambahkan satu server lalu selesai. Ia diskalakan dengan menambahkan puluhan atau ratusan sekaligus, karena melatih model besar adalah kerja tim. Satu mesin tidak memikul seluruh beban.

Jadi, jika satu server AI secara diam-diam mengonsumsi dua puluh atau tiga puluh terabita flash, apa yang terjadi ketika Anda menerapkan seratus di antaranya? Tiba-tiba Anda berbicara tentang petabita NAND flash yang dikonsumsi dalam satu pembangunan, dan itu belum termasuk sistem penyimpanan bersama, replikasi, pencadangan, pencatatan, serta peningkatan “kami membutuhkannya lebih cepat dari kuartal lalu” yang dimulai begitu klaster masuk ke produksi.

Di sinilah cerita tentang kekurangan memori berhenti terdengar seperti hype dan mulai terdengar seperti aritmetika sederhana. Pabrik memori tidak dibangun dalam semalam. Flash dan DRAM membutuhkan waktu bertahun-tahun untuk perencanaan, pembangunan, kualifikasi, dan peningkatan kapasitas. Bahkan ketika judul berita tentang fluktuasi harga memori muncul, keterbatasan pasokan yang mendasarinya tidak hilang ketika permintaan datang dalam ukuran setara pusat data.

Kemudian datang gelombang kedua: sistem skala rak. Alih-alih memperlakukan setiap server sebagai mesin tersendiri, para vendor kini membangun rak-rak utuh yang berperilaku seperti satu komputer. Puluhan GPU dalam satu rak, kumpulan memori yang sangat besar, barisan SSD yang dipasang rapat berdampingan. Jarak diukur dalam inci, bukan meter, karena kecepatan sangatlah penting.

Pada titik itu, pertanyaannya bukan lagi, “Berapa banyak memori yang dibutuhkan satu komputer?” Melainkan, “Berapa banyak memori yang dibutuhkan satu rak?” Dan inilah tepatnya mengapa elektronik konsumen merasakan tekanan. Bukan karena konsumen tiba-tiba membeli ponsel dua kali lebih banyak, melainkan karena pembeli yang berbeda muncul dengan skala permintaan yang berbeda, dan mereka membeli dalam blok yang menyerupai pusat data utuh.

Pada tingkat penyimpanan, hal ini juga menjelaskan mengapa asumsi lama tentang perilaku flash mulai runtuh. Ketika beban kerja AI mendominasi permintaan, perbedaan seperti MLC versus TLC NAND berhenti bersifat akademis dan mulai memengaruhi ketersediaan, daya tahan, dan keputusan alokasi secara sangat nyata.

Anak-anak tidak memerlukan kuliah tentang rantai pasok untuk memahaminya. Mereka hanya membutuhkan gambarnya. Satu kotak menjadi satu baris. Satu baris menjadi satu rak. Satu rak menjadi satu ruangan. Satu ruangan menjadi satu bangunan. Begitu Anda melihat AI sebagai infrastruktur, bukan sihir, cerita tentang memori menjadi fisik, mekanis, dan dapat diprediksi.

Dan itulah intinya. Ini bukan kekurangan yang misterius. Ini adalah tabrakan yang dapat diprediksi antara kapasitas yang membutuhkan waktu bertahun-tahun untuk dibangun dan permintaan yang dapat muncul dalam semalam dalam bentuk beberapa truk server yang menuju ke sebuah bangunan sebesar gudang.

Sederhananya: AI bukan hanya menggunakan lebih banyak memori dibandingkan sebelumnya. AI sedang mendefinisikan ulang apa yang sebenarnya dimaksud dengan jumlah memori yang “normal”.

Bagaimana artikel ini dibuat

Biografi penulis di bawah — Spesialis Sistem Penyimpanan USB & Duplikasi

Artikel ini disusun dengan bantuan AI untuk kerangka dan perumusan, kemudian ditinjau, diedit, dan diselesaikan oleh penulis manusia untuk meningkatkan kejelasan, akurasi, dan relevansi dunia nyata.

Pengungkapan gambar

Gambar di bagian atas artikel ini dibuat menggunakan kecerdasan buatan untuk tujuan ilustrasi. Ini bukan foto dari lingkungan nyata.