GetUSB tidak sedang berubah menjadi situs tentang kecerdasan buatan. Situs seperti itu sudah banyak sekali, dan hampir setiap hari dunia mungkin tidak membutuhkan satu artikel lagi yang menjelaskan bahwa AI akan mengubah segalanya.
Yang menarik perhatian kami justru sesuatu yang sedikit lebih praktis.
Semakin dalam kita melihat bagaimana kecerdasan buatan sebenarnya bekerja, semakin akrab topik pembahasannya. Bandwidth memori penting. Penyimpanan penting. NAND flash penting. DRAM penting. PCIe penting. Memindahkan data dalam jumlah sangat besar dari satu tempat ke tempat lain juga penting. Ini adalah topik yang sudah kami ikuti selama bertahun-tahun, jauh sebelum setiap pengumuman produk merasa perlu memasukkan huruf “AI” di suatu tempat dalam paragraf pertamanya.
Selama beberapa bulan terakhir kami telah menulis sejumlah artikel yang melihat AI dari sudut pandang hardware tersebut. Daripada mengejar setiap model baru atau pengumuman software terbaru, kami lebih tertarik pada apa yang sebenarnya harus terjadi di balik layar agar semuanya bisa bekerja.
Kalau melihat kembali artikel-artikel tersebut, ada delapan yang ternyata saling terhubung dengan sangat baik.
Akselerator AI Portabel vs AI Cloud: Apa yang Sebenarnya Harus Dipilih Bisnis Kecil?
Salah satu perubahan yang lebih menarik dalam dunia AI adalah bahwa menjalankan workload AI tidak otomatis berarti semuanya harus dikirim ke sebuah data center raksasa. Akselerator AI yang lebih kecil mulai membuat inferensi lokal menjadi praktis untuk aplikasi yang tidak membutuhkan tenaga komputasi sebesar model cloud yang sangat besar.
Dalam artikel kami tentang akselerator AI portabel dibandingkan AI cloud, kami melihat pertukaran keuntungan dan kekurangan antara kedua pendekatan tersebut. AI cloud menyediakan sumber daya komputasi yang sangat besar, tetapi AI lokal juga membawa beberapa keuntungan menarik, termasuk privasi, biaya operasional yang lebih mudah diprediksi, latensi yang lebih rendah, dan kemampuan untuk tetap bekerja tanpa koneksi Internet.
Hal pentingnya bukan soal pendekatan mana yang menang. Yang terjadi adalah pemrosesan AI mulai tersebar ke lebih banyak tempat. Beberapa pekerjaan memang cocok berada di cloud. Pekerjaan lain jauh lebih masuk akal jika dijalankan pada komputer lokal atau perangkat edge.
Di Dalam Komputer AI: Mengapa Sistem AI Modern Mengonsumsi Begitu Banyak Memori
GPU biasanya mendapat hampir semua perhatian dalam sebuah komputer AI, tetapi prosesor yang sangat kuat tidak terlalu berguna jika sebagian besar waktunya dihabiskan untuk menunggu data.
Itulah yang membuat kami melihat lebih jauh ke dalam komputer AI dan menjelaskan mengapa sistem AI modern mengonsumsi begitu banyak memori. Model AI memiliki jumlah parameter yang sangat besar, dan parameter tersebut harus disimpan, dimuat, serta dipindahkan melalui sistem ketika proses perhitungan sedang berlangsung.
Ini adalah salah satu tema yang terus muncul dalam pembahasan tentang hardware AI. Kemampuan komputasi telah meningkat secara dramatis, tetapi menyediakan data dengan cukup cepat untuk kemampuan komputasi tersebut kini menjadi masalah tersendiri. Prosesornya mungkin sangat mampu melakukan pekerjaan, tetapi hanya jika seluruh bagian sistem lainnya mampu mengimbanginya.
NAND Tidak Akan Hilang, tetapi Server AI Sekarang Bergantung pada Lebih dari Sekadar Flash
Mengingat latar belakang kami, NAND flash adalah tempat yang cukup jelas untuk mulai menggali lebih dalam.
AI tidak membuat NAND menjadi usang. Justru sebaliknya. Model, data pelatihan, database, dan informasi yang dihasilkan semuanya membutuhkan penyimpanan permanen, dan flash tetap sangat penting. Tetapi server AI sekarang bergantung pada jauh lebih banyak daripada sekadar NAND flash, karena kapasitas penyimpanan hanyalah satu bagian dari masalahnya.
Sebuah SSD dapat menyimpan informasi dalam jumlah sangat besar, tetapi prosesor tidak bisa melakukan perhitungan langsung terhadap semua data di SSD tersebut dengan kecepatan penuh. Data harus berpindah melalui berbagai tingkat dalam hierarki memori, dan setiap tingkat memiliki keseimbangan tersendiri antara kapasitas, kecepatan, dan biaya.
AI membuat hierarki tersebut menjadi jauh lebih terlihat.
Apa Itu High Bandwidth Memory dan Mengapa AI Bergantung Padanya?
High Bandwidth Memory, yang biasanya disingkat HBM, telah berubah dari teknologi memori yang cukup khusus menjadi sesuatu yang sekarang sering disebut ketika orang membicarakan hardware AI.
Ada alasan yang sangat masuk akal untuk itu.
Dalam penjelasan kami tentang apa itu High Bandwidth Memory dan mengapa AI bergantung padanya, kami melihat masalah yang memang dirancang untuk diatasi oleh HBM. GPU modern mampu melakukan jumlah perhitungan yang luar biasa besar, tetapi arsitektur memori konvensional dapat menjadi bottleneck ketika prosesor tersebut membutuhkan aliran data dalam jumlah sangat besar secara terus-menerus.
HBM menempatkan memori yang sangat cepat sangat dekat dengan prosesor dan menyediakan bandwidth memori yang jauh lebih tinggi dibandingkan susunan memori konvensional. Teknologi ini mahal dan rumit, tetapi ketika kita mencoba terus memasok data ke akselerator AI, bandwidth bisa menjadi sama pentingnya dengan kemampuan pemrosesan mentah.
Bayangkan Anda memiliki sebuah pabrik yang sangat cepat. Membuat mesin di dalam pabrik menjadi lebih cepat lagi tidak banyak membantu jika area bongkar muat tidak mampu mengirimkan bahan baku dengan cukup cepat.
Mengapa DRAM Saja Tidak Lagi Mampu Mengimbangi AI
DRAM juga tidak akan menghilang. Masalahnya sederhana: jumlah datanya terlalu besar.
Kami membahas hal ini dalam artikel tentang mengapa DRAM saja tidak lagi mampu mengimbangi AI, karena solusi yang paling terlihat untuk kekurangan memori sepertinya adalah memasang lebih banyak memori. Sayangnya, pada skala AI hal tersebut menjadi sangat mahal dengan sangat cepat dan tetap tidak menyelesaikan setiap masalah bandwidth maupun kapasitas.
Di sinilah berbagai lapisan penyimpanan AI mulai lebih masuk akal. HBM dapat memberikan bandwidth luar biasa dekat dengan prosesor. DRAM menyediakan kumpulan memori kerja cepat dalam kapasitas yang lebih besar. NAND flash menyediakan kapasitas permanen yang jauh lebih besar. Setiap teknologi melakukan sesuatu yang tidak dapat dilakukan teknologi lainnya secara ekonomis.
AI tidak menggantikan satu jenis memori dengan jenis memori lainnya. Kalau ada sesuatu yang berubah, AI justru memaksa komputer untuk menggunakan lebih banyak jenis memori secara bersamaan.
Mengapa Hard Drive Masih Penting untuk Infrastruktur AI
Ini mungkin kontradiksi favorit saya dalam seluruh cerita tentang hardware AI.
Kita menghabiskan begitu banyak waktu membicarakan GPU yang luar biasa canggih, HBM, penyimpanan NVMe, dan proses manufaktur semikonduktor tingkat lanjut, lalu sedikit lebih jauh di dalam rantai tersebut masih ada teknologi yang bekerja menggunakan piringan magnetik yang berputar.
Hard drive ternyata masih sangat hidup.
Dalam artikel mengapa hard drive masih penting untuk infrastruktur AI, kami melihat besarnya jumlah informasi yang harus disimpan oleh perusahaan AI. Dataset pelatihan, checkpoint model, backup, arsip, dan data dalam jumlah besar lainnya tidak semuanya harus berada di penyimpanan flash berkinerja tinggi yang mahal.
Pada suatu titik, faktor ekonomi mengambil alih.
Ketika Anda menyimpan informasi dalam skala petabyte, biaya per terabyte menjadi sangat penting. Hard drive tetap menjadi salah satu cara paling ekonomis untuk menyediakan penyimpanan online dalam jumlah sangat besar. AI mungkin merupakan salah satu teknologi komputasi paling maju yang pernah kita buat, tetapi rupanya teknologi tersebut tetap membutuhkan lemari yang sangat besar untuk menyimpan semua barangnya.
Mengapa AI Memindahkan Komputasi Lebih Dekat ke Penyimpanan
Selama beberapa dekade, arsitektur komputer normal cukup sederhana: simpan data di suatu tempat, pindahkan ke memori, kirim ke prosesor, lalu lakukan sesuatu terhadap data tersebut.
Cara tersebut bekerja sangat baik sampai jumlah data yang harus dipindahkan menjadi sangat besar.
Artikel kami tentang mengapa AI memindahkan komputasi lebih dekat ke penyimpanan melihat sebuah respons yang menarik terhadap masalah tersebut. Alih-alih terus-menerus memindahkan dataset besar bolak-balik melalui sistem, beberapa arsitektur mulai memindahkan sebagian proses komputasi lebih dekat ke tempat data tersebut sudah berada.
Logikanya sederhana. Memindahkan data membutuhkan waktu, bandwidth, dan daya. Jika kita dapat mengurangi jarak yang harus ditempuh data, terkadang efisiensi seluruh sistem dapat ditingkatkan tanpa sekadar melempar prosesor yang lebih cepat ke masalah tersebut.
Ini juga merupakan salah satu contoh bagaimana AI mengubah definisi tradisional mengenai performa komputer. Komponen tercepat belum tentu menjadi jawabannya. Terkadang peningkatan yang lebih besar justru datang dari kebutuhan untuk memindahkan lebih sedikit data.
KV Cache: Reservoir Memori AI yang Menjaga GPU Tidak Kehabisan Aliran Data
KV cache terdengar seperti salah satu topik yang aman untuk diabaikan sampai kita menyadari bahwa teknologi ini membantu menjelaskan mengapa inferensi AI dapat mengonsumsi memori dalam jumlah yang mengejutkan.
Ketika sebuah model bahasa menghasilkan jawaban, model tersebut tidak ingin menghitung ulang semua yang sudah diproses setiap kali menghasilkan token berikutnya. KV cache bertindak seperti reservoir memori, menyimpan informasi dari perhitungan sebelumnya sehingga model dapat menggunakannya kembali.
Itu bagus untuk performa. Tetapi tentu saja tidak gratis.
Ketika percakapan menjadi lebih panjang dan lebih banyak pengguna berinteraksi dengan sebuah model, kebutuhan KV cache dapat meningkat secara dramatis. Sekali lagi kita sampai pada masalah hardware AI yang sama, hanya dari arah yang berbeda: di mana semua informasi tersebut harus ditempatkan, dan seberapa cepat kita bisa mengirimkannya kembali ke prosesor?
KV cache adalah contoh yang baik mengapa hanya melihat spesifikasi GPU tidak memberi kita gambaran yang lengkap mengenai performa sebuah sistem AI secara keseluruhan.
Rupanya Kita Selalu Kembali ke Memori dan Penyimpanan
Ketika kami menulis artikel-artikel ini, sebenarnya tidak pernah ada rencana untuk membuat seri AI delapan bagian. Topik-topiknya hanya terus bersinggungan dengan teknologi yang memang sudah kami ikuti.
Dan mungkin justru itulah bagian yang paling menarik.
Singkirkan chatbot, gambar yang dihasilkan AI, dan berbagai prediksi futuristik, maka kecerdasan buatan pada dasarnya berubah menjadi sebuah masalah pemrosesan data yang sangat besar. Data harus disimpan. Data harus dipindahkan. Data harus ditempatkan ke dalam memori. Data harus mencapai prosesor dengan cukup cepat agar hardware yang sangat mahal tetap sibuk bekerja.
Tiba-tiba NAND, DRAM, HBM, hard drive, PCIe, dan arsitektur penyimpanan tidak lagi terdengar seperti topik sampingan. Semuanya merupakan bagian dari mesin yang membuat AI modern bisa bekerja.
Dan belakangan ini kami mulai melihat bahkan lebih jauh dari sekadar hardware.
Artikel kami yang lebih baru, Hambatan AI Terbesar Bukan Software – Melainkan Teknisi Listrik, membawa pembahasannya keluar dari server. Membangun infrastruktur AI membutuhkan listrik dalam jumlah sangat besar, sistem pendinginan, dan pekerjaan konstruksi fisik. Pada titik tertentu, Anda bisa saja memiliki GPU, memori, dan penyimpanan yang sudah duduk di area bongkar muat tetapi masih tetap memiliki satu masalah: seseorang harus membangun infrastruktur yang diperlukan untuk menyalakan semua hardware tersebut.
Kemungkinan besar arah seperti inilah yang akan terus kami ikuti dalam liputan AI. Bukan mengejar setiap pengumuman AI baru, tetapi mengikuti tempat-tempat di mana AI bertemu dengan penyimpanan, hardware, dan realitas fisik dari dunia komputasi.
Karena bagian-bagian itulah yang biasanya memang paling menarik bagi kami.
