Mengapa Hard Drive Masih Penting untuk Infrastruktur AI

Ketika kebanyakan orang mendengar tentang infrastruktur AI, pembicaraan biasanya berputar di sekitar GPU, High Bandwidth Memory (HBM), atau penyimpanan solid-state yang sangat cepat. Asumsinya adalah kecerdasan buatan berjalan sepenuhnya di atas perangkat keras paling mutakhir, tempat semuanya diukur dalam nanodetik dan terabyte per detik.

Asumsi itu tidak salah, tetapi belum lengkap.

Kenyataannya, sistem AI modern masih sangat bergantung pada salah satu teknologi tertua di pusat data: hard drive mekanis.

Itu mungkin terdengar aneh, mengingat kita sudah membahas bagaimana server AI mulai bergerak melampaui memori flash tradisional dalam artikel kami: NAND tidak akan hilang, tapi server AI sekarang bergantung pada lebih dari sekadar flash. Kami juga membahas mengapa teknologi seperti High Bandwidth Memory (HBM) menjadi sangat penting untuk menjaga sistem AI tetap mendapat pasokan data dengan cukup cepat agar tidak terjadi bottleneck pada GPU.

Namun ada sisi lain dari cerita ini yang tidak mendapat perhatian sebanyak itu: skala murni.

AI tidak hanya membutuhkan penyimpanan yang cepat. AI membutuhkan jumlah penyimpanan yang hampir sulit dibayangkan.

Dan hard drive masih menjadi satu-satunya teknologi yang mampu memberikan kapasitas tersebut dengan biaya yang masih realistis untuk ditanggung industri.

Memahami Hierarki Penyimpanan AI

Cara paling mudah untuk memahami infrastruktur AI modern adalah berhenti membayangkannya sebagai satu komputer, lalu mulai membayangkannya sebagai sebuah operasi logistik besar.

HBM bertindak seperti dermaga bongkar muat, tempat data dipindahkan dengan kecepatan luar biasa. DRAM berfungsi seperti ruang kerja aktif, tempat informasi terus-menerus diproses dan dimanipulasi. NAND flash lebih mirip rak penyimpanan terdekat, tempat akses cepat tetap penting, tetapi penyimpanan jangka panjang juga mulai menjadi faktor penting.

Hard drive, di sisi lain, adalah gudangnya.

Bukan bagian paling mencolok dari operasi tersebut. Bukan juga bagian tercepat. Tetapi jelas bagian yang paling besar.

Teknologi	Kapasitas Umum	Kekuatan Utama	Peran Utama dalam AI
HBM	80GB–192GB	Bandwidth ekstrem	Komputasi GPU aktif
DRAM	Ratusan GB	Latensi rendah	Memori kerja
SSD NAND	Beberapa TB	Penyimpanan persisten cepat	Staging dataset dan caching
Hard Drive	Petabyte hingga exabyte	Efisiensi kapasitas	Penyimpanan massal dan arsip

Perbedaan itu penting karena sistem pelatihan AI mengonsumsi data dalam skala yang jarang sekali ditemui orang dalam penggunaan komputer biasa.

Laptop konsumen mungkin menyimpan beberapa terabyte data. Bahkan workstation kelas atas mungkin hanya menyimpan puluhan terabyte. Infrastruktur AI beroperasi beberapa tingkat skala di atas itu.

Saat laptop konsumen berpikir dalam terabyte, cluster AI berpikir dalam exabyte.

Satu exabyte sama dengan satu juta terabyte.

Jika sebuah hard drive enterprise modern menyimpan 30TB, masih dibutuhkan lebih dari 33.000 hard drive untuk membangun satu exabyte kapasitas penyimpanan mentah.

Operator AI besar tidak membangun satu exabyte. Mereka membangun banyak exabyte di berbagai wilayah, lapisan redundansi, lingkungan pelatihan, sistem backup, dan penyimpanan arsip.

Masalah Exabyte

Melatih model bahasa besar dapat melibatkan petabyte teks, gambar, video, telemetri, checkpoint, dan status pelatihan yang diarsipkan. Setelah dataset tersebut dikumpulkan, data itu jarang dihapus. Dataset terus bertambah seiring model dilatih ulang, disempurnakan, dan diperluas.

Selama pelatihan AI, sistem terus-menerus membuat checkpoint, yang pada dasarnya adalah status penyimpanan besar dari model saat sedang belajar. Jika sebuah cluster gagal di tengah siklus pelatihan selama beberapa minggu, checkpoint tersebut mungkin menjadi satu-satunya hal yang mencegah hilangnya jutaan dolar waktu komputasi.

Itu berarti infrastruktur penyimpanan bukan lagi hanya soal kecepatan, tetapi juga soal mempertahankan kumpulan data raksasa yang tetap bisa diakses.

Di sinilah hard drive diam-diam tetap dominan.

Pada tahun 2010, hard drive 2TB terasa sangat besar. Lingkungan enterprise saat itu umum menggunakan drive SAS 300GB atau 600GB, dan kapasitas di atas beberapa terabyte dianggap sebagai kapasitas premium.

Sekarang, hard drive enterprise 24TB dan 30TB mulai menjadi penerapan standar di dalam pusat data besar. Produsen juga sudah menguji drive 40TB+ menggunakan teknologi seperti HAMR (Heat-Assisted Magnetic Recording), yang meningkatkan areal density tanpa menambah ukuran fisik drive itu sendiri.

Untuk memberi gambaran tentang pertumbuhan itu, satu rak penyimpanan modern sekarang bisa menyimpan lebih banyak data daripada seluruh pusat data enterprise ukuran menengah dari tahun 2010.

Begitulah drastisnya permintaan penyimpanan telah berubah.

Dan AI adalah salah satu alasan utamanya.

AI Berjalan dengan Lebih dari Sekadar Kecepatan

Pembahasan publik tentang AI cenderung berfokus pada GPU karena GPU melakukan pekerjaan yang terlihat. GPU menghasilkan jawaban, membuat gambar, dan memproses token.

Penyimpanan melakukan pekerjaan yang tidak terlihat, yaitu menjaga pipeline kecerdasan itu sendiri tetap ada.

GPU hanya berguna jika dapat terus mengakses jumlah data pelatihan yang sangat besar.

Data itu harus berada di suatu tempat.

Bukan di dalam HBM. Bukan di dalam DRAM. Dan tentu saja tidak seluruhnya di dalam lapisan penyimpanan NAND yang mahal.

Data itu terutama berada di atas infrastruktur hard drive berskala besar.

Sebuah pusat data AI modern dapat berisi ratusan petabyte data yang tersimpan. Beberapa lingkungan hyperscale kemungkinan sudah jauh melampaui itu menuju arsitektur skala exabyte. Mencoba menyimpan semuanya sepenuhnya di NAND flash akan tidak realistis secara finansial, bahkan untuk penyedia cloud terbesar sekalipun.

Inilah bagian yang sering dilewatkan banyak orang ketika membahas hardware AI.

Performa penting, tetapi ekonomi juga penting.

Industri senang memasarkan angka IOPS dan benchmark, tetapi penerapan AI berskala besar pada akhirnya dibatasi oleh total cost of ownership.

Hard drive terus menawarkan biaya per terabyte paling rendah dalam penerapan skala besar. Hard drive juga tetap sangat efisien untuk menyimpan cold data, dataset arsip, snapshot backup, checkpoint model, dan informasi pelatihan massal yang tidak membutuhkan waktu akses tingkat nanodetik.

Mengapa Hard Drive Masih Berfungsi untuk AI

Ada juga salah kaprah lain yang perlu diluruskan: orang sering menganggap hard drive terlalu lambat untuk digunakan dalam lingkungan AI.

Itu tidak sepenuhnya benar.

Satu hard drive memang lambat dibandingkan DRAM atau NAND flash. Tetapi pusat data AI tidak bekerja dengan satu drive. Mereka bekerja dengan array penyimpanan raksasa yang memiliki akses paralel ke ribuan disk secara bersamaan.

Yang lebih penting lagi, banyak workload AI melibatkan streaming sekuensial dataset besar, bukan transaksi acak kecil-kecil. Workload sekuensial kebetulan menjadi salah satu area di mana array hard drive enterprise modern masih bekerja dengan sangat baik.

Dengan kata lain, infrastruktur AI tidak selalu bertanya, “Apa penyimpanan tercepat yang mungkin?”

Kadang yang ditanyakan adalah:

Apa cara praktis tercepat untuk menyimpan 500 petabyte tanpa membuat perusahaan bangkrut?

Itu adalah masalah rekayasa yang sangat berbeda.

Infrastruktur AI Menjadi Ekosistem Memori Berlapis

Ini juga menjelaskan mengapa teknologi baru ditambahkan secara berlapis ke dalam sistem AI, bukan langsung menggantikan teknologi lama sepenuhnya.

Dalam artikel kami tentang Storage Class Memory: lapisan yang hilang antara DRAM dan NAND, kami membahas bagaimana industri terus menciptakan lapisan perantara untuk menyeimbangkan kecepatan, persistensi, dan ekonomi.

Kami juga membahas bagaimana NAND berusaha bergerak mendekati performa tingkat memori dalam: High Bandwidth Flash: bisakah NAND akhirnya bertindak seperti memori?.

Infrastruktur AI sedang menjadi tepat seperti itu: ekosistem memori berlapis.

HBM menangani komputasi langsung. DRAM mengelola workload aktif. NAND flash menyerap tugas penyimpanan persisten yang cepat. Teknologi storage-class mencoba menjembatani celah latensi. Hard drive menyediakan fondasi kapasitas besar di bawah semuanya.

Masa depan penyimpanan AI bukanlah satu teknologi menggantikan teknologi lain.

Melainkan beberapa teknologi yang ditumpuk bersama, karena tidak ada satu jenis memori pun yang menyelesaikan semua masalah dengan baik.

Itu mungkin salah paham terbesar tentang infrastruktur AI saat ini. Orang mengira teknologi terbaru otomatis mematikan teknologi yang lebih lama.

Namun sejarah komputasi jarang berjalan seperti itu.

Hard drive bertahan melewati SSD karena dunia terus menghasilkan lebih banyak data lebih cepat daripada penurunan harga flash. Sekarang AI mempercepat tren itu lebih jauh lagi. Jumlah informasi yang dihasilkan, disimpan, disalin, dan dilatih ulang meledak begitu cepat sampai kapasitas itu sendiri menjadi sumber daya strategis.

Ironisnya, semakin maju AI, semakin penting pula infrastruktur penyimpanan skala besar yang mendukungnya.

Artinya, salah satu teknologi tertua di pusat data mungkin akan terus memainkan peran penting dalam AI jauh lebih lama daripada yang diperkirakan banyak orang.

---