Jika Anda mengikuti bagian-bagian sebelumnya dalam seri ini, kemungkinan besar Anda mulai melihat sebuah pola yang muncul.

Dalam artikel pertama, kita membahas bagaimana flash NAND tidak sedang menghilang, melainkan menjadi bagian dari hierarki memori AI yang jauh lebih besar. Setelah itu, kita melihat High Bandwidth Memory (HBM) dan mengapa GPU modern bergantung pada data yang secara fisik berada lebih dekat ke prosesor. Lalu kita masuk ke Storage Class Memory, High Bandwidth Flash, keterbatasan penskalaan DRAM, dan akhirnya mengapa bahkan hard drive tradisional masih tetap penting, karena infrastruktur AI bekerja pada skala yang sering kali sangat diremehkan oleh banyak orang.

Sekilas, semua itu mungkin tampak seperti topik yang terpisah.

Sebenarnya tidak.

Semuanya adalah gejala dari tekanan mendasar yang sama: sistem AI tidak lagi terutama berjuang melawan kurangnya daya komputasi. Sistem AI sedang berjuang dengan seberapa efisien data dapat dipindahkan.

Perubahan itu mengubah hampir semua hal tentang bagaimana infrastruktur dirancang.

Selama puluhan tahun, komputasi mengikuti model yang cukup stabil. Penyimpanan menyimpan data, memori menyiapkannya, dan prosesor mengambil apa yang dibutuhkan. Ketika prosesor menjadi semakin cepat, sistem hanya mencoba memberi mereka data dengan lebih efisien menggunakan bus yang lebih baik, cache yang lebih besar, dan teknologi memori yang lebih cepat.

AI mengubah skala masalahnya.

Cluster GPU modern dapat memproses informasi dengan kecepatan yang begitu besar sehingga tindakan memindahkan data di dalam sistem mulai menjadi salah satu bottleneck terbesar dalam seluruh arsitektur. Dalam beberapa lingkungan, prosesor itu sendiri bukan lagi bagian yang lambat. Keterlambatan muncul karena data yang tepat harus sampai ke prosesor dengan cukup cepat dan cukup konsisten agar prosesor tetap digunakan secara penuh.

Kesadaran itu secara diam-diam mendorong industri ke arah baru.

Alih-alih terus-menerus memindahkan jumlah data yang semakin besar bolak-balik melintasi sistem, infrastruktur AI mulai memindahkan sebagian komputasi lebih dekat ke tempat data sudah berada.

Dan setelah Anda memahami mengapa hal itu terjadi, banyak artikel sebelumnya dalam seri ini mulai terasa jauh lebih jelas hubungannya.

AI Mulai Menabrak Dinding Perpindahan Data

Salah satu gagasan paling penting dari artikel HBM sebelumnya adalah bahwa sistem AI modern sering melambat bukan karena prosesor kekurangan kemampuan komputasi, tetapi karena sistem tidak dapat mengirimkan data dengan cukup cepat untuk membuat prosesor tetap sibuk.

Masalah itu menjadi jauh lebih serius ketika workload AI berkembang ke seluruh rack dan cluster.

Sebuah akselerator AI modern dapat mengonsumsi informasi dalam jumlah yang luar biasa secara paralel. Masalahnya adalah dataset tidak lagi cukup kecil untuk sepenuhnya berada di dalam lapisan memori tercepat. Bahkan dengan HBM dan pool DRAM yang besar, sejumlah besar data masih harus bergerak melalui interconnect, bus, fabric, lapisan penyimpanan, dan infrastruktur jaringan.

Pergerakan itu punya biaya.

Biaya itu muncul sebagai latensi, tetapi itu hanya sebagian dari ceritanya. Biaya itu juga muncul sebagai konsumsi daya, panas, kebutuhan pendinginan, kemacetan, keterlambatan sinkronisasi, dan siklus komputasi yang menganggur. Seperti yang kita bahas dalam bagian DRAM, bahkan jeda yang sangat kecil bisa menjadi sangat mahal ketika ribuan GPU bekerja pada saat yang sama. Jeda kecil yang dikalikan ke seluruh cluster AI besar dapat berarti hilangnya utilisasi dalam jumlah yang sangat besar.

Hal itu mengubah prioritas rekayasa.

Selama bertahun-tahun, infrastruktur sebagian besar dirancang untuk memaksimalkan performa komputasi. Sistem AI sekarang memaksa para engineer untuk sama seriusnya memikirkan lokalitas data, yaitu di mana informasi berada secara fisik relatif terhadap prosesor yang mencoba menggunakannya.

Sederhananya, jarak sekarang jauh lebih penting daripada dulu.

GPU Menjadi Begitu Cepat Sampai Bagian Sistem Lain Mulai Tertinggal

Salah satu hal menarik tentang infrastruktur AI adalah bahwa kemajuan di satu area cenderung memperlihatkan kelemahan di area lain.

Ketika GPU menjadi lebih cepat, bandwidth memori menjadi bottleneck. Hal itu mengarah ke HBM. Ketika keterbatasan kapasitas HBM menjadi semakin jelas, industri mulai memperkenalkan lapisan perantara seperti Storage Class Memory. Ketika penskalaan DRAM menjadi mahal dan sulit secara fisik, sistem mulai lebih banyak mengandalkan NAND sambil juga mengeksplorasi konsep seperti High Bandwidth Flash.

Dan ketika dataset AI terus berkembang ke kisaran petabyte dan exabyte, hard drive tetap diam-diam penting karena ekonomi untuk menyimpan informasi sebanyak itu tidak bisa berjalan dengan cara lain.

Setiap artikel dalam seri ini sebenarnya menunjuk ke kesimpulan yang sama dari sudut pandang yang berbeda.

Asumsi lama bahwa komputasi berada di sini sementara penyimpanan berada di sana mulai runtuh. Alasannya cukup sederhana: GPU sekarang dapat memproses data lebih cepat daripada arsitektur tradisional dapat mengirimkannya dengan nyaman.

Hal itu menciptakan situasi di mana sejumlah besar aktivitas sistem dihabiskan hanya untuk mengangkut informasi dari satu tempat ke tempat lain. Dalam praktiknya, beberapa lingkungan AI mulai terlihat kurang seperti masalah komputasi murni dan lebih seperti masalah logistik.

Industri Mulai Mengajukan Pertanyaan yang Berbeda

Untuk waktu yang lama, inovasi penyimpanan sebagian besar berfokus pada membuat perangkat penyimpanan menjadi lebih cepat. SSD yang lebih cepat, antarmuka yang lebih cepat, NAND yang lebih cepat, dan controller yang lebih cepat semuanya penting, dan masih penting hingga hari ini.

Namun workload AI mulai memperlihatkan masalah yang lebih dalam di bawah semua itu.

Pada titik tertentu, para engineer mulai menyadari bahwa masalahnya tidak selalu kecepatan perangkat penyimpanan itu sendiri. Masalahnya adalah perpindahan berulang dari data dalam jumlah sangat besar bolak-balik melintasi seluruh sistem.

Perbedaan yang halus itu penting, karena begitu masalahnya menjadi perpindahan data dan bukan sekadar kecepatan penyimpanan, solusinya juga mulai berubah.

Alih-alih terus bertanya bagaimana penyimpanan bisa dibuat lebih cepat, industri mulai bertanya seberapa jauh data harus bergerak sejak awal.

Pertanyaan itu sekarang memengaruhi hampir setiap bagian dari desain infrastruktur AI modern.

Memindahkan Komputasi Lebih Dekat ke Tempat Data Sudah Berada

Di sinilah arsitektur mulai bergeser.

Alih-alih memperlakukan penyimpanan sebagai lapisan yang sepenuhnya pasif dan hanya menunggu permintaan, sistem yang lebih baru mulai melakukan tugas-tugas tertentu lebih dekat ke data itu sendiri. Tidak harus berupa pemrosesan GPU skala penuh, tetapi operasi lokal yang mengurangi perpindahan yang tidak perlu di seluruh bagian sistem lainnya.

Beberapa sistem sekarang melakukan filtering, indexing, operasi pencarian, kompresi, persiapan retrieval, dan pengorganisasian data lebih dekat ke lapisan penyimpanan sebelum informasi tersebut pernah mencapai mesin komputasi utama.

Tujuannya bukan menghilangkan GPU atau menggantikan memori cepat. Tujuannya adalah mengurangi pemborosan.

Jika sistem dapat menghindari pengangkutan data yang tidak diperlukan dalam jumlah sangat besar melintasi infrastruktur, seluruh platform menjadi lebih efisien. Ini adalah salah satu alasan mengapa garis antara komputasi dan penyimpanan mulai kabur.

Penyimpanan tidak lagi berperilaku seperti tujuan yang sepenuhnya pasif di bagian bawah hierarki. Penyimpanan menjadi lebih terlibat dalam bagaimana data dipersiapkan, disusun, difilter, dan dikirimkan ke lapisan atas.

Jika Anda mengingat kembali artikel sebelumnya tentang High Bandwidth Flash, arah ini sangat masuk akal. Artikel itu menunjukkan bagaimana NAND sendiri didorong ke perilaku yang lebih mirip memori. Artikel ini memperluas gagasan yang sama satu langkah lebih jauh dengan menunjukkan bagaimana arsitektur di sekitarnya juga beradaptasi terhadap biaya perpindahan data.

Analogi Gudang Mulai Terlihat Berbeda

Analogi gudang yang kita gunakan sepanjang seri ini masih berlaku di sini, tetapi gudang itu sendiri mulai berevolusi karena pekerjaan di dalamnya telah berubah.

Dalam bagian-bagian sebelumnya, tata letaknya cukup mudah dipahami. HBM mewakili dock bongkar muat tempat pallet berikutnya sudah menunggu di samping para pekerja. DRAM bertindak sebagai lantai kerja aktif tempat penyortiran dan penanganan langsung berlangsung. Storage Class Memory menjadi area staging tepat di belakang dock, sementara NAND mewakili rak utama gudang yang berada lebih jauh ke belakang. Hard drive menangani penyimpanan bulk yang lebih dalam, tempat inventaris jangka panjang berada, karena kapasitas lebih penting daripada kecepatan akses langsung.

Model itu secara umum masih tetap masuk akal, tetapi sistem AI mulai memperlihatkan inefisiensi dalam seberapa banyak pergerakan yang terjadi di antara area-area tersebut.

Bayangkan sebuah gudang di mana para pekerja menghabiskan lebih banyak waktu mengendarai forklift bolak-balik melintasi bangunan daripada benar-benar memproses inventaris. Pada awalnya, manajemen merespons dengan membeli forklift yang lebih cepat, memperlebar lorong, dan memperbaiki dock bongkar muat. Peningkatan itu membantu untuk sementara, tetapi pada akhirnya operasi mencapai titik ketika transportasi itu sendiri menjadi masalah. Keterlambatan tidak lagi disebabkan oleh pekerja yang lambat atau peralatan yang kurang memadai. Keterlambatan datang dari banyaknya pergerakan yang diperlukan untuk menjaga workflow tetap berjalan.

Itulah yang semakin sering dihadapi oleh sistem AI besar.

Masalahnya bukan lagi hanya seberapa cepat data dapat diproses setelah mencapai GPU. Masalahnya adalah seberapa besar upaya infrastruktur yang dihabiskan untuk terus-menerus mengangkut data tersebut melintasi sistem sejak awal.

Jadi, alih-alih terus mengoptimalkan transportasi tanpa henti, tata letaknya mulai berubah. Workstation kecil mulai muncul lebih dekat ke rak itu sendiri. Tugas penyortiran tertentu terjadi secara lokal. Filtering terjadi secara lokal. Persiapan data mulai dilakukan lebih dekat ke tempat informasi sudah berada, sehingga sistem tidak perlu terlalu sering memindahkan material dalam jumlah sangat besar bolak-balik melintasi seluruh operasi.

Pergeseran itu pada dasarnya adalah apa yang mulai dilakukan infrastruktur AI pada tingkat arsitektur. Tujuannya bukan mengubah penyimpanan menjadi prosesor atau menghilangkan komputasi terpusat sepenuhnya. Tujuannya adalah mengurangi pergerakan yang tidak perlu, karena pada skala AI, bahkan inefisiensi kecil bisa menjadi sangat mahal ketika dikalikan dengan ribuan akselerator yang bekerja secara bersamaan.

Infrastruktur AI Menjadi Lebih Terdistribusi Karena Kebutuhan

Salah satu konsekuensi yang lebih menarik dari pergeseran ini adalah bahwa infrastruktur AI mulai menjadi jauh lebih terdistribusi daripada yang pernah dibutuhkan oleh lingkungan komputasi tradisional.

Arsitektur lama mengasumsikan bahwa sebagian besar pekerjaan penting akan terjadi di lokasi komputasi terpusat, sementara penyimpanan tetap sebagian besar pasif dan terpisah dari lapisan pemrosesan. Model itu bekerja cukup baik selama puluhan tahun karena jumlah data yang bergerak melalui sistem masih dapat dikelola dibandingkan dengan kecepatan prosesor yang mengonsumsinya.

AI mengubah skala persamaannya sepenuhnya.

Jumlah informasi yang diproses, dikunjungi kembali, disiapkan, di-cache, diindeks, dan diambil sekarang begitu besar sehingga perpindahan terpusat itu sendiri mulai menciptakan inefisiensi. Alih-alih komputasi sekadar menjangkau ke bawah menuju penyimpanan setiap kali membutuhkan sesuatu, sistem semakin berusaha menjaga data yang berguna tetap berada lebih dekat ke tempat data itu kemungkinan akan digunakan berikutnya.

Itulah sebagian alasan mengapa teknologi seperti database vektor, sistem inferensi terdistribusi, lapisan retrieval, caching lokal, dan pemrosesan dekat data mulai mendapat begitu banyak perhatian. Di permukaan, teknologi-teknologi ini mungkin terlihat seperti hal terpisah yang menyelesaikan masalah berbeda, tetapi di bawahnya semuanya merespons tekanan yang sama. Industri sedang mencoba mengurangi seberapa sering sejumlah besar informasi harus menempuh jarak jauh melintasi infrastruktur sebelum pekerjaan yang bermakna dapat dimulai.

Seperti yang mungkin Anda perhatikan sepanjang seri ini, hierarki memori itu sendiri secara bertahap menjadi kurang kaku dibandingkan dulu. Pemisahan bersih antara “komputasi di sini” dan “penyimpanan di sana” mulai melunak karena workload AI memberi keuntungan pada sistem yang menjaga data secara fisik lebih dekat ke tempat pemrosesan terjadi.

Tren itu kemungkinan akan terus berlanjut karena ekonomi AI skala besar semakin mengutamakan efisiensi dalam pergerakan, sama pentingnya dengan kemampuan komputasi mentah.

Hierarki Memori Mulai Saling Kabur

Salah satu tema yang lebih tenang di balik setiap bagian dalam seri ini adalah pengikisan bertahap terhadap batas lama antara memori, penyimpanan, dan komputasi.

Dalam artikel HBM, kita melihat bagaimana memori dipindahkan secara fisik lebih dekat ke prosesor itu sendiri, karena bahkan penempatan DRAM tradisional mulai memperkenalkan keterlambatan yang cukup besar untuk berarti pada skala AI. Dalam bagian Storage Class Memory, fokus bergeser ke pengurangan transisi tajam antara memori cepat dan penyimpanan persisten yang lebih lambat. High Bandwidth Flash mendorong NAND ke peran yang lebih aktif di dalam jalur data kerja, sementara artikel DRAM menunjukkan mengapa sekadar menaikkan skala memori tradisional tanpa batas menjadi sulit, baik secara ekonomi maupun fisik.

Sekarang artikel ini mendorong perkembangan yang sama satu langkah lebih jauh dengan menunjukkan bagaimana arsitektur itu sendiri beradaptasi terhadap biaya memindahkan data.

Yang membuat hal ini sangat menarik adalah bahwa tidak satu pun dari teknologi ini benar-benar menggantikan yang lain. Industri tidak meninggalkan NAND ketika HBM hadir. Industri tidak menggantikan DRAM hanya karena Storage Class Memory muncul. Hard drive juga tetap sangat relevan meskipun selama puluhan tahun ada prediksi bahwa penyimpanan solid-state akan menghilangkannya sepenuhnya.

Sebaliknya, sistem menjadi lebih berlapis, lebih terspesialisasi, dan lebih sadar terhadap di mana data berada secara fisik relatif terhadap sumber daya komputasi yang mencoba mengonsumsinya.

Perbedaan itu penting karena mengubah cara kita seharusnya memikirkan masa depan infrastruktur AI. Evolusi ini tidak terjadi karena satu teknologi terobosan tiba-tiba menyelesaikan semuanya. Evolusi ini terjadi karena workload itu sendiri memaksa industri mengatur ulang bagaimana setiap lapisan ikut berperan dalam memberi informasi ke sisi komputasi secara efisien.

Ketika Anda mundur selangkah dan melihat gambaran yang lebih besar, polanya menjadi jauh lebih mudah terlihat. Setiap pergeseran besar yang telah kita bahas sepanjang seri ini pada akhirnya mengarah ke tujuan yang sama: mengurangi berapa banyak waktu, energi, dan overhead infrastruktur yang dihabiskan hanya untuk memindahkan informasi dari satu tempat ke tempat lain.

Masa Depan Mungkin Lebih Bergantung pada Penempatan Data daripada Komputasi Mentah

Untuk waktu yang sangat lama, industri teknologi sebagian besar mengukur kemajuan melalui kemampuan komputasi mentah. Prosesor yang lebih cepat, akselerator yang lebih besar, lebih banyak core, dan paralelisme yang lebih tinggi diperlakukan sebagai indikator utama kemajuan karena, untuk sebagian besar workload tradisional, peningkatan performa komputasi umumnya meningkatkan sistem secara keseluruhan.

AI memaksa percakapan yang lebih bernuansa.

Begitu prosesor menjadi cukup cepat, tantangan yang lebih besar berhenti menjadi kemampuan menjalankan operasi dan mulai menjadi kemampuan menjaga prosesor tersebut tetap diberi data yang berguna secara cukup konsisten agar tidak terjadi waktu menganggur yang mahal. Perubahan halus itu sekarang memengaruhi hampir setiap keputusan arsitektur besar di dalam infrastruktur AI modern.

Bagian yang menarik adalah bahwa solusinya tidak lagi sekadar membuat perangkat penyimpanan yang lebih cepat atau pool memori yang lebih besar secara terpisah. Sebaliknya, industri semakin fokus pada di mana data berada di seluruh sistem, seberapa sering data bergerak, dan seberapa cerdas arsitektur dapat meminimalkan transportasi yang tidak perlu sebelum sumber daya komputasi ikut terlibat.

Itulah mengapa kedekatan menjadi tema yang terus berulang dalam setiap artikel seri ini. HBM memindahkan memori secara fisik lebih dekat ke GPU. Storage Class Memory mengurangi celah antara memori dan penyimpanan. High Bandwidth Flash mencoba membuat NAND berpartisipasi lebih aktif dalam hierarki memori. Sistem penyimpanan terdistribusi dan arsitektur pemrosesan dekat data sekarang mencoba mengurangi seberapa banyak pergerakan yang terjadi di dalam infrastruktur itu sendiri.

Semua perkembangan ini merespons kesadaran yang sama.

Pada skala AI, memindahkan data secara efisien menjadi hampir sama pentingnya dengan memproses data setelah data itu tiba.

Dan itu pada akhirnya bisa menjadi salah satu pergeseran arsitektur yang paling menentukan dalam seluruh era AI.

---

Seri Infrastruktur Memori AI

Artikel ini adalah bagian dari seri berkelanjutan kami tentang bagaimana infrastruktur AI membentuk ulang hubungan antara memori, penyimpanan, dan komputasi. Jika Anda baru masuk ke pembahasan ini dari sini, bagian-bagian sebelumnya memberikan dasar untuk memahami mengapa pergeseran ini terjadi.

Bagian Satu:
NAND tidak akan hilang, tapi server AI sekarang bergantung pada lebih dari sekadar flash

Bagian Dua:
Apa itu High Bandwidth Memory (HBM) dan mengapa AI bergantung padanya

Bagian Tiga:
Storage Class Memory dijelaskan: lapisan yang hilang antara DRAM dan NAND

Bagian Empat:
High Bandwidth Flash: bisakah NAND akhirnya bertindak seperti memori?

Bagian Lima:
Mengapa DRAM saja tidak lagi mampu mengimbangi AI

Bagian Enam:
Mengapa hard drive masih sangat penting untuk infrastruktur AI

Bagian Tujuh:
Mengapa AI memindahkan komputasi lebih dekat ke penyimpanan

Mengapa perselisihan tenaga kerja di dalam divisi semikonduktor Samsung tiba-tiba membuat industri memori global ikut memperhatikan

Kebanyakan orang mendengar “Samsung” dan langsung memikirkan smartphone atau TV. Namun di balik layar, Samsung juga merupakan salah satu perusahaan semikonduktor paling penting di dunia, terutama dalam hal produksi memori.

Itulah sebabnya kemungkinan mogok kerja di perusahaan tersebut di Korea Selatan mendapat begitu banyak perhatian di dalam industri teknologi.

Perselisihan saat ini melibatkan karyawan Samsung Electronics yang terkait dengan operasi semikonduktor, termasuk pekerja fabrikasi chip, insinyur, staf teknis, dan tim pendukung. Laporan menyebutkan serikat pekerja mengancam akan melakukan mogok selama 18 hari jika negosiasi mengenai upah dan struktur bonus gagal.

Sekilas, ini mungkin terdengar bukan sesuatu yang akan dipedulikan oleh orang kebanyakan. Namun inilah intinya: Samsung adalah salah satu produsen memori flash NAND dan DRAM terbesar di dunia. Komponen-komponen tersebut menjalankan banyak hal, mulai dari SSD dan laptop hingga server AI dan infrastruktur cloud.

Dengan kata lain, ini bukan sekadar cerita tenaga kerja lokal.

Mengapa Industri Memori Ikut Memperhatikan

Manufaktur semikonduktor sangat berbeda dari pekerjaan pabrik tradisional. Fab chip modern beroperasi terus-menerus dengan peralatan yang sangat khusus, sistem penanganan robotik, clean room, dan jadwal produksi yang dikendalikan dengan ketat.

Meskipun fasilitas tersebut sangat otomatis, prosesnya tetap bergantung pada insinyur berpengalaman dan pekerja teknis untuk menjaga produksi berjalan efisien.

Jika aksi mogok berskala besar memperlambat produksi, dampaknya bisa meluas melampaui tanggal mogok itu sendiri. Manufaktur semikonduktor memiliki siklus produksi yang panjang, artinya wafer start yang hilang atau jadwal yang terganggu masih dapat mempengaruhi output bahkan setelah pekerja kembali.

Itulah salah satu alasan mengapa para analis mengamati situasi ini dengan cermat.

Gangguan yang melibatkan Samsung berpotensi mempengaruhi:

• pasokan flash NAND
• jadwal produksi SSD
• sistem penyimpanan enterprise
• infrastruktur server AI
• harga memori

Waktunya juga penting karena permintaan untuk perangkat keras AI terus tumbuh cepat. Memori telah menjadi salah satu hambatan penting dalam infrastruktur AI modern.

Situasi Tenaga Kerja Samsung Telah Berubah

Secara historis, Samsung tidak dikenal dengan aksi mogok pekerja. Bahkan, selama puluhan tahun perusahaan ini memiliki reputasi sangat anti-serikat pekerja.

Hal itu mulai berubah pada tahun 2024 ketika pekerja Samsung melakukan beberapa aksi tenaga kerja, termasuk walkout dan mogok jangka pendek yang terkait dengan kompensasi dan bonus.

Situasi saat ini terasa lebih signifikan karena pasar semikonduktor itu sendiri telah menjadi jauh lebih penting secara global. Samsung bersaing secara agresif dalam teknologi memori canggih, termasuk produk yang digunakan di server AI dan sistem komputasi berkinerja tinggi.

Para pekerja tampaknya percaya bahwa mereka seharusnya mendapatkan bagian yang lebih langsung dari keuntungan yang tercipta oleh ledakan AI.

Masalah Lebih Besar yang Jarang Dilihat Konsumen

Salah satu bagian menarik dari cerita ini adalah betapa tidak terlihatnya industri semikonduktor bagi konsumen biasa.

Orang-orang memperhatikan ketika smartphone terlambat diluncurkan atau ketika kartu grafis menjadi mahal. Namun mereka jarang memikirkan rantai pasokan memori yang berada di balik produk-produk tersebut.

Kenyataannya, teknologi modern sangat bergantung pada perusahaan seperti Samsung, SK Hynix, Micron, dan Kioxia yang terus memproduksi memori dalam skala sangat besar.

Bahkan gangguan sementara pun dapat menimbulkan efek berantai di seluruh industri penyimpanan.

Bagi pembaca yang tertarik dengan sisi manufaktur dan pasar NAND yang lebih dalam dari cerita ini, pembahasan lengkap tersedia di GFM di sini:

Samsung Strike Threat Explained: What It Means for Memory Chips and NAND Supply

Diskusi pasar memori yang lebih luas juga berkaitan dengan semakin pentingnya penyimpanan infrastruktur AI, terutama ketika hard drive tradisional dan flash NAND terus bekerja bersama di dalam pusat data raksasa. Kami baru-baru ini membahas topik tersebut dalam artikel kami tentang mengapa server AI sekarang bergantung pada lebih dari sekadar flash.

Intinya: sebagian besar konsumen mungkin tidak akan pernah mendengar tentang situasi mogok Samsung ini, tetapi di dunia semikonduktor, orang-orang sedang memperhatikannya dengan sangat serius.

Ketika kebanyakan orang mendengar tentang infrastruktur AI, pembicaraan biasanya berputar di sekitar GPU, High Bandwidth Memory (HBM), atau penyimpanan solid-state yang sangat cepat. Asumsinya adalah kecerdasan buatan berjalan sepenuhnya di atas perangkat keras paling mutakhir, tempat semuanya diukur dalam nanodetik dan terabyte per detik.

Asumsi itu tidak salah, tetapi belum lengkap.

Kenyataannya, sistem AI modern masih sangat bergantung pada salah satu teknologi tertua di pusat data: hard drive mekanis.

Itu mungkin terdengar aneh, mengingat kita sudah membahas bagaimana server AI mulai bergerak melampaui memori flash tradisional dalam artikel kami: NAND tidak akan hilang, tapi server AI sekarang bergantung pada lebih dari sekadar flash. Kami juga membahas mengapa teknologi seperti High Bandwidth Memory (HBM) menjadi sangat penting untuk menjaga sistem AI tetap mendapat pasokan data dengan cukup cepat agar tidak terjadi bottleneck pada GPU.

Namun ada sisi lain dari cerita ini yang tidak mendapat perhatian sebanyak itu: skala murni.

AI tidak hanya membutuhkan penyimpanan yang cepat. AI membutuhkan jumlah penyimpanan yang hampir sulit dibayangkan.

Dan hard drive masih menjadi satu-satunya teknologi yang mampu memberikan kapasitas tersebut dengan biaya yang masih realistis untuk ditanggung industri.

Memahami Hierarki Penyimpanan AI

Cara paling mudah untuk memahami infrastruktur AI modern adalah berhenti membayangkannya sebagai satu komputer, lalu mulai membayangkannya sebagai sebuah operasi logistik besar.

HBM bertindak seperti dermaga bongkar muat, tempat data dipindahkan dengan kecepatan luar biasa. DRAM berfungsi seperti ruang kerja aktif, tempat informasi terus-menerus diproses dan dimanipulasi. NAND flash lebih mirip rak penyimpanan terdekat, tempat akses cepat tetap penting, tetapi penyimpanan jangka panjang juga mulai menjadi faktor penting.

Hard drive, di sisi lain, adalah gudangnya.

Bukan bagian paling mencolok dari operasi tersebut. Bukan juga bagian tercepat. Tetapi jelas bagian yang paling besar.

Teknologi	Kapasitas Umum	Kekuatan Utama	Peran Utama dalam AI
HBM	80GB–192GB	Bandwidth ekstrem	Komputasi GPU aktif
DRAM	Ratusan GB	Latensi rendah	Memori kerja
SSD NAND	Beberapa TB	Penyimpanan persisten cepat	Staging dataset dan caching
Hard Drive	Petabyte hingga exabyte	Efisiensi kapasitas	Penyimpanan massal dan arsip

Perbedaan itu penting karena sistem pelatihan AI mengonsumsi data dalam skala yang jarang sekali ditemui orang dalam penggunaan komputer biasa.

Laptop konsumen mungkin menyimpan beberapa terabyte data. Bahkan workstation kelas atas mungkin hanya menyimpan puluhan terabyte. Infrastruktur AI beroperasi beberapa tingkat skala di atas itu.

Saat laptop konsumen berpikir dalam terabyte, cluster AI berpikir dalam exabyte.

Satu exabyte sama dengan satu juta terabyte.

Jika sebuah hard drive enterprise modern menyimpan 30TB, masih dibutuhkan lebih dari 33.000 hard drive untuk membangun satu exabyte kapasitas penyimpanan mentah.

Operator AI besar tidak membangun satu exabyte. Mereka membangun banyak exabyte di berbagai wilayah, lapisan redundansi, lingkungan pelatihan, sistem backup, dan penyimpanan arsip.

Masalah Exabyte

Melatih model bahasa besar dapat melibatkan petabyte teks, gambar, video, telemetri, checkpoint, dan status pelatihan yang diarsipkan. Setelah dataset tersebut dikumpulkan, data itu jarang dihapus. Dataset terus bertambah seiring model dilatih ulang, disempurnakan, dan diperluas.

Selama pelatihan AI, sistem terus-menerus membuat checkpoint, yang pada dasarnya adalah status penyimpanan besar dari model saat sedang belajar. Jika sebuah cluster gagal di tengah siklus pelatihan selama beberapa minggu, checkpoint tersebut mungkin menjadi satu-satunya hal yang mencegah hilangnya jutaan dolar waktu komputasi.

Itu berarti infrastruktur penyimpanan bukan lagi hanya soal kecepatan, tetapi juga soal mempertahankan kumpulan data raksasa yang tetap bisa diakses.

Di sinilah hard drive diam-diam tetap dominan.

Pada tahun 2010, hard drive 2TB terasa sangat besar. Lingkungan enterprise saat itu umum menggunakan drive SAS 300GB atau 600GB, dan kapasitas di atas beberapa terabyte dianggap sebagai kapasitas premium.

Sekarang, hard drive enterprise 24TB dan 30TB mulai menjadi penerapan standar di dalam pusat data besar. Produsen juga sudah menguji drive 40TB+ menggunakan teknologi seperti HAMR (Heat-Assisted Magnetic Recording), yang meningkatkan areal density tanpa menambah ukuran fisik drive itu sendiri.

Untuk memberi gambaran tentang pertumbuhan itu, satu rak penyimpanan modern sekarang bisa menyimpan lebih banyak data daripada seluruh pusat data enterprise ukuran menengah dari tahun 2010.

Begitulah drastisnya permintaan penyimpanan telah berubah.

Dan AI adalah salah satu alasan utamanya.

AI Berjalan dengan Lebih dari Sekadar Kecepatan

Pembahasan publik tentang AI cenderung berfokus pada GPU karena GPU melakukan pekerjaan yang terlihat. GPU menghasilkan jawaban, membuat gambar, dan memproses token.

Penyimpanan melakukan pekerjaan yang tidak terlihat, yaitu menjaga pipeline kecerdasan itu sendiri tetap ada.

GPU hanya berguna jika dapat terus mengakses jumlah data pelatihan yang sangat besar.

Data itu harus berada di suatu tempat.

Bukan di dalam HBM. Bukan di dalam DRAM. Dan tentu saja tidak seluruhnya di dalam lapisan penyimpanan NAND yang mahal.

Data itu terutama berada di atas infrastruktur hard drive berskala besar.

Sebuah pusat data AI modern dapat berisi ratusan petabyte data yang tersimpan. Beberapa lingkungan hyperscale kemungkinan sudah jauh melampaui itu menuju arsitektur skala exabyte. Mencoba menyimpan semuanya sepenuhnya di NAND flash akan tidak realistis secara finansial, bahkan untuk penyedia cloud terbesar sekalipun.

Inilah bagian yang sering dilewatkan banyak orang ketika membahas hardware AI.

Performa penting, tetapi ekonomi juga penting.

Industri senang memasarkan angka IOPS dan benchmark, tetapi penerapan AI berskala besar pada akhirnya dibatasi oleh total cost of ownership.

Hard drive terus menawarkan biaya per terabyte paling rendah dalam penerapan skala besar. Hard drive juga tetap sangat efisien untuk menyimpan cold data, dataset arsip, snapshot backup, checkpoint model, dan informasi pelatihan massal yang tidak membutuhkan waktu akses tingkat nanodetik.

Mengapa Hard Drive Masih Berfungsi untuk AI

Ada juga salah kaprah lain yang perlu diluruskan: orang sering menganggap hard drive terlalu lambat untuk digunakan dalam lingkungan AI.

Itu tidak sepenuhnya benar.

Satu hard drive memang lambat dibandingkan DRAM atau NAND flash. Tetapi pusat data AI tidak bekerja dengan satu drive. Mereka bekerja dengan array penyimpanan raksasa yang memiliki akses paralel ke ribuan disk secara bersamaan.

Yang lebih penting lagi, banyak workload AI melibatkan streaming sekuensial dataset besar, bukan transaksi acak kecil-kecil. Workload sekuensial kebetulan menjadi salah satu area di mana array hard drive enterprise modern masih bekerja dengan sangat baik.

Dengan kata lain, infrastruktur AI tidak selalu bertanya, “Apa penyimpanan tercepat yang mungkin?”

Kadang yang ditanyakan adalah:

Apa cara praktis tercepat untuk menyimpan 500 petabyte tanpa membuat perusahaan bangkrut?

Itu adalah masalah rekayasa yang sangat berbeda.

Infrastruktur AI Menjadi Ekosistem Memori Berlapis

Ini juga menjelaskan mengapa teknologi baru ditambahkan secara berlapis ke dalam sistem AI, bukan langsung menggantikan teknologi lama sepenuhnya.

Dalam artikel kami tentang Storage Class Memory: lapisan yang hilang antara DRAM dan NAND, kami membahas bagaimana industri terus menciptakan lapisan perantara untuk menyeimbangkan kecepatan, persistensi, dan ekonomi.

Kami juga membahas bagaimana NAND berusaha bergerak mendekati performa tingkat memori dalam: High Bandwidth Flash: bisakah NAND akhirnya bertindak seperti memori?.

Infrastruktur AI sedang menjadi tepat seperti itu: ekosistem memori berlapis.

HBM menangani komputasi langsung. DRAM mengelola workload aktif. NAND flash menyerap tugas penyimpanan persisten yang cepat. Teknologi storage-class mencoba menjembatani celah latensi. Hard drive menyediakan fondasi kapasitas besar di bawah semuanya.

Masa depan penyimpanan AI bukanlah satu teknologi menggantikan teknologi lain.

Melainkan beberapa teknologi yang ditumpuk bersama, karena tidak ada satu jenis memori pun yang menyelesaikan semua masalah dengan baik.

Itu mungkin salah paham terbesar tentang infrastruktur AI saat ini. Orang mengira teknologi terbaru otomatis mematikan teknologi yang lebih lama.

Namun sejarah komputasi jarang berjalan seperti itu.

Hard drive bertahan melewati SSD karena dunia terus menghasilkan lebih banyak data lebih cepat daripada penurunan harga flash. Sekarang AI mempercepat tren itu lebih jauh lagi. Jumlah informasi yang dihasilkan, disimpan, disalin, dan dilatih ulang meledak begitu cepat sampai kapasitas itu sendiri menjadi sumber daya strategis.

Ironisnya, semakin maju AI, semakin penting pula infrastruktur penyimpanan skala besar yang mendukungnya.

Artinya, salah satu teknologi tertua di pusat data mungkin akan terus memainkan peran penting dalam AI jauh lebih lama daripada yang diperkirakan banyak orang.

---

Begitu Anda mulai melihat bagaimana sistem AI sebenarnya dibangun, ada satu kesimpulan yang sangat wajar yang cenderung diambil orang, dan jujur saja, pada awalnya itu memang terdengar sangat masuk akal.

Jika NAND terlalu lambat untuk bagian tertentu dari workload, dan bahkan arsitektur flash yang sudah canggih pun masih menimbulkan cukup banyak jeda hingga terasa dampaknya, maka jawaban yang tampaknya paling jelas adalah menambahkan lebih banyak DRAM. Bagaimanapun juga, DRAM selalu menjadi lapisan yang cepat. Di sanalah data aktif berada, responsnya cepat, dan selama puluhan tahun itu adalah bagian sistem yang Anda andalkan ketika Anda tidak ingin prosesor hanya duduk diam menunggu sesuatu datang.

Jadi asumsi itu mudah dibuat: jika masalahnya adalah kecepatan, maka perluas saja hal tercepat yang sudah Anda miliki.

Logika itu terlihat masuk akal sampai AI masuk ke dalam gambar dan mulai mendorong DRAM ke peran yang sebenarnya tidak pernah dirancang untuk ditanggung sepenuhnya. Masalahnya bukan karena DRAM tiba-tiba menjadi lambat, usang, atau entah bagaimana kurang berguna dibanding sebelumnya. Masalahnya adalah workload AI meminta jauh lebih banyak dari DRAM daripada sekadar menjadi lapisan kerja cepat antara compute dan storage.

Untuk kerangka besar di balik pergeseran ini, artikel ini terhubung langsung ke artikel pilar utama di sini: NAND tidak akan hilang, tapi server AI sekarang bergantung pada lebih dari sekadar flash.

DRAM Dibangun untuk Kecepatan, Bukan untuk Menanggung Seluruh Sistem

Hal pertama yang perlu dipahami adalah bahwa DRAM sejak awal selalu dioptimalkan untuk kecepatan dan responsivitas, bukan untuk menampung data dalam jumlah sangat besar pada skala masif. Dalam komputasi tradisional, perbedaan itu jarang menjadi masalah karena sebagian besar workload memiliki pemisahan yang cukup jelas antara data aktif dan data yang disimpan. Sistem menyimpan apa yang langsung dibutuhkan di memori, mengambil sisanya dari storage saat diperlukan, dan perpindahan itu biasanya cukup baik sehingga hampir tak ada yang benar-benar memikirkannya terlalu jauh.

AI mengubah keseimbangan itu secara cukup drastis. Alih-alih memproses potongan kecil data aktif lalu melanjutkan, model AI cenderung terus kembali ke dataset besar, memindahkan informasi secara paralel, dan menjaga bagian working set yang jauh lebih besar tetap berada dalam jangkauan lapisan compute untuk jangka waktu yang lebih lama. Itu berarti DRAM tidak lagi hanya diminta menahan tugas yang sedang berjalan. DRAM sekarang diminta membantu menampung kumpulan data yang sangat besar dan terus berubah, yang ingin selalu berada dekat dengan sistem setiap saat.

Itu adalah pekerjaan yang sangat berbeda.

Itulah juga sebabnya teknologi di atas dan di sekitar DRAM menjadi semakin penting. Dalam artikel sebelumnya tentang apa itu High Bandwidth Memory dan mengapa AI bergantung padanya, fokusnya adalah memindahkan sejumlah kecil data penting sangat dekat ke prosesor agar GPU tetap terus terisi data. Artikel itu menegaskan bahwa kedekatan memang penting, tetapi secara diam-diam juga mengungkap masalah berikutnya, karena begitu working set tumbuh melampaui lapisan terdekat itu, sistem tetap harus memutuskan di mana semua hal lainnya akan ditempatkan.

Tembok Pertama Adalah Biaya, dan Itu Muncul Sangat Cepat

Salah satu alasan mengapa banyak orang menyukai gagasan “tinggal tambahkan lebih banyak DRAM” adalah karena terdengar bersih dan langsung. Dalam praktiknya, itu menjadi mahal dengan sangat cepat. Harga DRAM jelas tidak seperti NAND, dan ketika Anda mulai menskalakan sistem ke wilayah AI, Anda tidak lagi bicara soal menambahkan sedikit memori ekstra ke sebuah server. Anda sedang membicarakan ratusan gigabyte, kadang jauh lebih besar, tersebar di banyak node, rack, dan cluster.

Pada titik itu, DRAM berhenti terasa seperti peningkatan performa dan mulai terlihat seperti beban infrastruktur. Kurva biayanya tidak naik pelan-pelan. Kurva itu menanjak cukup cepat sampai gagasan menggunakan DRAM untuk menyelesaikan setiap masalah lokalitas data mulai runtuh di bawah beban ekonominya sendiri.

Itulah salah satu alasan mengapa memory stack kini menjadi lebih dalam, bukan lebih sederhana. Industri tidak menjauh dari DRAM karena nilainya hilang. Industri menjauh dari asumsi bahwa DRAM sendirian bisa menjadi jawaban untuk setiap masalah sensitif latensi pada skala AI.

Tembok Kedua Adalah Daya, dan Masalah Ini Tidak Pernah Tidur

Bahkan jika biaya lebih mudah dibenarkan, DRAM tetap menghadapi masalah lain yang mustahil diabaikan begitu sistem menjadi cukup besar, yaitu daya. DRAM harus terus-menerus diberi daya untuk mempertahankan statusnya. Itu memang bagian dari teknologinya. Jadi semakin banyak Anda menambahkannya, semakin banyak pula energi yang dikonsumsi sistem hanya untuk menjaga data tetap berada di sana dan siap digunakan.

Di lingkungan yang lebih kecil, overhead itu mungkin terasa bisa diterima. Dalam sistem AI padat yang berjalan terus-menerus, itu mulai menjadi masalah operasional yang serius. Lebih banyak DRAM berarti lebih banyak konsumsi daya, lebih banyak panas, lebih banyak pendinginan, dan lebih banyak tekanan desain pada seluruh platform. Tiba-tiba keputusan ini bukan lagi hanya soal kapasitas memori. Ini menjadi soal batas termal, efisiensi pusat data, dan apakah infrastruktur pendukung sanggup menyerap biaya untuk menjaga memori aktif sebanyak itu tetap hidup sepanjang waktu.

Di sinilah peran lapisan perantara mulai terasa lebih masuk akal. Dalam artikel sebelumnya tentang Storage Class Memory, lapisan yang hilang antara DRAM dan NAND, idenya bukan untuk menggantikan DRAM, tetapi untuk meringankan sebagian tekanannya dengan menambahkan lapisan yang menjaga lebih banyak data tetap dekat dengan compute tanpa memaksa semuanya masuk ke tier yang paling mahal dan paling boros daya.

Lalu Ada Kenyataan Fisik dari Kedekatan

Ada alasan lain mengapa DRAM tidak bisa diskalakan tanpa batas dengan baik dalam sistem AI, dan itu lebih sedikit berkaitan dengan anggaran serta lebih banyak berkaitan dengan fisika. DRAM bernilai sebagian karena letaknya relatif dekat dengan prosesor. Semakin dekat memori ke compute, biasanya semakin rendah latensinya dan semakin responsif keseluruhan sistem terasa. Namun kedekatan bukanlah sesuatu yang bisa terus Anda perluas selamanya tanpa konsekuensi.

Ada batas fisik untuk seberapa banyak memori yang bisa ditempatkan dekat CPU atau GPU sebelum kompleksitas tata letak, panjang jalur sinyal, integritas sinyal, dan batasan packaging mulai berbalik melawan Anda. Inilah tepatnya alasan mengapa advanced memory packaging muncul sejak awal. HBM ada karena penempatan DRAM tradisional hanya bisa melangkah sampai batas tertentu, dan begitu sisi compute menjadi cukup cepat, jarak dan jalur itu mulai menjadi jauh lebih penting daripada sebelumnya.

Tetapi HBM juga bukan jawaban penuh untuk masalah kapasitas. HBM menawarkan bandwidth yang luar biasa, tetapi bukan volume tanpa batas. Akibatnya, sistem hidup dalam tindakan menyeimbangkan yang terus-menerus antara apa yang bisa ditempatkan sangat dekat dan apa yang harus diletakkan lebih jauh. Workload AI menekan keseimbangan itu jauh lebih keras daripada yang pernah terjadi pada sistem konvensional.

AI Membuat Keterlambatan Kecil Menjadi Mahal

Salah satu hal yang lebih menarik dari infrastruktur AI adalah bahwa ia menyingkap inefisiensi yang dulu bisa disembunyikan oleh workload yang lebih lama. Dalam sistem yang lebih tradisional, sedikit keterlambatan dalam akses data mungkin tidak berarti banyak. Prosesor menunggu sebentar, tugas selesai sedikit lebih lambat, dan pengguna tidak pernah menyadarinya. Sistem AI jauh lebih tidak toleran karena beroperasi dengan paralelisme yang sangat besar dan karena begitu banyak uang terikat pada lapisan compute.

Jika GPU tidak mendapatkan data saat dibutuhkan, itu bukan sekadar gangguan teknis. Itu adalah waktu menganggur yang mahal. Kalikan hal itu di banyak accelerator yang berjalan paralel, dan bahkan keterlambatan yang sangat kecil pun mulai tampak sebagai kerugian nyata dalam utilisasi.

Itu mengubah tujuannya. Tujuannya bukan sekadar memiliki memori yang cepat. Tujuannya adalah mempertahankan pengiriman data yang konsisten pada skala yang cukup besar untuk membuat bagian paling mahal dari sistem terus sibuk setiap saat. Itu adalah tuntutan yang jauh lebih berat, dan itulah tepatnya alasan mengapa DRAM saja mulai terlihat tidak memadai setelah infrastruktur AI tumbuh melampaui titik tertentu.

Analogi Gudang Itu Masih Tetap Berlaku – Hanya Saja Ukurannya Menjadi Lebih Besar

Jika kita terus memakai analogi gudang yang sama dari artikel-artikel sebelumnya, DRAM masih merupakan loading dock. Di situlah pekerjaan aktif terjadi, di situlah barang dibuka, disortir, dan dipindahkan ke penggunaan langsung. Selama bertahun-tahun, model itu bekerja dengan baik karena jumlah aktivitas di loading dock masih bisa dikelola dan sistem tidak menuntut agar semuanya dipersiapkan di sana pada saat yang sama.

AI mengubah skala operasinya. Sekarang loading dock diharapkan menopang arus material yang hampir terus-menerus, dengan jauh lebih banyak aktivitas yang berlangsung secara paralel dan jauh lebih sedikit toleransi terhadap keterlambatan. Pada titik tertentu, bahkan loading dock terbaik pun tidak bisa terus berkembang begitu saja. Hanya ada sejumlah ruang tertentu, hanya ada sejumlah gerakan paralel tertentu yang bisa berlangsung dengan efisien, dan hanya ada sejumlah persediaan tertentu yang bisa Anda simpan langsung di titik penggunaan sebelum tata letaknya sendiri menjadi bagian dari masalah.

Jadi jawabannya bukan membuat loading dock itu menjadi tak terbatas besarnya. Jawabannya adalah merancang ulang workflow di sekelilingnya.

Di sinilah sisa hierarki memori mulai layak mendapatkan tempatnya. HBM menjaga data yang paling sensitif terhadap waktu tetap tepat di samping prosesor. Storage Class Memory membantu menghaluskan transisi antara memori aktif dan storage yang lebih lambat. Dan dalam artikel yang lebih baru tentang mengapa sistem AI modern mengonsumsi begitu banyak memori, fokusnya bergeser ke bagaimana sisi storage juga sedang didesain ulang agar bisa ikut berperan lebih cerdas dalam memberi makan sistem.

Tidak satu pun dari lapisan-lapisan itu ada karena DRAM gagal. Lapisan-lapisan itu ada karena AI telah melampaui gagasan bahwa satu lapisan cepat saja dapat menanggung seluruh workload sendirian.

Apa Arti Sebenarnya Semua Ini bagi Memory Stack AI

Inti sebenarnya di sini bukanlah bahwa DRAM akan hilang, karena jelas itu tidak terjadi. DRAM tetap menjadi salah satu bagian paling penting dari seluruh stack. Yang berubah adalah perannya. Alih-alih menjadi tempat di mana semua data aktif seharusnya tinggal, DRAM kini menjadi tempat bagi data yang paling mendesak dan paling sensitif terhadap waktu, sementara lapisan lain menangani beban yang terus tumbuh dari skala, biaya, dan kapasitas.

Itu adalah pergeseran yang halus, tetapi penting. Itu berarti infrastruktur AI sedang menjauh dari gagasan lama tentang model dua lapis yang sederhana – memori di sini, storage di sana – dan bergerak menuju sesuatu yang jauh lebih bernuansa, di mana teknologi yang berbeda masing-masing diminta menangani bagian workload yang paling cocok untuk mereka.

Sederhananya, DRAM masih sangat penting, tetapi tidak lagi cukup jika berdiri sendiri. AI telah mengubah ukuran working set, kecepatan compute, biaya keterlambatan, dan ekonomi dari menjaga semuanya tetap dekat. Begitu semua hal itu berubah pada saat yang sama, hierarki memori juga harus berubah bersamanya.

Ke Mana Ini Akan Mengarah Selanjutnya

Begitu Anda menerima bahwa DRAM tidak bisa cukup jauh “meregang” untuk menampung semua yang ingin dijaga AI tetap dekat ke compute, pertanyaan berikutnya menjadi cukup jelas. Di mana sebenarnya sisa data itu tinggal, terutama ketika jumlah informasinya terlalu besar untuk dibenarkan jika semuanya harus dipertahankan di memori?

Di sinilah percakapan kembali berbelok, dan sebuah teknologi yang oleh banyak orang dianggap sudah tersisih justru mulai menjadi penting dengan cara yang cukup mengejutkan. Karena sementara DRAM bergumul dengan skala dan flash masih membawa kompromi biaya serta latensinya sendiri, hard drive tetap menawarkan sesuatu yang sulit digantikan oleh bagian stack lainnya: kapasitas yang praktis dalam volume sangat besar.

Dan itulah tepatnya alasan mengapa bagian berikutnya dari seri ini harus melihat mengapa hard drive masih sangat penting bagi infrastruktur AI.

Sistem AI biasanya tidak melambat karena keterbatasan komputasi, melainkan karena sistem tidak mampu memindahkan data cukup cepat untuk terus “memberi makan” prosesor dengan informasi secara konsisten.

Dengan kata lain, bottleneck-nya bukan pada kemampuan memproses data, tetapi pada kemampuan mengirimkan data tersebut dengan kecepatan yang dibutuhkan oleh workload AI modern.

Di sinilah High Bandwidth Memory (HBM) menjadi bagian penting dari arsitektur.

Untuk melihat gambaran yang lebih luas tentang bagaimana memori berkembang melampaui flash dan mengapa sistem AI sekarang bergantung pada beberapa lapisan, lihat analisis utama kami: NAND tidak akan hilang, tapi server AI sekarang bergantung pada lebih dari sekadar flash.

Selama lebih dari dua dekade, GetUSB telah membahas bagaimana data benar-benar bergerak, bukan hanya bagaimana ia dipasarkan. Dalam kurun waktu tersebut, kita telah melihat evolusi storage melalui beberapa siklus, mulai dari penurunan hard drive mekanis, naiknya penggunaan flash, hingga sekarang ke sistem di mana storage bukan lagi sekadar komponen pasif, melainkan bagian dari infrastruktur itu sendiri.

Apa yang sedang terjadi sekarang di infrastruktur AI terasa seperti salah satu titik transisi tersebut, tetapi dengan jenis tekanan yang berbeda sebagai pendorongnya.

NAND flash tidak akan hilang, dan sebenarnya tidak ada perdebatan soal itu. NAND tetap menjadi fondasi penyimpanan modern, dan menjalankan perannya dengan sangat baik. Di saat yang sama, permintaan terhadap NAND meningkat dengan cepat, sebagian besar didorong oleh workload AI yang membutuhkan dataset sangat besar dan akses konstan ke data tersebut. Permintaan ini mulai menekan pasokan dengan cara yang semakin sulit diabaikan, baik itu dalam bentuk tekanan harga, alokasi yang lebih ketat, atau sekadar lead time yang lebih panjang untuk deployment berskala besar.

Ketika ketidakseimbangan seperti ini mulai muncul, industri tidak tinggal diam menunggu semuanya kembali normal. Industri mulai mencari cara lain untuk menyelesaikan masalah tersebut, dan di situlah pergeseran mulai terjadi.

Seperti Apa Sebenarnya Server AI Saat Penutupnya Dibuka

Saat ini banyak sekali perbincangan tentang AI yang menggunakan “terlalu banyak memori”. Harga naik. Pasokan terbatas. Semua orang mengatakan permintaan sedang meledak. Anda mungkin sudah membaca itu.

Namun, sebagian besar tulisan melewatkan bagian terpenting: seperti apa bentuk fisik sebuah komputer AI, dan mengapa sejak awal ia membutuhkan memori sebanyak itu. Bukan dalam grafik abstrak atau prakiraan pasar, melainkan dalam gambaran yang bisa dibayangkan. Begitu Anda memahami apa yang benar-benar dikonsumsi oleh satu sistem AI, sisa ceritanya berhenti terdengar dramatis dan mulai terasa tak terelakkan.

Baru-baru ini saya menjelaskan hal ini di tempat yang sama sekali tidak berkaitan dengan pusat data. Saya berada di sekolah anak saya pada acara “hari orang tua”, berdiri di sebuah ruang kelas, dan beberapa siswa mulai bertanya tentang AI. Bukan pertanyaan tentang chatbot. Pertanyaan nyata. Seperti apa komputernya? Ke mana data pergi? Mengapa semua orang terus mengatakan “memori” seolah-olah itulah inti dari semuanya?