Bernstein ชี้หน่วยความจำ 7 ประเภท หลัง HBM แล้ว DRAM และ NAND แข่งชิงตลาดล้านล้านดอลลาร์ถัดไป

ในช่วงสองปีที่ผ่านมา เรื่องเล่าเกี่ยวกับหน่วยความจำ AI แทบทั้งหมดมุ่งเน้นไปที่ HBM แต่เมื่อโมเดลขนาดใหญ่เปลี่ยนจากการฝึกไปสู่การอนุมานขนาดใหญ่ การเพิ่ม HBM เพียงอย่างเดียวไม่เพียงพอที่จะแก้ปัญหาทั้งหมดอีกต่อไป

ในรายงานหน่วยความจำโลกล่าสุด Bernstein ชี้ให้เห็นว่าเวิร์กโหลด AI ที่แตกต่างกันมีความต้องการหน่วยความจำที่แตกต่างกันอย่างชัดเจน: การฝึกเน้นการคำนวณและแบนด์วิดท์ ช่วงถอดรหัสของการอนุมานพึ่งพาความจุมากกว่า RAG ต้องการฐานข้อมูลขนาดใหญ่ และเวิร์กโฟลว์เอเจนต์เพิ่มภาระให้กับทั้งเซิร์ฟเวอร์แบบดั้งเดิมและเซิร์ฟเวอร์ AI

นั่นหมายความว่าการเปลี่ยนแปลงที่ AI นำมานั้นกระจายจาก HBM ลงไปยัง DRAM ระบบ, SSD, HDD และแม้แต่เทปจัดเก็บข้อมูล รอบ ๆ "กำแพงหน่วยความจำ" อุตสาหกรรมกำลังแทรกผลิตภัณฑ์ใหม่ระหว่างระดับที่มีอยู่ เพื่อหาสมดุลใหม่ระหว่างประสิทธิภาพ ความจุ และต้นทุน

เพดานของขนาดการอนุมานอาจขึ้นอยู่กับ KV Cache

ระหว่างการฝึกโมเดลขนาดใหญ่ GPU และ HBM ยังคงเป็นแกนหลัก

การฝึกต้องอ่านพารามิเตอร์โมเดลและข้อมูลกลางบ่อยครั้ง ต้องการพลังการคำนวณและแบนด์วิดท์หน่วยความจำสูง แต่การฝึกโมเดลขนาดใหญ่ไม่ได้พึ่งพา HBM เพียงอย่างเดียว: ชุดข้อมูลดิบต้องจัดเก็บในสื่อต้นทุนต่ำกว่า ก่อนข้อมูลเข้าสู่ GPU โดยทั่วไปต้องถูกแคชและประมวลผลล่วงหน้าโดย DRAM ระบบและ SSD ภายใน และการฝึกที่กินเวลาหลายสัปดาห์หรือหลายเดือนต้องบันทึก checkpoint เป็นระยะเพื่อหลีกเลี่ยงการเริ่มใหม่ทั้งหมดเนื่องจากความล้มเหลวของฮาร์ดแวร์หรือซอฟต์แวร์

ดังนั้น การฝึกขนาดใหญ่ครั้งเดียวจึงใช้ลำดับชั้นทั้งหมดตั้งแต่ HBM และ DRAM ระบบ ไปจนถึง SSD ภายในและที่เก็บข้อมูลเครือข่าย

เมื่อเข้าสู่ช่วงการอนุมาน ความต้องการหน่วยความจำยิ่งแตกต่างกันมากขึ้น

การอนุมานโดยทั่วไปแบ่งได้เป็น prefill และ decode Prefill ประมวลผลอินพุตของผู้ใช้และสร้างโทเค็นแรก ดำเนินการเมทริกซ์ขนาดใหญ่และเอนเอียงไปทาง "จำกัดด้วยการคำนวณ" ในช่วงนี้ การใช้ GPU และแบนด์วิดท์ HBM สำคัญกว่า และเมตริกทั่วไปคือเวลาในการสร้างโทเค็นแรก

ช่วงถอดรหัสแตกต่างออกไป โมเดลสร้างโทเค็นทีละตัว และเมื่อสร้างโทเค็นใหม่ ต้องอ้างอิงข้อมูลที่สร้างไว้ก่อนหน้านี้ เพื่อหลีกเลี่ยงการคำนวณซ้ำ ระบบมักจัดเก็บข้อมูลนี้ใน KV Cache

KV Cache มีลักษณะสำคัญสองประการ: ความจุเติบโตเชิงเส้นตามความยาวบริบท และผู้ใช้แต่ละรายต้องใช้แคชอิสระ ดังนั้น เมื่อบริบทยาวขึ้นและผู้ใช้พร้อมกันเพิ่มขึ้น ทั้งสองปัจจัยร่วมกันผลักดันการใช้หน่วยความจำให้สูงขึ้น

Bernstein เชื่อว่าในการปรับใช้ AI ขนาดใหญ่ หน่วยความจำ KV Cache อาจเกินน้ำหนักโมเดล กลายเป็นปัจจัยหลักที่จำกัดผู้ใช้พร้อมกันและขนาดหน้าต่างบริบท โมเดลสามารถให้บริการผู้ใช้ได้กี่คนและรักษาบริบทได้ยาวเพียงใด สุดท้ายส่งผลโดยตรงต่อขนาดรายได้

จากมุมมองนี้ จุดแข่งขันในยุคการอนุมานไม่ใช่แค่ว่าชิปคำนวณได้เร็วเพียงใด แต่ยังรวมถึงว่าระบบสามารถจัดเก็บและอ่านบริบทที่ขยายตัวเรื่อย ๆ ได้ถูกเพียงใด

RAG และเอเจนต์ผลักดันความต้องการไปยังหน่วยความจำแบบดั้งเดิม

การแพร่หลายของ RAG และเอเจนต์กำลังกระจายความต้องการจัดเก็บข้อมูล AI ออกไปนอกเหนือ HBM

RAG ประกอบด้วยการสร้างฐานข้อมูลและการค้นคืนฐานข้อมูลเป็นหลัก เมื่อสร้างฐานข้อมูล ระบบต้องประมวลผลข้อมูลไม่มีโครงสร้างปริมาณมาก เช่น PDF, เว็บเพจ และโค้ด แล้วแปลงเป็นเวกเตอร์และดัชนีที่ค้นหาได้ กระบวนการนี้พึ่งพา SSD ความจุสูงและ DRAM ระบบมากกว่า โดย HBM มีบทบาทค่อนข้างจำกัด

เมื่อสร้างฐานข้อมูลแล้ว คำถามของผู้ใช้จะถูกแปลงเป็นเวกเตอร์ก่อน แล้วจับคู่กับเนื้อหาฐานข้อมูล การสร้างเวกเตอร์ทำได้รวดเร็วบน GPU และ HBM แต่การค้นหาจริงมักพึ่งพา DRAM ระบบมากกว่า ผลลัพธ์ที่ค้นคืนได้จะถูกรวมกับคำถามของผู้ใช้และเข้าสู่กระบวนการ prefill และ decode ปกติ

เวิร์กโฟลว์เอเจนต์สร้างภาระหนักยิ่งกว่า

การสนทนาแบบดั้งเดิมมักเป็นการเรียก "อินพุต-โมเดล-เอาต์พุต" ครั้งเดียว ในขณะที่เอเจนต์ต้องแบ่งเป้าหมายเป็นหลายขั้นตอน เรียกโมเดลอื่นหรือเครื่องมือภายนอก บันทึกผลลัพธ์กลาง และวางแผนใหม่ตามข้อเสนอแนะ เอาต์พุตของการเรียกแต่ละครั้งอาจกลายเป็นอินพุตสำหรับการเรียกโมเดลครั้งถัดไป

สิ่งนี้เพิ่มความต้องการสองประเภทพร้อมกัน: ด้านหนึ่ง การเรียกเครื่องมือและงานที่ไม่ใช่ AI ต้องการ CPU และหน่วยความจำระบบมากขึ้น อีกด้านหนึ่ง การส่งต่อบริบทอย่างต่อเนื่องระหว่างหลายโมเดลขยายโหลด prefill, decode และ KV Cache อย่างรวดเร็ว

ดังนั้น การพัฒนาแอปพลิเคชันเอเจนต์ไม่เพียงแต่เป็นประโยชน์ต่อ GPU และ HBM แต่ยังอาจกระตุ้นความต้องการ DRAM เซิร์ฟเวอร์, SSD องค์กร และสื่อจัดเก็บต้นทุนต่ำกว่า

ระหว่าง HBM และ SSD ระดับหน่วยความจำใหม่กำลังเกิดขึ้น

ระบบหน่วยความจำเซิร์ฟเวอร์แบบดั้งเดิมแบ่งคร่าว ๆ ได้เป็นแคชโปรเซสเซอร์, DRAM ระบบ, SSD ภายใน และที่เก็บข้อมูลร่วม เซิร์ฟเวอร์ AI เพิ่ม HBM เข้าในโครงสร้างนี้ แต่ HBM มีความจุจำกัดและต้นทุนสูง ทำให้ยากที่จะเก็บข้อมูลทั้งหมด

แนวทางปัจจุบันของอุตสาหกรรมคือการแทรกผลิตภัณฑ์ใหม่ระหว่างระดับต่าง ๆ

CXL พยายามรวมหน่วยความจำที่กระจายทางกายภาพเข้าเป็นพูลทรัพยากรร่วม ช่วยให้ CPU, GPU และอุปกรณ์ขยายเข้าถึง DRAM ได้ยืดหยุ่นมากขึ้น ผลิตภัณฑ์บางตัวยังใช้ DRAM หรือ SRAM เป็นแคชร่วมกับ NAND ลดต้นทุนพร้อมลดเวลาแฝงในการเข้าถึง

โครงการ "Storage Next" ของ Nvidia พยายามย้ายการจัดการที่เก็บข้อมูลบางส่วนจาก CPU ไปยัง GPU และทำให้ NAND มีเวลาแฝง, IOPS และความละเอียดในการเข้าถึงข้อมูลใกล้เคียง DRAM มากขึ้น SSD ซีรีส์ GP ของ Kioxia ที่ใช้ XL-FLASH เป็นตัวแทนของทิศทางนี้

CMX มุ่งเป้าไปที่ KV Cache เป็นหลัก โดยปรับใช้ SSD ในโหนดข้อมูลอิสระ เชื่อมต่อกับโหนดคำนวณผ่าน DPU, อีเทอร์เน็ต และชิปสวิตช์ เป้าหมายคือการแบ่งปันบริบทการอนุมานระหว่าง GPU ต่าง ๆ ลดการจัดเก็บซ้ำซ้อน และทะลุข้อจำกัดความจุหน่วยความจำของเซิร์ฟเวอร์เดียว

แนวทางเหล่านี้ล้วนชี้ไปที่แนวโน้มเดียวกัน: ระบบ AI ไม่สามารถเก็บข้อมูลที่ใช้งานทั้งหมดไว้ใน HBM ในระยะยาวได้ ข้อมูลต้องกระจายตามระดับตามความถี่ในการเข้าถึงและข้อกำหนดเวลาแฝง

ข้อมูลร้อนอยู่ใน HBM บริบทบางส่วนย้ายไปยัง DRAM ระบบหรือ SSD ประสิทธิภาพสูง และข้อมูลที่เย็นกว่ายังคงจมลงสู่ SSD มาตรฐาน, HDD หรือแม้แต่เทป ยิ่งลำดับชั้นหน่วยความจำละเอียดเท่าใด ระบบก็ยิ่งมีแนวโน้มสมดุลระหว่างประสิทธิภาพและต้นทุนได้มากขึ้น

เทคโนโลยีใหม่เกิดขึ้นอย่างรวดเร็ว แต่การค้าเชิงพาณิชย์ยังไม่แน่นอน

รอบ ๆ "กำแพงหน่วยความจำ" อุตสาหกรรมได้เสนอเส้นทางใหม่หลายเส้นทาง

zHBM ของ Samsung วางแผนซ้อน HBM ไว้บนโปรเซสเซอร์ เพื่อลดระยะการถ่ายโอนข้อมูลเพิ่มเติม อย่างไรก็ตาม การออกแบบนี้ต้องจัดการความร้อนที่เกิดจาก GPU พร้อมกับกำหนดข้อกำหนดที่สูงขึ้นต่อผลผลิตและต้นทุนการเชื่อมแบบไฮบริดระดับเวเฟอร์

NVHBM ของ Nvidia มี base die ที่ออกแบบโดย Nvidia และอาจผลิตโดย TSMC วิธีนี้อาจลดการใช้พลังงานและเพิ่มแบนด์วิดท์ แต่ก็อาจลดมูลค่าการออกแบบและการผลิตของผู้ผลิตหน่วยความจำใน base die ของ HBM เมื่อผลิตภัณฑ์เป็นมาตรฐาน มูลค่าเพิ่มบางส่วนอาจย้ายจากผู้ผลิตหน่วยความจำไปยัง Nvidia และโรงงานผลิตชิป

HBF ซึ่งผลักดันโดย SanDisk และ SK Hynix มีเป้าหมายใช้ NAND เพื่อส่งมอบแบนด์วิดท์ใกล้เคียง HBM พร้อมความจุที่ใหญ่กว่าและต้นทุนต่อหน่วยต่ำกว่า อย่างไรก็ตาม NAND และ DRAM ยังมีช่องว่างอย่างมากในด้านเวลาแฝงและประสิทธิภาพ และ HBF ต้องข้ามระดับเทคโนโลยีหลายระดับ ทำให้การนำไปใช้ไม่ง่ายเลย

ZAM ของ Intel พยายามหมุน DRAM die 90 องศาเพื่อปรับปรุงการระบายความร้อน ตั้งเป้าการค้าเชิงพาณิชย์ภายในปีงบประมาณ 2029 ส่วน HBC ของ Qualcomm ใช้ LPDDR และบรรจุภัณฑ์แบบดั้งเดิม สละประสิทธิภาพบางส่วนเพื่อหลีกเลี่ยงต้นทุน CoWoS

นอกจากนี้ PIM พยายามเพิ่มความสามารถในการคำนวณลงในชิปหน่วยความจำโดยตรงเพื่อลดการเคลื่อนย้ายข้อมูลระหว่างโปรเซสเซอร์และหน่วยความจำ แต่สิ่งนี้เปลี่ยนสถาปัตยกรรมการคำนวณที่มีอยู่ ต้องปรับตัวทั้งโปรเซสเซอร์ ซอฟต์แวร์ และเครือข่าย และยังรบกวนการแบ่งงานที่成熟อย่างมากระหว่างชิปลอจิกและชิปหน่วยความจำ Bernstein เชื่อว่าการนำไปใช้ในอุตสาหกรรมยังจำกัด

ดังนั้น การเพิ่มขึ้นอย่างรวดเร็วของโซลูชันใหม่ไม่ได้หมายความว่าทุกเส้นทางจะก่อตัวเป็นตลาดขนาดใหญ่ ความเข้ากันได้กับระบบนิเวศซอฟต์แวร์และฮาร์ดแวร์ที่มีอยู่ ข้อได้เปรียบด้านต้นทุน และว่าผู้เล่นในห่วงโซ่อุปทานสามารถบรรลุสมดุลผลประโยชน์ได้หรือไม่ จะกำหนดผลลัพธ์การค้าเชิงพาณิชย์ขั้นสุดท้าย

ผู้ได้รับประโยชน์จากหน่วยความจำ AI จะไม่จำกัดเฉพาะผู้ผลิต HBM

จากมุมมองการลงทุน มุมมองของ Bernstein ค่อนข้างชัดเจน: แรงดึงของ AI ต่ออุตสาหกรรมหน่วยความจำกำลังกระจายจากผลิตภัณฑ์ระดับสูงไม่กี่ตัวไปยังระดับมากขึ้น

HBM ยังคงเป็นแกนหลักสำหรับการฝึกและการอนุมานประสิทธิภาพสูง และ Samsung Electronics, SK Hynix และ Micron จะยังคงได้รับประโยชน์จากความต้องการหน่วยความจำแบนด์วิดท์สูง แต่เมื่อการอนุมานขยายขนาด ความสำคัญของ DRAM ระบบและ NAND จะเพิ่มขึ้น การล้นของ KV Cache, ฐานข้อมูล RAG และข้อมูลกลางจำนวนมากที่สร้างโดยเอเจนต์จะเพิ่มความต้องการ SSD และที่เก็บข้อมูลร่วมด้วย

ข้อมูลที่เย็นกว่าจะยังคงจมลงต่อไป Bernstein ระบุว่าการเติบโตของข้อมูลที่ขับเคลื่อนโดย AI ได้เริ่มเป็นประโยชน์ต่อ HDD แล้ว ในบางสถานการณ์ เนื่องจากความจุ NAND และ HDD ไม่เพียงพอ เทปซึ่ง traditionally ใช้สำหรับการเก็บถาวรเป็นหลัก ก็มีความต้องการเพิ่มขึ้นเช่นกัน

รายงานคงอันดับ "Outperform" สำหรับ Samsung Electronics, SK Hynix, Micron, SanDisk, Seagate และ Western Digital ในจำนวนนี้ Samsung Electronics, SK Hynix และ Micron สอดคล้องกับ DRAM และ HBM, SanDisk ได้ประโยชน์จาก NAND และ HBF ส่วน Seagate และ Western Digital สอดคล้องกับที่เก็บข้อมูลความจุสูงต้นทุนต่ำ Kioxia ได้รับอันดับ "Underperform"

อย่างไรก็ตาม คุณค่าหลักของรายงานนี้ไม่ใช่การระบุรายการคำย่อเทคโนโลยีใหม่ แต่เป็นการกำหนดขอบเขตของตลาดหน่วยความจำ AI ใหม่

ในยุคการฝึก คอขวดกระจุกตัวอยู่ที่ GPU และ HBM ในยุคการอนุมานและเอเจนต์ คอขวดกำลังกระจายไปทั่วลำดับชั้นหน่วยความจำทั้งหมด การแข่งขันในอนาคตของโครงสร้างพื้นฐาน AI ขึ้นอยู่กับทั้งความเร็วที่ชิปคำนวณได้ และว่าข้อมูลสามารถไหลอย่างมีประสิทธิภาพระหว่าง HBM, DRAM, NAND และที่เก็บข้อมูลร่วมด้วยต้นทุนที่ต่ำเพียงพอหรือไม่