ซัมซุงได้วางแผนงาน HBM ไว้สามขั้นตอน ได้แก่ การก้าวไปสู่ 3D ZHBM อย่างแท้จริง และการวาง DRAM ลงบนชิปประมวลผลโดยตรง

แผนงานวิวัฒนาการ HBM สามขั้นตอนของซัมซุงมีเป้าหมายเพื่อบรรลุสถาปัตยกรรม "zHBM" ซึ่งเป็นการวางซ้อน DRAM ในแนวตั้งบนชิปประมวลผล ซัมซุงอ้างว่า zHBM ช่วยลดการใช้พลังงานลง 70% และเพิ่มแบนด์วิดท์ขึ้น 230% เมื่อเทียบกับ HBM4E ในขณะเดียวกันก็เพิ่มพื้นที่ระบายความร้อนให้กับ GPU ได้อีก 100 วัตต์

เมื่อเร็วๆ นี้ ในงานประชุมเทคโนโลยี Hot Chips คุณ Sangwook Han จากทีมออกแบบ DRAM ของ Samsung ได้นำเสนอแผนงานสามขั้นตอนอย่างเป็นทางการสำหรับการพัฒนา HBM โดยเป้าหมายสุดท้ายของแผนงานนี้คือสถาปัตยกรรมใหม่ล่าสุดที่เรียกว่า zHBM ซึ่งเป็นการวางซ้อน DRAM บนชิปประมวลผล เช่น GPU และ TPU โดยตรงและในแนวตั้ง ทำให้ไม่จำเป็นต้องใช้ตัวเชื่อมต่อ 2.5D อีกต่อไป

จากรายงานของ wccftech เมื่อวันที่ 23 สิงหาคม ซัมซุงระบุว่า เมื่อเทียบกับ HBM4E มาตรฐาน โซลูชัน zHBM สามารถลดการใช้พลังงานลงได้ 70% เพิ่มแบนด์วิดท์ของ DRAM ได้ 230% และประหยัดพลังงานได้ 100 วัตต์ต่อโมดูล DRAM ในขณะเดียวกันก็เพิ่มพลังงานสำรองให้กับ GPU ได้อีก 8.3%

HBM คืออะไร และจุดที่เป็นอุปสรรคอยู่ตรงไหนบ้าง?

HBM หรือหน่วยความจำแบนด์วิดท์สูง เป็นหนึ่งในส่วนประกอบการจัดเก็บข้อมูลที่สำคัญที่สุดในระบบการฝึกฝนและการอนุมาน AI ในปัจจุบัน ประกอบด้วยชิปสองประเภท:

ชิป C-die (ชิปหลัก) : ประกอบด้วยเซลล์หน่วยความจำ DRAM และสามารถเรียงซ้อนกันในแนวตั้งได้สูงสุดถึง 16 ชั้น

บี-ได (Base Die) : ตั้งอยู่ด้านล่างสุดของโครงสร้างสแต็กทั้งหมด มีหน้าที่จัดการฟังก์ชันควบคุม DRAM ต่างๆ และสื่อสารกับชิปประมวลผล เช่น GPU ผ่านทาง PHY (Physical Interface Layer)

ทั้งสองส่วนเชื่อมต่อกันผ่านทาง TSV (Through-Silicon Via) ซึ่งเป็นช่องทางนำไฟฟ้าแนวตั้งที่ทะลุผ่านชิป

จากข้อมูลของ Wccftech แบนด์วิดท์ของ HBM4 แต่ละรุ่นในปัจจุบันเกิน 3TB/s แล้ว ในขณะที่ HBM4E พัฒนาไปอีกขั้นเป็น 4TB/s และ HBM5 มีแบนด์วิดท์เป็นสองเท่าของ HBM4 โดยมีความจุเกิน 60GB

อย่างไรก็ตาม การขยายแบนด์วิดท์อย่างต่อเนื่องนั้นเผชิญกับข้อจำกัดสำคัญสองประการ ได้แก่ ข้อจำกัดทางกายภาพของจำนวนและระยะห่างของ TSV และ ขีดจำกัดสูงสุดของจำนวนและความเร็วของ I/O ของอินเทอร์เฟซ PHY ภายใน Base Die ในขณะเดียวกัน ช่องว่างระหว่างกระบวนการผลิตของ B-die และชิปประมวลผล (xPU SoC) ก็แคบลงเรื่อยๆ ซึ่งเป็นทั้งความท้าทายและจุดเริ่มต้นสำหรับแผนงานของ Samsung

ขั้นตอนที่ 1: จัดเตรียมพื้นที่สำหรับชิปประมวลผล

เป้าหมายหลักของแผนงานระยะแรกของซัมซุงคือ การ "เรียกคืน" พื้นที่ซิลิคอนจาก xPU (ชิปประมวลผล)

ซัมซุงได้นำกระบวนการผลิต D1c และ 4nm มาใช้กับชิป HBM4 Base Die (B-die) โดยมีจุดประสงค์หลักเพื่อลดการใช้พลังงานและลดพื้นที่ใช้งาน นี่ถือเป็นการเริ่มต้นของการผสานรวม DRAM และกระบวนการผลิตลอจิกขั้นสูงอย่างแท้จริง

มาตรการเฉพาะประกอบด้วย:

การแทนที่ HBM PHY แบบดั้งเดิมด้วยอินเทอร์เฟซ D2D ช่วยลดความยาวของช่องสัญญาณ ซึ่งช่วยปรับปรุงประสิทธิภาพการใช้พลังงานโดยตรง ในขณะเดียวกันก็ช่วยเพิ่มพื้นที่ซิลิคอนอันมีค่าสำหรับ XPU

คาดว่าการย้ายตัวควบคุมหน่วยความจำจาก XPU ไปยัง cHBM B-die จะช่วยเพิ่มพื้นที่ว่างใน XPU ได้ 5% ถึง 10% ซึ่งสอดคล้องกับการปรับปรุงประสิทธิภาพ 10% ถึง 20%

นำเสนอแผนการซ่อมแซมแบบละเอียดโดยใช้ SRAM (Near-MC SRAM-Based Cell Repair) โดยใช้พื้นที่ว่างบน B-die เพื่อจัดสรรทรัพยากรการซ่อมแซม SRAM

ผลข้างเคียงประการหนึ่งของการลดพื้นที่คือปัญหาจุดร้อน เพื่อแก้ไขปัญหานี้ ซัมซุงได้นำเทคโนโลยี Heat Path Block (HPB) มาใช้ ซึ่งสร้างขึ้นบนพื้นฐานของโซลูชัน cHBM4 โดยสามารถลดอุณหภูมิสูงสุดได้มากกว่า 35% และครอบคลุมพื้นที่ PHY ได้ถึง 50%

ขั้นตอนที่สอง: ชิป B เริ่ม "เพิ่ม" กำลังการประมวลผล

ในเฟสที่สอง จุดเน้นได้เปลี่ยนจากการ "สร้างพื้นที่" ไปเป็นการ "เพิ่มฟีเจอร์" ซึ่งซัมซุงนิยามว่าเป็น เฟสการขยายฟีเจอร์

การขยายความจุหน่วยความจำ เนื่องจากขอบเขตบริบทของโมเดล AI ขนาดใหญ่ขยายตัวอย่างมาก ความต้องการแคชแบบคีย์-ค่า (พื้นที่หน่วยความจำที่ใช้ในการจัดเก็บสถานะชั่วคราวระหว่างการอนุมานของโมเดล) จึงเพิ่มขึ้นอย่างรวดเร็ว ซัมซุงวางแผนที่จะรวมตัวควบคุมการขยายหน่วยความจำและ PHY ไว้ในพื้นที่ซิลิคอนที่ไม่ได้ใช้งานของชิปพื้นฐาน เพื่อขยายความจุหน่วยความจำที่มีอยู่ของระบบผ่านโซลูชัน LPDDR หรือ HBM ภายนอก

หน่วยประมวลผลแบบรวม (PEs) ซัมซุงยังเสนอให้รวมหน่วยประมวลผลบางส่วน (Processing Elements) ไว้บนชิปฐาน (Base Die) เพื่อถ่ายโอนการคำนวณบางส่วนที่ปกติจะต้องทำบน xPU ไปยังฝั่งหน่วยความจำ ซึ่งจะช่วยลดความต้องการแบนด์วิดท์ D2D การใช้พลังงาน และภาระความร้อน รูปแบบนี้เรียกว่า AHBM (Advanced HBM)

เพิ่มความน่าเชื่อถือและขีดความสามารถในการทดสอบ เฟสที่สองยังรวมถึงการบูรณาการเซ็นเซอร์ RAS (ความน่าเชื่อถือ ความพร้อมใช้งาน ความสามารถในการให้บริการ) ขั้นสูงและฟังก์ชันการส่งข้อมูลทางไกลแบบเรียลไทม์ ตลอดจนความสามารถในการทดสอบตัวเองบนชิป (ATIP) เข้ากับ Base Die เพื่อปรับปรุงผลผลิตและความครอบคลุมของการทดสอบ

ขั้นตอนที่ 3: zHBM – การกำจัดชั้นตัวกลาง ทำให้สามารถนำ DRAM มาใช้กับชิปประมวลผลได้โดยตรง

ขั้นตอนที่สามคือรูปแบบขั้นสุดท้ายของแผนงานทั้งหมด: zHBM

ระบบ AI หลักในปัจจุบันใช้สถาปัตยกรรมบรรจุภัณฑ์แบบ 2.5 มิติ โดยวาง GPU และ HBM ไว้เคียงข้างกันบนตัวเชื่อมต่อเดียวกัน และส่งข้อมูลผ่านการเชื่อมต่อแนวนอน แนวทางของ zHBM คือการรวมโครงสร้างนี้ในแนวตั้ง โดยการวาง DRAM ลงบนชิป xPU โดยตรง ทำให้เกิดการรวมแบบ 3 มิติในแนวตั้งอย่างแท้จริง

ซัมซุงระบุคุณสมบัติหลักของ zHBM ไว้ดังนี้:

การรับส่งข้อมูลแบบกระจาย : ลดระยะทางการถ่ายโอนข้อมูลภายในสแต็ก HBM ให้เหลือน้อยที่สุด

โครงสร้าง 3 มิติ : ขจัดอินเทอร์เฟซ 2 มิติแบบดั้งเดิม ช่วยเพิ่มประสิทธิภาพของระบบได้อย่างมาก

เป้าหมายการใช้พลังงาน I/O อยู่ที่ประมาณ 0.5 pJ/bit ซึ่งทำได้โดยการกำจัดโมดูลที่ซ้ำซ้อน เช่น SerDes

แบนด์วิดท์เพิ่มขึ้นมากกว่า 2.3 เท่า และระบบสามารถรองรับความร้อนได้ถึง 100 วัตต์

โซลูชันสาธิตของซัมซุงเกี่ยวข้องกับการวางเลเยอร์ zHBM แบบสี่ชั้นซ้อนกันบน XPU

เพื่อให้บรรลุเป้าหมายเหล่านี้ ซัมซุงกำลังพัฒนาเทคโนโลยีการบรรจุภัณฑ์ที่สำคัญสองอย่าง ได้แก่ WoW (Wafer on Wafer) และ HCB (Hybrid Cube Bonding) เพื่อให้ได้ความหนาแน่นของ I/O ที่สูงมาก และท้ายที่สุดเพื่อสร้างระบบการออกแบบร่วม SoC-DRAM ที่เป็นหนึ่งเดียว

ตรรกะหลักที่อยู่เบื้องหลังแผนงาน

ประเด็นหลักของการนำเสนอของซัมซุงคือการปรับเปลี่ยนตำแหน่งของ HBM Base Die จาก "สถานีถ่ายโอนข้อมูลแบบพาสซีฟ" ไปเป็น "พันธมิตรอัจฉริยะที่มีความสามารถในการประมวลผลเชิงรุก"

ตรรกะการวิวัฒนาการของทั้งสามขั้นตอนมีความชัดเจน: ขั้นแรก พื้นที่ลดลงและพื้นที่ xPU เพิ่มขึ้นผ่านการอัพเกรดกระบวนการ (ขั้นตอนแรก); จากนั้น ฟังก์ชันเพิ่มเติมถูกรวมเข้าด้วยกัน และความจุและกำลังการประมวลผลถูกขยายโดยการใช้พื้นที่ว่าง (ขั้นตอนที่สอง); และสุดท้าย สถาปัตยกรรมของระบบถูกสร้างขึ้นใหม่ทั้งหมดผ่านการรวมระบบแนวตั้งแบบ 3 มิติ ทำให้เกิดความก้าวหน้าในการใช้พลังงาน แบนด์วิดท์ และการจัดการความร้อนไปพร้อมกัน (ขั้นตอนที่สาม)

ในข้อสรุป ซัมซุงระบุว่า "ด้วยการพัฒนาเทคโนโลยีการบรรจุภัณฑ์ขั้นสูงและการออกแบบร่วม SoC-DRAM ที่เป็นหนึ่งเดียว เราจะเอาชนะข้อจำกัดด้านการใช้พลังงาน พื้นที่ และความจุที่ขัดขวางระบบ AI ซึ่งจะปูทางไปสู่ประสิทธิภาพที่สูงขึ้น สมรรถนะที่สูงขึ้น และความสามารถในการขยายขนาดที่มากขึ้นในอีกหลายปีข้างหน้า"