SK Hynix เปิดตัวสถาปัตยกรรมหน่วยความจำไฮบริด “H3” ผสาน HBM และ HBF ยกระดับประสิทธิภาพ AI

SK Hynix นำเสนอแนวทางใหม่เพื่อรองรับแอปพลิเคชัน AI ที่มีความต้องการใช้หน่วยความจำสูงขึ้นอย่างก้าวกระโดด ด้วยการเผยโฉมสถาปัตยกรรมหน่วยความจำแบบไฮบริดในชื่อ “H3” ซึ่งเป็นการผสมผสานระหว่างหน่วยความจำแบนด์วิดท์สูง (HBM) และหน่วยความจำแฟลชแบนด์วิดท์สูง (HBF) เข้าด้วยกันบนแพลตฟอร์ม Interposer เดียวกัน เพื่อยกระดับความคุ้มค่าและประสิทธิภาพในการประมวลผล

แนวคิดหลักของสถาปัตยกรรม H3 คือการปรับแต่งความจุและแบนด์วิดท์ให้เหมาะสมกับโมเดลภาษาขนาดใหญ่ (LLM) ในช่วงของการประมวลผลผลลัพธ์ (Inference) โดยแตกต่างจากการออกแบบในปัจจุบันที่ชิปประมวลผลอย่าง GPU มักจะเชื่อมต่อกับ HBM โดยตรงเพียงอย่างเดียว แต่เทคโนโลยี H3 จะเพิ่ม HBF ซึ่งเป็นการนำชิป 3D NAND มาเรียงซ้อนกันเข้าไปด้วย การทำงานร่วมกันนี้ช่วยให้ระบบมีช่องทางการอ่านและเขียนข้อมูลที่เป็นอิสระ ขยายความจุให้มากขึ้น และทำงานแบบคู่ขนานได้อย่างมีประสิทธิภาพ

แม้ HBF จะมีความหน่วง (Latency) ในการเข้าถึงข้อมูลสูงกว่า HBM แต่ก็ชดเชยด้วยความจุที่มหาศาลและแบนด์วิดท์ที่เหนือกว่า NVMe SSD ทั่วไป ระบบ H3 จึงแก้ปัญหาด้วยการเชื่อมต่อหน่วยความจำทั้งสองแบบเข้าด้วยกัน โดยให้ GPU สามารถใช้งานทั้งคู่เป็นหน่วยความจำหลัก และมีระบบบัฟเฟอร์ใน HBM คอยช่วยลดทอนความหน่วงจากฝั่ง HBF

การพัฒนาครั้งนี้มุ่งเป้าไปที่การแก้ปัญหาคอขวดของ “KV Cache” ซึ่งเป็นพื้นที่เก็บข้อมูลบริบทของ AI ที่มักจะใช้พื้นที่มหาศาลเมื่อต้องประมวลผลข้อมูลยาวๆ ในระบบเดิม ข้อจำกัดด้านความจุของ HBM ทำให้ต้องย้ายข้อมูลไปพักไว้ที่ SSD ซึ่งทำให้ระบบช้าและกินไฟ แต่ในระบบ H3 ข้อมูลที่ถูกอ่านเพียงอย่างเดียวหรือข้อมูลที่คำนวณไว้ล่วงหน้าจะถูกเก็บใน HBF ส่วนข้อมูลที่ต้องเปลี่ยนแปลงแบบไดนามิกจะอยู่ใน HBM ผลการจำลองระบบพบว่า การทำงานร่วมกับ GPU ระดับท็อปสามารถเพิ่มประสิทธิภาพต่อวัตต์ได้สูงถึง 2.69 เท่า และรองรับขนาดข้อมูลได้มากขึ้นถึง 18.8 เท่าเมื่อเทียบกับการใช้ HBM เพียงอย่างเดียว

อย่างไรก็ตาม การนำชิป NAND มาผสานรวมในแพ็กเกจเดียวกับ HBM ยังคงมีความท้าทายทางเทคนิคที่ต้องแก้ไข ทั้งในด้านการจัดการความหน่วง การออกแบบคอนโทรลเลอร์ และการสึกหรอของหน่วยความจำ ปัจจุบันผู้ผลิตรายใหญ่อย่าง Samsung, SK Hynix และ SanDisk กำลังร่วมมือกันพัฒนามาตรฐานสำหรับ HBF โดยตั้งเป้าที่จะเริ่มวางจำหน่ายในเชิงพาณิชย์ตั้งแต่ปี 2027 เป็นต้นไป ซึ่งเทคโนโลยีนี้จะไม่ได้เข้ามาแทนที่ HBM แต่จะกลายเป็นจิ๊กซอว์ชิ้นสำคัญที่เข้ามาเติมเต็มอุตสาหกรรมการผลิตชิปสำหรับ AI ในอนาคต

ที่มา: https://www.all-about-industries.com/sk-hynix-presents-hybrid-storage-architecture-for-better-ki-inference-a-73bfd0eb323c3a35bd0391c0571a7c59/