Tag Archives: AI Inference

โมเดล AI ในปัจจุบันฉลาดขึ้นมาก แต่ก็แลกมากับความต้องการหน่วยความจำที่มหาศาล โดยเฉพาะในช่วงการใช้งานจริง (Inference) ที่ต้องใช้พื้นที่เก็บข้อมูลบริบท หรือที่เรียกว่า KV Cache เป็นจำนวนมาก ล่าสุด SK Hynix ได้เสนอทางออกผ่านงานวิจัยบน IEEE ด้วยแนวคิดสถาปัตยกรรมไฮบริดที่ชื่อว่า H3

Read More »