Advantech เปิดตัว GenAI Studio ซอฟต์แวร์ใหม่ล่าสุด ช่วยให้ธุรกิจขนาดกลางใช้ LLM ในองค์กรได้ง่ายและประหยัด

2 weeks ago Advantech, AI & Data, Industrial Technology, Product, Software Industrial

Advantech ผู้นำด้าน Edge AI Computing เปิดตัว GenAI Studio สำหรับ Advantech Edge AI SDK ซึ่งเป็นซอฟต์แวร์ใหม่ล่าสุดที่ออกแบบมาเพื่อตอบสนองความต้องการโซลูชัน Large Language Model (LLM) ราคาไม่แพงและใช้งานภายในองค์กร โดยมุ่งเน้นให้เทคโนโลยี LLM เข้าถึงได้ง่ายขึ้นสำหรับนักพัฒนาและธุรกิจขนาดกลางและขนาดย่อม (SMBs) ลดการพึ่งพาทรัพยากร GPU เพื่อลดต้นทุนและขยายการใช้งาน Generative AI

GenAI Studio มาพร้อมกับชุดเครื่องมือพัฒนาแบบครบวงจรสำหรับเวิร์กโฟลว์ LLM:

บริการ Fine-Tuning และ Inference แบบบูรณาการ: GenAI Studio ปรับปรุงประสิทธิภาพของฮาร์ดแวร์โดยการรวมกระบวนการ Fine-Tuning และ Inference เข้าด้วยกัน ทำให้ผู้ใช้สามารถจัดสรรทรัพยากรการประมวลผลได้อย่างมีประสิทธิภาพและยืดหยุ่นมากขึ้น
การจัดการทรัพยากร GPU ขั้นสูงและการจัดตารางงาน: คุณสมบัติเหล่านี้ช่วยให้องค์กรสามารถใช้ฮาร์ดแวร์ AI ที่มีมูลค่าสูงได้อย่างมีประสิทธิภาพมากขึ้น ปรับปรุงทั้งประสิทธิภาพและคุ้มค่าใช้จ่าย

การขยายตัวอย่างรวดเร็วของเทคโนโลยี AI ได้เผยให้เห็นถึงความจำเป็นเร่งด่วนสำหรับโซลูชัน LLM ที่เข้าถึงได้ง่าย แต่หลายองค์กรพบว่าตนเองถูกจำกัดด้วยข้อจำกัดด้านฮาร์ดแวร์และงบประมาณ Advantech Edge AI SDK เข้ามาจัดการกับความท้าทายนี้โดยตรง โดยนำเสนอชุดเครื่องมือที่แข็งแกร่งเพื่ออำนวยความสะดวกในการประเมิน พัฒนา และใช้งานแอปพลิเคชัน Edge AI ตัวอย่างเช่น การ Fine-Tuning LLM ขนาด 70 พันล้านพารามิเตอร์ ซึ่งโดยทั่วไปต้องใช้ GPU มากกว่า 30 ตัว แต่ละตัวมีหน่วยความจำ 48GB ปัจจุบันสามารถทำได้โดยใช้ GPU เพียง 4 ตัวผ่าน Advantech Edge AI SDK ซึ่งเป็นการลดการใช้ทรัพยากรลงถึง 87% ส่งผลให้ต้นทุนการดำเนินงานลดลงอย่างมากและเทคโนโลยี LLM สามารถเข้าถึงได้กว้างขวางยิ่งขึ้น

GenAI Studio:

ลดเวลารอคอยข้อมูล ของผู้ปฏิบัติงานในโรงงาน และ ลดภาระงานเอกสาร ของบุคลากรทางการแพทย์
No-Code และเป็นมิตรกับงบประมาณ ช่วยเร่งการใช้งาน LLM อย่างรวดเร็วและมีประสิทธิภาพ
แพลตฟอร์ม LLM ที่ยืดหยุ่น ผสานรวมกับบริการทั้ง Local และ Cloud (รองรับ OpenAI, Gemini, Anthropic, Ollama)
Fine-Tuning พารามิเตอร์ทั้งหมด ที่ปรับแต่งสำหรับสภาพแวดล้อมที่มีข้อจำกัดด้าน GPU
บริการ Fine-Tuning และ Inference แบบบูรณาการ: จัดสรรทรัพยากรการประมวลผลอย่างมีประสิทธิภาพ
การจัดการทรัพยากร GPU ขั้นสูงและการจัดตารางงาน: ใช้ฮาร์ดแวร์ AI ได้อย่างมีประสิทธิภาพและคุ้มค่า

Advantech Edge AI SDK:

ชุดเครื่องมือที่แข็งแกร่งสำหรับการประเมิน พัฒนา และใช้งานแอปพลิเคชัน Edge AI
ลดการใช้ทรัพยากร GPU อย่างมาก: Fine-Tuning LLM ขนาด 70 พันล้านพารามิเตอร์ จากเดิมต้องใช้ GPU กว่า 30 ตัว ลดเหลือเพียง 4 ตัว (ลดลง 87%)
สภาพแวดล้อมแบบบูรณาการ: รวมฮาร์ดแวร์ที่กำหนดค่าไว้ล่วงหน้ากับซอฟต์แวร์ที่ปรับแต่งอย่างละเอียด มอบประสบการณ์ Plug-and-Play
รองรับการปรับแต่ง LLM ที่คุ้มค่าใช้จ่าย, ความเข้ากันได้ของ Toolkit ที่ง่ายดาย และการจัดการการใช้งานขนาดใหญ่ที่ง่ายขึ้น

Advantech Edge AI SDK เป็นสภาพแวดล้อมแบบบูรณาการอย่างสมบูรณ์ ซึ่งสร้างขึ้นโดยเฉพาะสำหรับการพัฒนา Edge AI ที่ราบรื่น โดยรวมฮาร์ดแวร์ที่กำหนดค่าไว้ล่วงหน้าเข้ากับซอฟต์แวร์ที่ปรับแต่งอย่างละเอียด เพื่อมอบประสบการณ์ Plug-and-Play อย่างแท้จริง รองรับการปรับแต่ง LLM ที่คุ้มค่าใช้จ่าย ความเข้ากันได้ของ Toolkit ที่ง่ายดาย และการจัดการการใช้งานขนาดใหญ่ที่ง่ายขึ้น ด้วยการเน้นที่ความน่าเชื่อถือ ความสามารถในการปรับขนาด และความง่ายในการใช้งาน Edge AI SDK ช่วยให้การเดินทางสู่นวัตกรรม AI เป็นไปอย่างคล่องตัว ปัจจุบันประกอบด้วยสามองค์ประกอบหลัก:

GenAI Studio: ช่วยให้การพัฒนา ประเมิน และบูรณาการ LLM แบบกำหนดเองในสภาพแวดล้อม On-Premise เป็นไปอย่างคุ้มค่าใช้จ่าย
Inference Kit: อำนวยความสะดวกในการประเมินและปรับปรุงประสิทธิภาพของ AI Runtime ที่เข้ากันได้กับระบบปฏิบัติการแบบฝังตัวได้อย่างรวดเร็ว
Orchestration Platform: นำเสนอการจัดการโมเดล AI และการอัปเดตแอปพลิเคชันที่คล่องตัวในการใช้งาน Edge ขนาดใหญ่ โดยบูรณาการ MLOps เพื่อเพิ่มประสิทธิภาพในการดำเนินงาน

ฮาร์ดแวร์สนับสนุน: