ภายในงาน Intel Vision อินเทลได้มีการนำเสนอตัวเร่งความเร็ว AI Intel® Gaudi® 3 ตัวใหม่ ที่มีความสามารถในด้านการคำนวณ AI มากถึง  4 เท่า สำหรับข้อมูลประเภท BF16 มีแบนด์วิธหน่วยความจำเพิ่มขึ้น 1.5 เท่า และมีความกว้างของเครือข่ายเพิ่มขึ้น 2 เท่า เมื่อเทียบกับรุ่นก่อนหน้า

ซึ่งนับเป็นก้าวสำคัญในการฝึกอบรมโมเดลปัญญาประดิษฐ์ การอนุมานโมเดลภาษาขนาดใหญ่ (LLM) และโมเดลหลากหลายรูปแบบ โดยจากผลการทดสอบประสิทธิภาพของตัวเร่งความเร็ว AI Intel® Gaudi® 2 พบว่า มีเพียงตัวทดสอบ MPerf เพียงอย่างเดียวสำหรับ LLMs ในตลาด โดยอินเทลได้มอบทางเลือกให้กับลูกค้าด้วยซอฟต์แวร์แบบเปิดและเครือข่ายอีเธอร์เน็ตมาตรฐานอุตสาหกรรมเพื่อขยายระบบของพวกเขาได้อย่างยืดหยุ่นมากขึ้น

จัสติน โฮทาร์ด รองประธานและผู้จัดการทั่วไปฝ่าย Data Center และ AI กล่าวว่า ในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของตลาด AI ยังคงมีช่องว่างที่สำคัญในการนำเสนอสินค้าของเรา โดยจากผลตอบรับจากลูกค้าของเราและตลาดโดยรวมสามารถช่วยตอกย้ำถึงความต้องการของทางเลือกที่เพิ่มขึ้น องค์กรต่าง ๆ อาจชั่งน้ำหนักการพิจารณาอื่นๆ เช่น ความพร้อมใช้งาน ความสามารถในการขยาย ประสิทธิภาพ ต้นทุน และประสิทธิภาพการใช้พลังงาน โดย Intel Gaudi 3 โดดเด่นในฐานะทางเลือกสำหรับ GenAI ที่นำเสนอการผสมผสานที่น่าสนใจระหว่างประสิทธิภาพด้านราคา ความสามารถในการขยายระบบ และความได้เปรียบด้านเวลาต่อมูลค่า

ในปัจจุบันองค์กรทั่วไปในภาคอุตสาหกรรมที่สำคัญ เช่น การเงิน การผลิต และสุขภาพ กำลังมองหาเส้นทางที่รวดเร็วในการเข้าถึงเทคโนโลยี AI และการเข้าถึง GenAI จากช่วงทดลองไปสู่การใช้งานอย่างเต็มรูปแบบ สำหรับการจัดการการเปลี่ยนแปลงและการกระตุ้นนวัตกรรมและปฏิบัติการเติบโตทางรายได้ องค์กรธุรกิจต่างต้องการโซลูชันและผลิตภัณฑ์ที่เปิดเผย มีราคาที่เหมาะสม และมีประสิทธิภาพในการใช้พลังงานมากขึ้น ซึ่งตอบสนองต่อความต้องการในการลงทุนเพื่อกำไรและประสิทธิภาพการดำเนินงาน

โดยตัวเร่งความเร็ว Intel Gaudi 3 จะตอบสนองความต้องการเหล่านี้และนำเสนอความหลากหลายผ่านซอฟต์แวร์บนชุมชนแบบเปิดและอีเธอร์เน็ตมาตรฐานอุตสาหกรรมแบบเปิด ช่วยให้ธุรกิจต่าง ๆ สามารถปรับขนาดระบบ AI และช่วยให้เข้าถึงแอปพลิเคชันได้อย่างยืดหยุ่น

ตัวเร่งความเร็ว Intel Gaudi 3 ได้รับการออกแบบทางสถาปัตยกรรมเพื่อการประมวลผล AI ขนาดใหญ่ที่มีประสิทธิภาพ ผลิตขึ้นบนกระบวนการ 5 นาโนเมตร (nm) และมีความก้าวหน้าที่สำคัญมากกว่ารุ่นก่อน ตัวเร่งความเร็วรุ่นใหม่นี้ถูกออกแบบมาให้สามารถเปิดใช้งานเครื่องมือทั้งหมดพร้อมกัน ทั้ง Matrix Multiplication Engine (MME), Tensor Processor Cores (TPC) และ Networking Interface Cards (NIC) ทั้งหมดนี้ช่วยในการเร่งความเร็วที่จำเป็นสำหรับการคำนวณและการเรียนรู้เชิงลึกที่รวดเร็วและมีประสิทธิภาพ โดยมีคุณสมบัติที่สำคัญ ได้แก่:

  • เครื่องประมวลผลเฉพาะด้าน AI: ตัวเร่งความเร็ว Intel Gaudi 3 ได้รับการออกแบบมาเพื่อให้มีประสิทธิภาพสูง การประมวลผล GenAI ประสิทธิภาพสูง ตัวเร่งความเร็วแต่ละตัวมีคุณลักษณะเฉพาะของกลไกการคำนวณที่แตกต่างกัน ซึ่งประกอบด้วย TPC แบบกำหนดเองโดย AI และแบบตั้งโปรแกรมได้ 64 ตัว และ MME 8 ตัว Intel Gaudi 3 MME แต่ละตัวมีความสามารถในการดำเนินการแบบขนานที่น่าประทับใจถึง 64,000 รายการ ทำให้มีประสิทธิภาพในการประมวลผลในระดับสูง เชี่ยวชาญในการจัดการการดำเนินการเมทริกซ์ที่ซับซ้อน ซึ่งเป็นประเภทของการคำนวณที่เป็นพื้นฐานของอัลกอริธึมการเรียนรู้เชิงลึก การออกแบบที่เป็นเอกลักษณ์นี้ช่วยเร่งความเร็วและประสิทธิภาพของการทำงานของ AI แบบคู่ขนาน และรองรับข้อมูลหลายประเภท รวมถึง FP8 และ BF16
  • Memory Boost สำหรับความต้องการความจุ LLM: ความจุหน่วยความจำขนาด HBMe2 128 กิกะไบต์ (GB) แบนด์วิธหน่วยความจำขนาด 3.7 เทราไบต์ (TB) และ 96 เมกะไบต์ (MB) ของหน่วยความจำเข้าถึงโดยสุ่มแบบคงที่ (SRAM) บนบอร์ด ให้หน่วยความจำที่เพียงพอสำหรับการประมวลผลชุดข้อมูล GenAI ขนาดใหญ่ บน Intel Gaudi 3 ที่น้อยลง ซึ่งมีประโยชน์อย่างยิ่งในการรองรับภาษาขนาดใหญ่และโมเดลหลายรูปแบบ ส่งผลให้ประสิทธิภาพเวิร์กโหลดเพิ่มขึ้นและประสิทธิภาพด้านต้นทุนของศูนย์ข้อมูล
  • การปรับขนาดระบบที่มีประสิทธิภาพสำหรับ GenAI ระดับองค์กร: การรวมพอร์ตอีเธอร์เน็ต 200 กิกะบิต (Gb) จำนวน 24 พอร์ตเข้ากับตัวเร่งความเร็ว Intel Gaudi 3 ทุกตัว จะทำให้เกิดเครือข่ายที่ยืดหยุ่นและสามารถเปิดใช้งานได้ตามมาตรฐาน ส่งผลให้ให้สามารถปรับขนาดได้อย่างมีประสิทธิภาพเพื่อรองรับคลัสเตอร์การประมวลผลขนาดใหญ่ และกำจัดการล็อคอินของผู้ขายจากแฟบริคเครือข่ายที่เป็นกรรมสิทธิ์ ตัวเร่งความเร็ว Intel Gaudi 3 ได้รับการออกแบบมาเพื่อการขยายขนาดอย่างมีประสิทธิภาพจากโหนดเดียวไปจนถึงหลายพันโหนด เพื่อตอบสนองความต้องการขนาดใหญ่ของโมเดล GenAI ได้อย่างเหมาะสม
  • ซอฟต์แวร์อุตสาหกรรมแบบเปิดเพื่อประสิทธิภาพการทำงานของนักพัฒนา: ซอฟต์แวร์ของ Intel Gaudi ได้ผสานรวมเฟรมเวิร์ก PyTorch และมอบโมเดลตาม Hugging Face ที่ได้รับการปรับปรุง ซึ่งเป็นเฟรมเวิร์ก AI ที่พบบ่อยที่สุดสำหรับนักพัฒนา GenAI ในปัจจุบัน โดยสิ่งนี้จะช่วยให้นักพัฒนา GenAI สามารถทำงานในระดับสูง และได้รับความสะดวกในการใช้งานและการโยกย้ายโมเดลระหว่างชนิดฮาร์ดแวร์ได้โดยง่าย
  • Gaudi 3 PCIe: สิ่งที่เพิ่มเข้ามาในสายผลิตภัณฑ์ Gaudi 3 คือ การ์ดเสริม Peripheral Component Interconnect Express (PCIe) ซึ่งถูกออกแบบมาเพื่อให้มีประสิทธิภาพสูงพร้อมกับการใช้พลังงานต่ำ เหมาะอย่างยิ่งสำหรับปริมาณงาน อย่างการปรับแต่งแบบละเอียด การอนุมาน และการสร้างเสริมการดึงข้อมูล (RAG) ที่มีขนาดเต็มสูงที่ 600 วัตต์ พร้อมความจุหน่วยความจำ 128GB และแบนด์วิธ 3.7TB ต่อวินาที