โมเดลภาษาขนาดใหญ่แบบหลายโหมด (LLMs) กำลังจะมีบทบาทสำคัญในงานขั้นสูง เช่น การมองเห็นด้วยคอมพิวเตอร์ การขับขี่อัตโนมัติ และหุ่นยนต์ Les Kohn ประธานเจ้าหน้าที่ฝ่ายเทคโนโลยีของ Ambarella เน้นว่า LLMs มีความสามารถในการเข้าใจสถานการณ์ที่ซับซ้อนในโลกแห่งความเป็นจริง ทำให้เหมาะสำหรับการใช้งานที่ต้องการความอิสระในระดับสูง โมเดลเหล่านี้ผสมผสานความรู้จากหลายโหมดการรับรู้ เรียนรู้วิธีการทำงานของโลกและทำนายพฤติกรรม เช่นเดียวกับความเข้าใจของมนุษย์

โมเดลหลายโหมด เช่น Llava ที่ผสานข้อมูลข้อความและภาพ สามารถให้ข้อมูลเชิงลึกเกี่ยวกับฉากในโลกจริงได้ลึกซึ้งกว่าเดิม ซึ่งทำให้เหนือกว่าระบบการมองเห็นด้วยคอมพิวเตอร์แบบดั้งเดิม ด้วยการเชื่อมโยงแนวคิดจากการฝึกฝน Llava สามารถจัดการกับกรณีขอบเขตได้อย่างมีประสิทธิภาพ สรุปและอนุมานสถานการณ์ที่ซับซ้อน เช่น การตัดสินใจในสภาวะการขับขี่ที่ไม่แน่นอน โมเดลประเภทนี้สามารถทำนายการกระทำแบบเรียลไทม์ เข้าใจวัตถุในฉาก และนำทางได้อย่างเหมาะสม ซึ่งมีความสำคัญอย่างยิ่งต่อการขับขี่อัตโนมัติ

หุ่นยนต์ยังได้รับประโยชน์จากความก้าวหน้าเหล่านี้เช่นกัน โมเดล AI หลายโหมดช่วยลดความจำเป็นในการฝึกอบรมที่เฉพาะเจาะจงสำหรับงาน ทำให้ระบบสามารถเริ่มต้นด้วยความรู้ทั่วไปและปรับให้เข้ากับงานใหม่ ๆ ด้วยการป้อนข้อมูลที่น้อยที่สุด ความยืดหยุ่นนี้ช่วยเร่งการพัฒนาในแอปพลิเคชันหุ่นยนต์โดยทำให้ข้อกำหนดการฝึกอบรมง่ายขึ้นและปรับปรุงประสิทธิภาพ

Cooper แพลตฟอร์มพัฒนา AI ของ Ambarella มุ่งเน้นที่การใช้งานในอุปกรณ์ปลายทาง เช่น หุ่นยนต์ ชิป N1 ของ Ambarella ซึ่งใช้ซิลิคอนและตัวเร่ง AI NVP แบบเดียวกับ CV3-HD มอบแพลตฟอร์มสำเร็จรูปเพื่อเร่งการพัฒนาในด้านหุ่นยนต์ Cooper มีไลบรารีที่ได้รับการปรับให้เหมาะสมสำหรับโมเดลทรานส์ฟอร์เมอร์ขนาดใหญ่ เพื่อเพิ่มประสิทธิภาพการทำงานโดยใช้แบนด์วิดท์ DRAM และลดความหน่วงเวลาในการใช้งานแบบเรียลไทม์

SoC รุ่น N1 ของ Ambarella สามารถรัน LLMs และโมเดลการมองเห็นที่ใช้เครือข่ายประสาทแบบคอนโวลูชัน (CNN) ได้หลายแบบ โดยแสดงประสิทธิภาพสูงในการเร่งความเร็วด้วย AI ในการใช้งานจริง N1 สามารถรัน Llava-34B บนภาพด้วยพลังงานต่ำกว่า 50 วัตต์ หรือจัดการสตรีมวิดีโอหลายรายการด้วยโมเดล Llava-13B นอกจากนี้ โมเดล CLIP ซึ่งเป็นโมเดลวิชัน-แลงเกวจ ยังสามารถรันบนสตรีมวิดีโอหลายรายการพร้อมกันได้ ซึ่งมีประโยชน์สำหรับการค้นหาวิดีโอเชิงบริบท

Ambarella ยังคงพัฒนานวัตกรรมในด้านการขับขี่อัตโนมัติ โดยร่วมมือกับ Continental ในโครงการรถบรรทุก L4 สแต็กการขับขี่ที่ใช้ AI ของพวกเขารวมเทคโนโลยีเรดาร์เข้ากับโมเดล เช่น BEVFormer เพื่อดูภาพแบบมุมมองจากด้านบน ซึ่งช่วยเพิ่มความเข้าใจเชิงความหมายที่จำเป็นสำหรับระบบอัตโนมัติ การหลีกเลี่ยงการใช้แผนที่ HD ที่มีค่าใช้จ่ายสูงและเปราะบางทำให้แนวทางที่ขับเคลื่อนด้วย AI นี้สามารถปรับขนาดได้มากขึ้นและมีประสิทธิภาพยิ่งขึ้น

นอกจากนี้ บริษัทยังทำงานเพื่อปรับปรุงความสามารถในการขยายตัวของฮาร์ดแวร์สำหรับ AI รุ่นต่อไป โดยเฉพาะอย่างยิ่งสำหรับโมเดลที่ใหญ่ขึ้น แม้ว่าโครงสร้างทรานส์ฟอร์เมอร์จะครองตลาด AI แต่ Kohn ได้กล่าวว่าเครือข่ายประสาทเทียมแบบคอนโวลูชัน (CNNs) ยังคงมีความสำคัญสำหรับงานบางประเภท เนื่องจากมีความหน่วงต่ำ สถาปัตยกรรมแบบผสมผสานที่รวมโมเดลที่ทำงานได้รวดเร็วเข้ากับการประมวลผลขั้นสูงน่าจะเป็นอนาคตของ AI ในการใช้งานที่มีความต้องการสูงเหล่านี้

ความก้าวหน้าของ Ambarella ในด้าน LLMs หลายโหมด หุ่นยนต์ และการขับขี่อัตโนมัติทำให้บริษัทเป็นผู้นำในโซลูชัน AI สำหรับอุปกรณ์ปลายทาง พร้อมที่จะรับมือกับสถานการณ์จริงที่ซับซ้อนด้วยฮาร์ดแวร์และซอฟต์แวร์ที่ปรับขยายได้และมีประสิทธิภาพ