ทีมวิจัยของ Apple ได้พัฒนาระบบปัญญาประดิษฐ์ที่ชื่อว่า ReALM (Reference Resolution as Language Modeling) ซึ่งมีเป้าหมายสำคัญในการยกระดับความเข้าใจและตอบสนองของผู้ช่วยอัจฉริยะแบบก้าวกระโดด
จากรายงานวิจัย (ผ่าน VentureBeat) Apple ได้นำเสนอระบบใหม่ในการจัดการ “การแก้ปัญหาการอ้างอิง” ของโมเดลภาษาขนาดใหญ่. โดยความสามารถนี้จะช่วยให้ AI แยกแยะการอ้างอิงที่คลุมเครือของสิ่งที่ปรากฎบนหน้าจอ รวมถึงเข้าใจได้ทั้งบริบทของบทสนทนาและข้อมูลเบื้องหลัง ด้วยเหตุนี้ ReALM จะทำให้การโต้ตอบกับอุปกรณ์ต่างๆ เป็นไปอย่างลื่นไหลและเป็นธรรมชาติยิ่งขึ้น
การแก้ปัญหาการอ้างอิงถือเป็นสิ่งสำคัญในความเข้าใจภาษาแบบธรรมชาติ ซึ่งช่วยให้ผู้ใช้สามารถสื่อสารโดยใช้สรรพนามหรือคำอื่นๆ ที่เป็นการกล่าวถึงแบบอ้อมได้โดยไม่ทำให้เกิดความสับสน แต่สำหรับผู้ช่วยอัจฉริยะในอดีต ความสามารถนี้เป็นความท้าทายอย่างมาก เนื่องจากต้องตีความสัญญาณทางวาจาและข้อมูลภาพจำนวนมหาศาล
ระบบ ReALM ของ Apple พยายามตอบโจทย์นี้โดยเปลี่ยนกระบวนการอันซับซ้อนของการแก้ปัญหาการอ้างอิง ให้กลายเป็นการสร้างแบบจำลองภาษาอย่างเดียว ทำให้มันสามารถเข้าใจการอ้างอิงถึงองค์ประกอบภาพที่ปรากฏอยู่บนหน้าจอ รวมถึงนำความเข้าใจนั้นมาใช้ในบทสนทนาที่กำลังดำเนินอยู่
ReALM จะสร้างเค้าโครงภาพบนหน้าจอใหม่โดยใช้การแทนค่าแบบข้อความ. ซึ่งกระบวนการนี้ประกอบด้วยการแยกวิเคราะห์สิ่งต่างๆ ที่ปรากฎอยู่บนหน้าจอ รวมถึงตำแหน่งของพวกมัน เพื่อสร้างรูปแบบข้อความที่อธิบายถึงเนื้อหาและโครงสร้างของหน้าจอนั้นๆ. นักวิจัยของ Apple พบว่าวิธีการนี้ เมื่อใช้ร่วมกับการปรับแต่งโมเดลภาษาอย่างเฉพาะเจาะจงสำหรับงานแก้ปัญหาการอ้างอิง สามารถสร้างผลลัพธ์ที่ดีกว่าวิธีการเดิมอย่างมาก รวมถึงเหนือกว่าความสามารถของ GPT-4 จาก OpenAI ด้วย
ระบบ ReALM จะทำให้ผู้ใช้สามารถสั่งงานผู้ช่วยอัจฉริยะได้อย่างมีประสิทธิภาพยิ่งขึ้นโดยอ้างอิงถึงสิ่งที่กำลังปรากฏบนหน้าจอ โดยไม่จำเป็นต้องออกคำสั่งอย่างละเอียดเป็นขั้นเป็นตอน. สิ่งนี้มีศักยภาพทำให้ผู้ช่วยอัจฉริยะเหล่านี้มีประโยชน์เพิ่มขึ้นมากในหลากหลายสถานการณ์ เช่น การช่วยนักขับขี่ควบคุมระบบสาระบันเทิงในรถ หรือช่วยเหลือผู้ใช้ที่มีความพิการทางร่างกาย ให้มีวิธีการปฏิสัมพันธ์ทางอ้อมที่ง่ายขึ้นและแม่นยำมากขึ้น
Apple เดินหน้าตีพิมพ์รายงานการวิจัยด้าน AI อย่างต่อเนื่อง เมื่อเดือนที่ผ่านมา บริษัทยังได้เปิดเผยวิธีการใหม่ในการฝึกโมเดลภาษาขนาดใหญ่ที่สามารถผสานข้อมูลทั้งแบบข้อความและภาพอย่างลงตัว และคาดการณ์กันว่า Apple น่าจะจัดเต็มเปิดเผยฟีเจอร์ AI มากมายในการประชุม WWDC ช่วงเดือนมิถุนายนนี้
