Microsoft ได้เปิดตัวเครื่องมือจำแนกภาพที่พยายามอธิบายเนื้อหาของรูปภาพ เครื่องมือปัญญาประดิษฐ์นี้ยังอยู่ในขั้นตอนการพัฒนาและเรียนรู้จากรูปภาพที่อัพโหลดโดยผู้ใช้อย่างต่อเนื่อง

เท่าที่มีความเกี่ยวข้องกับความถูกต้องบางครั้งคำอธิบายนั้นค่อนข้างแม่นยำในขณะที่บางครั้ง CaptionBot เสนอคำอธิบายที่ไม่มีส่วนเกี่ยวข้องกับสิ่งที่ปรากฎ นอกจากนี้ยังมีบางกรณีที่แอปไม่สามารถให้คำอธิบายเลยเนื่องจากสถานะคร่าว ๆ

Microsoft ออกแบบ CaptionBot เพื่อเรียนรู้ด้วยประสบการณ์มากขึ้นด้วยความคาดหวังว่าคำอธิบายภาพจะแม่นยำยิ่งขึ้นเมื่อเวลาผ่านไป ยิ่งผู้ใช้อัพโหลดรูปภาพมากเท่าไหร่แอพพลิเคชั่นก็จะยิ่งดีขึ้นตามที่ CaptionBot อธิบาย

ฉันสามารถเข้าใจเนื้อหาของภาพใด ๆ และฉันจะพยายามอธิบายเช่นเดียวกับมนุษย์คนใด ฉันยังคงเรียนรู้ดังนั้นฉันจะเก็บรูปภาพของคุณไว้ แต่ไม่มีข้อมูลส่วนบุคคล

CaptionBot ใช้เทคโนโลยีสามอย่างในการอธิบายสิ่งที่ปรากฎในภาพ: Microsoft Computer Vision, Emotion และ Bing Image Computer Vision API ดึงข้อมูลที่หลากหลายจากภาพเพื่อจัดหมวดหมู่และประมวลผลข้อมูลภาพพร้อมกับการระบุและแยกข้อความออกจากภาพ Emotion API ดังที่ชื่อแนะนำวิเคราะห์ใบหน้าเพื่อตรวจจับความรู้สึกทุกอย่างตั้งแต่ความโกรธการดูถูกเหยียดหยามรังเกียจความกลัวความสุขความเป็นกลางความเศร้าและความประหลาดใจ Bing Image ค้นหารูปภาพจากเว็บ

เราทดสอบ CaptionBot และผลลัพธ์นั้นแม่นยำใน 50% ของกรณี ตัวอย่างเช่นเราอัปโหลดรูปภาพสองรูป: รูปหนึ่งวาดรูปเมาส์สำหรับเล่นเกมและอีกหนึ่งกองการ์ด ในทั้งสองกรณีเครื่องมือแนะนำว่าเป็นโทรศัพท์มือถือ ในทางกลับกัน CaptionBot ตรวจจับมนุษย์และใบหน้าได้อย่างแม่นยำ

เห็นได้ชัดว่า CaptionBot มีความหลงใหลในโทรศัพท์มือถือ ผู้ใช้ Twitter หนึ่งคนรายงานว่าแอปคิดว่ามิเชลโอบามาเป็นโทรศัพท์มือถือ สำหรับคำบรรยายภาพเพิ่มเติมเกี่ยวกับ CaptionBot ลองดูที่หน้า Twitter นี้

คุณสามารถทดสอบ CaptionBot ได้ที่นี่ ลองทำดูสิ: คุณจะช่วยปรับปรุงเครื่องมือให้ดีขึ้นหรือคุณอาจจะหัวเราะได้!