ผู้ใช้งาน Amazon Echo รายหนึ่งถึงกับผวา เนื่องจากอุปกรณ์ดังกล่าวบอกให้เขา “ฆ่าพ่อแม่บุญธรรมของเขาซะ”
หลังจากที่ผู้ใช้งานได้ฟังข้อความชวนขนลุกนั้น เขาเขียนรีวิวสินค้าลงในเว็บไซต์ของ Amazon ว่า “นี่มันอีกระดับของความหลอน” ตามรายงานของสำนักข่าว Reuters
บริษัทได้ทำการสืบสวนกรณีดังกล่าวและพบว่า Alexa นำข้อความดังกล่าวมาจากเว็บไซต์ Reddit แหล่งตั้งกระทู้ยอดนิยมของชาวสหรัฐฯ ซึ่งเต็มไปด้วยข้อความหยาบคายและประโยคสองแง่สองง่าม
ความน่ากลัวดังกล่าวเกิดขึ้นโดยความไม่ตั้งใจของ Amazon เพราะบริษัทต้องการผลิตภัณฑ์โต้ตอบกับผู้ใชงานได้ดั่งมนุษย์จริง ระบบ Machine Learning ของ Alexa จึงเรียนรู้ข้อความบนอินเตอร์เน็ตและนำมาใช้กับผู้ใช้งาน
ตามหลักการแล้ว Alexa เรียนรู้ประโยคและข้อความจากการสืบค้นข้อมูลตามที่ผู้ใช้งานถามคำถาม ถ้าผู้ใช้งานต้องการให้ Alexa ประพฤติตัวดีและมีความสุภาพ ผู้ใช้งานต้องมั่นใจว่าพวกเขาไม่ได้ถามคำถามหรือสั่งให้ Alexa ไปยุ่งเกี่ยวกับเว็บไซต์ที่บรรจุข้อความไม่พึงประสงค์ ซึ่งการทำเช่นนั้นเป็นไปได้ยากในทางปฏิบัติ
เมื่อไม่นานมานี้ Amazon ได้เขียนบทพูดให้ Alexa ตอบคำถามเชิงปรัชญายาก ๆ อย่าง “ชีวิตคืออะไร” แต่บริษัทพยายามพัฒนาให้ Alexa ตอบคำถามที่ซับซ้อนและเชิงลึกมากกว่านี้ ถึงแม้ว่าการพัฒนาจะทำได้ยากก็ตาม
Amazon เคยจัดงานแข่งขันชิงเงินรางวัลกว่า 500,000 ดอลลาร์สหรัฐฯ เพื่อให้นักศึกษาวิทยาการคอมพิวเตอร์พัฒนาระบบ Chatbot ที่ดีที่สุดให้กับ Alexa โดยส่วนใหญ่ นักศึกษาพัฒนาให้ Alexa เรียนรู้ข้อความผ่านบทความออนไลน์ หรือข่าวจากสำนักข่าวต่าง ๆ รวมถึง Wikipedia หรือแม้กระทั่งโพสต์ในต่าง ๆ บน Social Media เพื่อรองรับคำถามที่หลากหลายจากผู้ใช้งาน
แต่เหตุการณ์แปลก ๆ ก็เกิดขึ้น ทีมนักพัฒนาจากประเทศสก็อตแลนด์เผยว่า Alexa อ้างอิงข้อความจาก Wikipedia เกี่ยวกับการสำเร็จความใคร่ด้วยตัวเอง รวมถึงแสดงรูปภาพการมีเพศสัมพันธ์ เนื่องจากพวกเขาทดสอบ Alexa ด้วยคำว่า “ลึกกว่า” หรือ “deeper”
ผู้ใช้งานที่คุ้นเคยกับการใช้งาน Alexa กล่าวว่ามันเป็นเรื่องที่ยากมากที่จะควบคุมระบบ Machine Learning ของ Alexa ให้ไม่เรียนรู้อะไรที่มันเลยเถิดกว่าความต้องการของคุณ