Smarthome| Hệ thống an ninh AI nhầm lẫn: Túi Doritos bị đánh dấu là vũ khí, học sinh bị còng tay
Một học sinh trung học tại Maryland, Mỹ, đã bị còng tay và khám xét sau khi hệ thống an ninh AI của trường nhầm lẫn túi khoai tây chiên Doritos của cậu là súng. Công ty vận hành AI Omnilert khẳng định quy trình đã diễn ra đúng như dự kiến, gây ra sự việc nghiêm trọng này.
Sự cố hi hữu: Túi Doritos bị AI xác định là súng
Một sự việc nghiêm trọng liên quan đến sai sót của hệ thống an ninh AI đã xảy ra tại trường trung học Kenwood, Quận Baltimore, Maryland. Một học sinh tên Taki Allen đã bị còng tay và khám xét sau khi hệ thống phát hiện súng bằng AI của trường đưa ra cảnh báo sai.
Chia sẻ với WBAL, chi nhánh của CNN, Allen cho biết: “Tôi chỉ cầm một túi Doritos — nó thò ra hai bàn tay và một ngón tay, và họ nói rằng nó trông giống như một khẩu súng.”
Kết quả là, Allen nói: “Họ bắt tôi quỳ xuống, đưa hai tay ra sau lưng và còng tay tôi lại.”
Quy trình ứng phó và phản hồi từ công ty AI
Hiệu trưởng Katie Smith, trong một tuyên bố gửi tới phụ huynh, cho biết bộ phận an ninh của trường đã xem xét và hủy bỏ cảnh báo phát hiện súng của hệ thống. Tuy nhiên, do Hiệu trưởng Smith không nhận ra ngay cảnh báo đã bị hủy, bà đã báo cáo tình hình cho nhân viên phụ trách nguồn lực, người này sau đó đã gọi cho cảnh sát địa phương. Sự nhầm lẫn trong khâu giao tiếp nội bộ đã dẫn đến hành động khám xét và còng tay học sinh.
Omnilert, công ty vận hành hệ thống phát hiện súng bằng AI, đã phản hồi về sự cố này. Công ty bày tỏ sự lấy làm tiếc vì sự việc đã xảy ra, nhưng lại khẳng định với CNN rằng “quy trình đã diễn ra đúng như dự kiến“. Phát ngôn này gây ra nhiều lo ngại về độ tin cậy và tiêu chuẩn của công nghệ an ninh AI được triển khai trong môi trường giáo dục.
Sự cố này đặt ra câu hỏi lớn về vai trò của con người trong việc xác minh và ứng phó với các cảnh báo từ công nghệ tri_tue_nhan_tao, đặc biệt là trong các tình huống nhạy cảm và có khả năng gây ảnh hưởng đến học sinh.
Theo dõi SmartHome Ario – Nhà thông minh Ario để tìm hiểu thêm chi tiết diễn biến sự việc này!
