AI được lập trình để làm điều gì đó có lợi, nhưng nó phát triển một phương pháp phá hoại để đạt được mục đích của nó: Điều này có thể xảy ra bất cứ khi nào chúng ta không hoàn toàn sắp xếp đúng các mục tiêu của AI với ta.
Nếu bạn yêu cầu một chiếc xe thông minh ngoan ngoãn đưa bạn đến sân bay càng nhanh càng tốt, nó có thể khiến bạn bị truy đuổi bởi máy bay trực thăng và bị ói mửa, không phải những gì bạn muốn mà là những gì bạn yêu cầu.
Nếu một hệ thống thông minh có nhiệm vụ với một dự án địa chấn đầy tham vọng, nó có thể tàn phá hệ sinh thái của chúng ta như là một phản ứng phụ và xem những nỗ lực của con người để ngăn chặn nó như là một mối đe dọa sẽ gặp phải.
Hầu hết các nhà nghiên cứu đều đồng ý rằng một AI thông minh không có khả năng biểu lộ cảm xúc của con người như tình yêu hay thù ghét, và không có lý do gì để mong muốn AI trở nên có chủ ý từ thiện hoặc ác độc.
Thay vào đó, khi xem xét làm thế nào AI có thể trở thành một nguy cơ, các chuyên gia nghĩ rằng kịch bản tồi tệ rất có thể xảy ra: AI được lập trình để làm điều gì đó tàn phá
Nói cách khác, vũ khí tự trị là hệ thống trí tuệ nhân tạo được lập trình để giết chóc. Trong tay của sai người, những vũ khí này có thể dễ dàng gây ra thương vong lớn. Hơn nữa, một cuộc chạy đua vũ trang bằng tay có thể vô tình dẫn đến một cuộc chiến tranh gây tổn thất lớn.
Để tránh bị đối phương cản trở, những vũ khí này sẽ được thiết kế để ngăn cản những khả năng đơn giản như "tắt", do đó con người có thể mất khả năng kiểm soát những tình huống như vậy. Nguy cơ này có thể xảy ra ngay cả ở những trường hợp hẹp, nhưng lại tăng lên khi trí thông minh gia tăng và sự tự chủ gia tăng.
Tất nhiên, mối quan tâm về AI tiên tiến không phải là xấu nhưng phải có thẩm quyền. Một AI siêu thông minh sẽ cực kỳ tốt trong việc hoàn thành các mục tiêu của nó và nếu những mục tiêu đó không phù hợp với chúng ta, chúng ta có một vấn đề.
Có thể bạn không phải là một kẻ ác có lòng dũng mãnh, những kẻ dẫm lên kiến xấu xa, nhưng nếu bạn chịu trách nhiệm cho một dự án năng lượng xanh và có một con mương trong khu vực bị ngập, quá tệ đối với kiến. Một mục tiêu chính của nghiên cứu an toàn là không bao giờ đặt nhân loại vào vị trí của những con kiến.
Có lẽ con người cần tự cải thiện bản thân hơn nữa để không sợ hãi khi đối mặt với tương lai của công nghệ AI. Và cũng nên nhấn mạnh tính đạo đức trong việc phát triển và sở hữu công nghệ AI của các tổ chức vì lợi ích chung của con người.
