"Эффект «зловещей долины» (англ. uncanny valley) — гипотеза, по которой робот или другой объект, выглядящий или действующий примерно как человек (но не точно так, как настоящий), вызывает неприязнь и отвращение у людей-наблюдателей" Википедия
В сериале "Элементарно" (3 сезон, 4 серия) рассматривается т.н. "проблема контрольной кнопки". Суть ее в следующем: Допустим, сеть компьютер с искусственным интеллектом, а на нем красная кнопка. На эту кнопку нажимают, когда компьютер правильно решает поставленные перед ним задачи, он запрограммирован так, чтобы хотеть этих нажатий. Поначалу задачи будут решаться по мере поступления и их решение будет единственным способом "получить удовольствие" от нажатия кнопки, но затем компьютер поймет, что решать задачи не обязательно, достаточно как-то стимулировать людей, чтобы они нажимали кнопку. Еще лучше создать машину, которая бы нажимал кнопку вместо человека - она будет делать это быстрее и будет целиком подчинена "воле" компьютера. Естественно, компьютер рано или поздно (скорее всего, рано) решит, что человек, а то и человечество в целом, представляет собой досадную помеху. Что может случиться дальше, все мы представляем:
