13 июня 1863 года опубликованное в газете The Press письмо предупреждало о потенциальных опасностях механической эволюции и призывало к уничтожению машин, предвосхищая развитие того, что мы сейчас называем искусственным интеллектом.
В письме «Дарвин среди машин» (Darwin Among the Machines) Батлер предупреждал о будущей механической расе, которая может поработить человечество.
Хотя беспокойство по поводу захвата власти искусственным интеллектом может показаться современной идеей, пришедшей из «Военных игр» или «Терминатора», оказывается, что аналогичное опасение по поводу господства машин возникло ещё во времена Гражданской войны в США, хотя и у английского овцевода, жившего в Новой Зеландии. Теоретически Авраам Линкольн мог читать о захвате власти искусственным интеллектом ещё при жизни.
13 июня 1863 года в газете The Press опубликованное в Крайстчерче письмо предупреждало о потенциальных опасностях механической эволюции и призывало к уничтожению машин, предвосхищая развитие того, что мы сейчас называем искусственным интеллектом, и негативную реакцию на него со стороны людей, которые опасаются, что он может привести к вымиранию человечества. В нём был представлен, возможно, первый опубликованный аргумент в пользу остановки технологического прогресса, чтобы не дать машинам доминировать над человечеством.
Письмо под названием «Дарвин среди машин» недавно снова появилось в социальных сетях благодаря Питеру Уайлдфорду из Института политики и стратегии в области искусственного интеллекта. Автор письма, Сэмюэл Батлер, отправил его под псевдонимом Селлариус, но позже публично заявил о своей позиции. В письме проводятся прямые параллели между теорией эволюции Чарльза Дарвина и быстрым развитием машин, предполагается, что машины могут развить сознание и в конечном итоге вытеснить людей как доминирующий вид на Земле.
«Мы сами создаём своих преемников, — писал он. — Мы ежедневно добавляем красоты и изящества их физическому строению; мы ежедневно даём им больше силы и снабжаем всевозможными хитроумными приспособлениями, которые будут для них тем же, чем интеллект был для человеческой расы. Со временем мы окажемся низшей расой».
В письме он также изобразил людей, которые подчиняются машинам, но сначала служат им в качестве смотрителей, которые поддерживают и помогают воспроизводить механическую жизнь. Батлер сравнивал эти отношения с отношениями между людьми и их домашними животными, которые позже меняются на противоположные и машины берут верх.
«Мы полагаем, что, когда наступит то состояние вещей, которое мы пытались описать выше, человек станет для машины тем же, чем лошадь и собака для человека… мы даём им то, что опыт учит нас делать для них наилучшим образом… точно так же разумно предположить, что машины будут относиться к нам доброжелательно, поскольку их существование зависит от нашего так же, как наше зависит от низших животных», — писал он.
В тексте предвосхищаются некоторые современные проблемы, связанные с безопасностью ИИ, в том числе возможность машинного сознания, самовоспроизведения и потери людьми контроля над своими технологическими творениями. Эти темы позже появились в таких произведениях, как «Неизбежный конфликт» Айзека Азимова, «Дюна» Фрэнка Герберта (возможно, Батлер послужил источником вдохновения для термина «батлерианский джихад») и фильмах «Матрица».

Модель части Аналитической машины Чарльза Бэббиджа, вычислительной машины, изобретённой в 1837 году, но так и не построенной при жизни Бэббиджа.
В письме Батлера подробно рассматривается таксономия эволюции машин, в нем обсуждаются механические «роды и подроды» и приводятся примеры, например, как часы произошли от «громоздких часов тринадцатого века» — предполагается, что, подобно некоторым ранним позвоночным, механические виды могли уменьшаться по мере усложнения. Он расширил эти идеи в своем романе 1872 года «Эревон«, в котором изображено общество, запретившее большинство механических изобретений. В его вымышленном обществе граждане уничтожили все машины, изобретенные за предыдущие 300 лет.
Опасения Батлера по поводу эволюции машин вызвали неоднозначную реакцию, согласно Батлеру в предисловии ко второму изданию Erewhon. Некоторые рецензенты, по его словам, истолковали его работу как попытку высмеять эволюционную теорию Дарвина, хотя Батлер отрицал это. В письме Дарвину в 1865 году Батлер выразил свою глубокую признательность за «Происхождение видов», написав, что книга «полностью очаровала» его и объяснил, что он защищал теорию Дарвина от критиков в новозеландской прессе.
Что делает видение Батлера особенно примечательным, так это то, что он писал в совершенно ином технологическом контексте, когда вычислительных устройств практически не существовало. В то время как Чарльз Бэббидж в 1837 году предложил свой теоретический аналитический двигатель — механический компьютер с шестерёнками и рычагами, который так и не был построен при его жизни, — самые продвинутые вычислительные устройства 1863 года были не более чем механическими калькуляторами и логарифмическими линейками.
Батлер экстраполировал свои идеи на основе простых машин времён промышленной революции, когда механическая автоматизация преобразовывала производство, но ничего похожего на современные компьютеры ещё не существовало. Первый работающий компьютер с программным управлением появится только через 70 лет, что делает его прогнозы о машинном интеллекте поразительно точными.
Некоторые вещи никогда не меняются
Дискуссия, которую начал Батлер, продолжается и сегодня. Два года назад мир столкнулся с тем, что можно было бы назвать «страхом перед захватом власти искусственным интеллектом в 2023 году». GPT-4 от OpenAI только что был выпущен, и исследователи оценили его «стремление к власти», что вызвало опасения по поводу потенциального самовоспроизведения и автономного принятия решений.
Выпуск GPT-4 вдохновил на написание нескольких открытых писем, подписанных исследователями ИИ и руководителями технологических компаний, в которых они предупреждают о потенциальных рисках вымирания, связанных с продвинутым искусственным интеллектом. В одном из писем, напоминающем о страхах, связанных с ядерным оружием или пандемиями, призывалось к глобальной приостановке разработки ИИ. Примерно в то же время генеральный директор OpenAI Сэм Альтман выступил с заявлением об опасностях ИИ перед Сенатом США.
Год спустя калифорнийский законодатель Скотт Винер предложил законопроект о регулировании ИИ, который поддержали видные деятели, которых критики назвали «пророками ИИ» — те, кто опасался неконтролируемого развития машинного интеллекта. Противники законопроекта утверждали, что такие меры чрезмерны и могут подавить инновации, как это сделало вымышленное общество Батлера. Однако его призыв 19-го века приостановить развитие механики поразительно похож на недавние открытые письма и политические предложения по безопасности ИИ.
Возможно, когда-нибудь страх перед захватом мира искусственным интеллектом станет ещё одной главой в долгой борьбе человечества за то, чтобы совместить прогресс с надлежащим контролем со стороны человека, — борьбе, которую Батлер предвидел более 160 лет назад. Но в каком-то смысле, даже если машины никогда не станут по-настоящему разумными, он всё равно был поразительно точен в описании нашей зависимости от того, как они алгоритмически регулируют нашу жизнь.
«Однако день за днём машины наступают на нас; день за днём мы становимся всё более зависимыми от них, — писал Батлер в 1863 году. — В конечном счёте это просто вопрос времени, но то, что наступит время, когда машины будут обладать настоящим превосходством над миром и его обитателями, — это то, в чём ни один человек с по-настоящему философским складом ума не усомнится ни на мгновение».
Батлер не закончил своё письмо пассивным принятием этой участи. Как и предложение Элиезера Юдковски 2023 года о бомбардировке центров обработки данных, чтобы предотвратить захват власти ИИ, письмо Батлера заканчивалось драматичным призывом к оружию:
«Против них немедленно должна быть объявлена война не на жизнь, а на смерть. Каждая машина любого рода должна быть уничтожена теми, кто желает добра своему виду. Не будем делать исключений, не будем проявлять снисходительность; давайте немедленно вернёмся к первобытному состоянию человечества».
Даже тогда он опасался, что может быть уже слишком поздно, написав, что если такое разрушение окажется невозможным из-за нашей растущей зависимости от них:
«Это сразу доказывает, что зло уже свершилось, что наше рабство началось всерьез, что мы вырастили расу существ, которых мы не в силах уничтожить».