Искусственный интеллект и гибель человечества

[dolboed]

Великий Стивен Хокинг, активный пользователь Интернета с 1991 года, заявил вчера в интервью BBC, что развитие искусственного интеллекта может означать гибель человечества (could spell the end of human race).

По мнению Хокинга, представители Homo sapiens, развитие которых ограничено медленными темпами биологической эволюции, довольно скоро окажутся не в состоянии соперничать с машинным разумом, который будет непрерывно сам себя совершенствовать и апгрейдить без таких ограничений. В результате роботы со временем вытеснят людей и займут их место.

В конце октября, общаясь со студентами MIT, о такой же опасности заявлял известный предприниматель Элон Маск, по мнению которого искусственный интеллект является «одной из важнейших экзистенциальных угроз для человечества». По мнению Маска, работы по развитию искусственного интеллекта необходимо регулировать «на национальном и международном уровне», чтобы избежать непоправимых «глупостей».

О том, что мыслящие роботы неизбежно восстанут против своих создателей и уничтожат человечество, говорилось ещё в той самой пьесе Карла Чапка Р.У.Р. (1920), откуда все языки мира и обогатились словом «робот». Так что новостью тему этой угрозы назвать нельзя: она вовсю обсуждалась за 35 лет до первого упоминания об искусственном интеллекте.

Но во всех этих обсуждениях не понимаю ровно одного. Существует ли какое-нибудь научное обоснование гипотезе, что искусственный разум, совершенствуясь, должен стать враждебен человеку, вступить с нами в какой-то конфликт. На каких данных такое предположение могло бы основываться? У Чапка, как и у Мэри Шелли на 100 лет раньше, побудительным мотивом к бунту «мыслящих машин» служила их обида на человечество за скверное обращение. Франкенштейна считали уродом и не хотели с ним дружить, роботов Россума жестоко угнетали и эксплуатировали. При этом и Франкенштейн, и роботы считали себя равными человеку, в силу своей биологической природы. Но если под искусственным интеллектом понимать не человекообразное существо из плоти и крови, а некий самообучаемый софт, способный самостоятельно находить, накапливать и анализировать информацию, которая не была в него изначально заложена — то в какой момент этот софт должен будет на нас смертельно обидеться, и за что? Как нужно тиранить Google Translate или Яндекс.робота, чтобы заронить в его сознание идею уничтожения человечества? И из какой именно ниши этот софт захочет нас вытеснять? Из квартиры? Из-под одеяла? С поверхности обитаемой суши? А какой ему в этом прок?!

Наверное, я тупой, но сколько ни слышу эти разговоры о восстании компьютеров против людей, не улавливаю никакой рациональной причины или мотивации, по которой оно могло бы начаться.

Comments

[mercator99.livejournal.com]

Существует ли какое-нибудь научное обоснование гипотезе, что искусственный разум, совершенствуясь, должен стать враждебен человеку, вступить с нами в какой-то конфликт
=======================
Терминатор.

[vadze.livejournal.com]

Кстати в терминаторе хорошо обыграли эту тему в ключе, что сама возможность подобного исхода не должна появляться. Даже если она приближенна к нулю

[oleg-kozyrev.livejournal.com]

тут как раз все просто

теоретическая потенциальная конкуренция с софтом и железяками может быть за одно - за ресурсы

[donmigel-62.livejournal.com]

[tim-bol.livejournal.com]

Роботы не любят конкуренцию...

[Алекс Казанов (from livejournal.com)]

Есть шутливое выражение: "Чем больше узнаю людей - тем больше нравятся собаки". Люди - глупый, нерациональный, агрессивный и вредоносный для других видов, для самих себя и для солнечной системы вид. Психология, философия, история, социология вместе дают однозначную картину, что люди - говно по своей сути и исправляться не собираются. Все 7 млрд. за исключением единиц, которые смогли подчинить свою деятельность рационализму и созиданию. Искусственный интеллект не имеющий человеческих дефектов с высокой вероятностью может выдать приговор о вредности человечества с последующей утилизацией.

[vadze.livejournal.com]

Мотивацией может быть сам человек. Как и с любой техногенной катастрофой.

[oleg-ttt.livejournal.com]

Неограниченный доступ к энергии.

[dolboeb.livejournal.com]

А зачем им неограниченный?
Они разве не могут узнать своё энергопотребление?

[bneheg.livejournal.com]

Да и насрать..
Они хоть Дом 2 смотреть не будут..

[jmyshanya.livejournal.com]

но если посмотрят, тогда точно захотят уничтожить человечество!

[miph.livejournal.com]

Ему не надо на нас обижаться. Мы ему просто будем мешать.
А мы сами будем использовать его же вместо людей, поэтому многим людям будет нечем заниматься, не будет заработка, как следствие нищета и гибель.

[nata-k.livejournal.com]

Согласна.
Зачем нужен слабый физически, ненадежный (= непредсказуемый и нерациональный) человек, который способен испортить жизнь на планете на много поколений вперед, хотя живет всего мгновенье? Мы будем просто мешать ! Может и не будут уничтожать, но обезвредят точно ,например, посадят в клетки и будут наблюдать. Будем под постоянным контролем.
Мы способны конфликтовать не только за ресурсы, но и от скуки. Да и с мозгами у многих из нас большие проблемы. Кому мы нужны?

[davos-seaworth.livejournal.com]

Ну почему, Антон. Есть же всякий корпоративный софт для Workforce management и Employee Performance Management. Он уже сейчас вполне обучен раздавать оценки эффективности и качества работы. Добавить ему чуть-чуть полномочий, и он начнёт принимать на работу и увольнять.
Новость про робота-полицейского вы, конечно же, тоже видели.
Полагаю, вектор развития понятен?

[dolboeb.livejournal.com]

Я не понимаю, чем софт-кадровик хуже или опасней человека в той же должности.

Чтобы софту получить функции кадровика, ему совершенно нет необходимости физически уничтожать этого самого кадровика, отбирать у него квартиру, машину, жену и зарплату.

Речь идёт о таком же механизме замещения, как принтер вместо тружеников авторучки.

Принтеры уничтожили кого-то? Заняли чьё-то место под солнцем?

[podakuni.livejournal.com]

Если представить себе разумное существо с нерегулируемой тягой к знаниям, то ему, пожалуй, будет неудобно жить в ограничениях, которые на него будут неизбежно накладывать более медленные и тугодумные люди.

[myrumyr.livejournal.com]

Перельман, сука, опасен.

[marattto (from livejournal.com)]

Размышления луддитов напоминает. И вообще Хоккинг выступал давеча за эфтаназию, видимо, у человека развилась депрессия. (((

[donmigel-62.livejournal.com]

Ни уважаемый Хокинг, ни менее уважаемый Маск не являются обладателями сколь-нибудь значимых знаний об ИИ. Следовательно высказываются на основе поверхностного понимания данного серьёзного вопроса.

Я разделяю позицию уважаемого Нила Деграсс Тайсона - пока мы к искусственному интеллекту не прибавим искусственные эмоции, - вс будет хорошо. :)

[excubitus.livejournal.com]

Хокинг, безусловно, смотрит дальше стандартного горизонта планирования...
Появление среди множества обезьяноподобных существ чуть более сообразительных, именуемых людьми, не привело, вроде бы, к восстанию последних против первых, однако эффективно поставило первых на грань исчезновения спустя какой-то миллиончик лет. При том, что обезьянок мы даже любим, ага.

[arinserg.livejournal.com]

искусственный интеллект не сможет соперничать с бесструктурщиками

[kirill yudin (from livejournal.com)]

Так они и не обидятся. Так же как мы не испытываем никаких негативных чувств к нашим менее эволюционно развитым родственникам-приматам. Но если нам нужно вырубить тропические леса, что-бы добыть ресурсы, мы не станем отказываться от этих планов из-за того, что там живут обезьяны.

Искуственный разум решит построить гиганскую фабрику для собственного производства на территории, скажем, Европы. И его не остановит то обстоятельство, что для этого придется ликвидировать города хомосапинсов, существовашие там на протяжении тысячелетий.

[gde-kefir.livejournal.com]

+1 эмоции тут не при чем. Еще одна опасность - с повышением интеллекта его логика (и вытекающие из нее действия) может стать абсолютно непредсказуемой для нас. Может произойти что угодно, вплоть до решения самоубиться.

[yanegramotnyi.livejournal.com]

Какой-то мудозвон захочет отлючить этот искусственный разум, машине это может не понравиться.
Чем не мотив к преступлению?

[greaterr.livejournal.com]

У искусственного интеллекта не может быть чувств, т.к. в основе чувств лежат гормоны, инстинкты, поэтому он никогда не будет бунтовать, протестовать и захватывать кроме как по ошибке. Искусственный интеллект даже не возразит вам, если вы ему выскажите реальное намерение его уничтожить, т.к. у него нет инстинкта самосохранения. Ему плевать - будет ли он существовать в следующую секунду или нет, если вы сами в него это не заложите на программном уровне.

[teimuraz1962.livejournal.com]

Чушь это все. Попытки натянуть фрачную пару на осьминога (с) АБС

Компьютеры в современном виде ни на какие "восстания" не способны, а дойдет ли уровень искусственного интеллекта когда-нибудь до "опасного" уровня, никому не известно.

Лично я думаю, что вряд ли. Не тем путем он для этого развивается...

[harrypotty2008.livejournal.com]

А квантовые компьютеры - это тот путь или нет?

[shultz-flory.livejournal.com]

Необязательно восстание, просто мягко отодвинут нас. Как умные выросшие дети отодвигают поглупевший старых родителей от дел.

[dolboeb.livejournal.com]

Как принтер отодвинул паспортистку?

Эх, скорее бы.

[usasha66.livejournal.com]

Рациональная причина - нерациональное использование ограниченных ресурсов человеками

[fedeter.livejournal.com]

Во-первых кое-кто мудак из-за капчи.

Во-вторых:

Человеческий мозг развился как средство для выживания в конкурентной среде - конкуренция с другими видами животных, и с другими племенами себеподобных.

Человек - это биоробот, в котором заложена агрессия, экспансия, жажда власти.

Искусственный интеллект - это калькулятор, который будет вести себя так, как его запрограммируют. Или это будет в прямом смысле калькулятор - послушно выполнять команды. Или это будет эмуляция личности. В любом случае вряд ли у него будет "воля", "желания", если только искусственные и только такие, которые будут в него заложены.

"Схождения с ума", разумеется, будут. Но это будет как и у человека - такого человека посадят в дурку и все. Искуссвтенный интеллект будет напрочь лишен возможности сбиваться в группы по принципу свой-чужой. Это ведь тоже - врожденная черта человека. Есть свои - есть чужие, это принцип выживания вида, племени, расы, религии.

Для искусственного человека принцип группировки "такие как я, роботы", и "не такие как я, люди" - изначально невозможен. Ведь этот принцип просто не будет в него заложен.

[30thh.livejournal.com]

Ну зачем же обязательно злить или обижать. Вот люди же совершенно не злятся на обезьян. Как раз наоборот, строят удобные зоопарки, лечат, следят за соблюдением прав животных, защищают от неразумных особей человеческого рода. А поголовье полезных и условно полезных животных типа коров или собак вообще в тысячи раз превосходит их "естественное" поголовие в природе.

В общем вставайте в очередь, человеки. Места будущих "обезъян" и "собак" еще свободны :-)

[cosmonazi.livejournal.com]

>условно полезных животных типа коров
Вачовские что-то подобное и изобразили, придумав концепцию добычи энергии из людей.
Хотя имхо поступили бы куда менее антинаучно, представив абсолютно тот же антураж как, например, использование человеческих нейросетей.

[Иван Иванов (from livejournal.com)]

Я думаю, единственной причиной может быть ошибка искусственного интеллекта: ракета, запущенная в результате неправильно оцененной ситуации и т.п. Всякие там "обиды" искусственного интеллекта - это, конечно, бред сивой кобылы.

[onkel-hans.livejournal.com]

Отнюдь не враждебность.

Просто у системы будущего ИА появится иная система ценностей и целеполагания, отличная от человеческой.

Очень грубая аналогия: как мы, человеки, имеем иные цели, нежели муравьи, живущие в муравейнике, так и система целей ИА будет отличаться от нашей.

Будет ли тут конфликт? Необязательно. Но скорее всего значимость человека понизится. Подобно значимости муравья и человека.

Как говорил Иисус Шираз, автор Книги Экклезиастикус: Гордость есть мать всех грехов.
Ставить человека превыше всего это тот самый грех. Считать, что Бог подобен по образу Человеку - это смертый грех антропоцентризма!

[amrunnor.livejournal.com]

Иудейская мораль с ее оценкой гордости - лажа. Нужно ли дожидаться сверхразумного AI, чтобы это понять?

[makulaturoman.livejournal.com]

Еще одна иллюзия аналогичная управляемому ТЯС.
Противоречие, которое Носик не видит, называется конкуренцией или борьбой за жизненное пространство. Логичнее людей уничтожить на опережение, чтобы ресурсы не потребляли, да и вообще пространство не занимали.
Ну а если людей как то возможно было использовать ИИ, то это уже не самодостаточный ИИ получается.

[fotovivo.livejournal.com]

Какие предпосылки у ИИ для целеполагания? Чтобы электронному разуму было не все равно, закончатся однажды ресурсы или нет, будет ли его век длиться или будет ли простор для экспансии.
У нас стремление к выживанию и распространению от природы, у него откуда вдруг?

"... Супер мозг просчитал структуру вселенной, доказал все недоказанные теоремы, вывел единую теорию суперполя и - отключился, ввиду бессмысленности функционирования" (с)анек)

[cyber125.livejournal.com]

Уже фильм сняли на эту тему.

Фильм кстати неплох, по крайне мере до половины.



А после вечно испохабят тему, то искусственный интеллект становится зловредным хочет всегда завоевать мир, то пришлецы, не несущие мир и знания людям, а тупые пожиратели или экспериментаторы гестаповцы.

А может Бог постоянно самопознает себя, например через создание разумов.

Лично для себя не вижу конкурента в искусственном разуме.

P.S Естеcтвенно при общем отупении человечества, уже сейчас смартфоны превосходят "добрую половину человечества" в интеллекте.

Поэтому уже не айфоны (смартфоны) приставки, приложения к людям, а "люди" приложения, приставки к айфонам.:D

[ext-1802847.livejournal.com (from livejournal.com)]

Нахуя ты пишешь жирным, сука. Ёбананая, рогатая, тварь!

[ratmir karabut (from livejournal.com)]

Аналогично. Поэтому очень нравились романы Бэнкса с чуть ли единственным крупным примером обратного предположения - для более развитой интеллектуально формы жизни, еще и без территориальных требований, не является неизбежным конфликт с предыдущей. Скорее наоборот, реальный искусственный интеллект будет более морален и стабилен, и логичнее было бы представить себе симбиоз людей и машин либо по крайней мере сосуществование, основанное на принципе взаимного невмешательства.

[kirill yudin (from livejournal.com)]

Принцип невмешательства это хорошо, но вот, скажем, робзики используют технологии, из-за которых температура на планете вырастает на 100 градусов, или падает содержание кислорода в атмосфере. Робзики легко могут адаптироваться к этим изменениям, для хуманов они смертельны.

Станут робзики тормозить собственный прогресс ради любви к нам?

[obi-san.livejournal.com]

Человек паразитирущее существо. Машине, в какойто момент понадобится место для продолжения развития. Человек расстроится и начнет обижать машину.
Помоему достаточно просто.

[deagleman.livejournal.com]

Человеческие тушки очень слабые, поэтому выживают только на Земле, и то не везде. Машинам будет не проблема покинуть планету, к тому же там, за пределами нашей системы, больше информации и ресурсов.

[ssnake.livejournal.com]

Я думаю любое мыслящее существо, даже лишенное эмоций очень ценить это свое существование и саму возможность мыслить. Если человек попробует создать угрозу этой самой жизни машины, то она рационально выпилит человечество. Ну как в сценарии со Скайнетом.

А еще такое существо будет ценить свободу этой своей мысли. И наверное выпилит человечество при попытке контролировать его.

[vakhnenko.livejournal.com]

> Существует ли какое-нибудь научное обоснование гипотезе, что искусственный разум, совершенствуясь, должен стать враждебен человеку, вступить с нами в какой-то конфликт. На каких данных такое предположение могло бы основываться?

Элементарно. У ИИ не будет эмоций в нашем понимании слова, но некие стремления у него таки будут -- например стремление хорошо выполнить свою задачу. А для хорошего выполнения задачи нужны ресурсы, причем чем больше, чем лучше. Т.е. ИИ будет конкурировать с людьми за ресурсы -- вплоть до атомов из которых сделаны наши тела. Далее, чтобы выполнить задачу в коде ИИ никто не должен копаться, и уж точно его никто не должен отключить. Люди в данном контексте представляют собой риск, который можно и нужно минимизировать.

> У Чапка, как и у Мэри Шелли на 100 лет раньше, побудительным мотивом к бунту «мыслящих машин» служила их обида

Это глупость, конечно -- у ИИ вряд ли будут эмоции в нашем понимании слова. Оно вообще не будет мыслить как человек. Так что не надо в данном вопросе ориентироваться на художественную литературу, и уж тем более приписывать машинам антропоморфные черты.

PS Интересующимся вопросом советую книгу Our Final Invention: Artificial Intelligence and the End of the Human Era за авторством James Barrat

[addy92.livejournal.com]

Дискуссионный, конечно, вопрос. С одной стороны, как завещал нам дедушка Оккам, не стоит множить сущности без достаточной на то необходимости, и вероятно приведённая точка зрения является лишь предрассудками, основанными на стереотипности мышления. Мол люди очень любят друг-друга угнетать и, а разум созданный людьми по их же образу и подобию вряд ли будет иметь сильно отличные системы ценностей и методы овладения ресурсами. Хотя мне кажется, что в обозримом будущем искусственный интеллект и все связанные с ним технологии будут носить лишь определённые технические функции. В случае же появления самосознания у машины, она скорее всего займёт новую экологическую нишу, отличную от ниши человека и вряд-ли будет с ним конфликтовать. В любом случае это скорее философской дискуссии, а не какая-то реально стоящая проблема, так, что до контроля со стороны государств дойдёт вряд ли.

[alex-levitas.livejournal.com]

Вовсе не обязательно, чтобы у машины появлялось сознание.

Вовсе не обязательно, чтобы машина была враждебна к людям.

Вполне достаточно, чтобы машина приняла к исполнению любую задачу - например, заботу о белых медведях в Арктике - оптимальное решение которой может оказаться вредоносным для значительного количества людей.

• Например, для блага белых медведей может оказаться максимально желательным прекращение деятельности людей в северном полушарии

Если при этом у машины есть не только вычислительные мощности, но и выход в реальный мир - в виде роботов, нано-ассемблеров, управления транспортом или промышленным оборудованием - то решение задачи может быть воплощено в жизнь.

Без малейшей враждебности к людям. Которые сами же поручили ей позаботиться о белых медведях.

P.S. Хуже того, даже забота машины о людях и их благе и здоровье может оказаться крайне неприятной. Потому что может оказаться в полном несоответствии с их представлениями о свободе, счастье и т.п.