[Нил Эфферсон]

Няшнопост прям с эсхатологической серьезностью плюс отличная матчасть для вдохновения.

ИИ как синтез 2го Пришествия и Апокалипсиса.

Выбор между ИИ-Добром и ИИ-Злом не однозначен для человечества. В будущем о нашем времени будут говорить, как о времени «Пришествия ИИ»:
✔️ поворотном моменте, определившем все последующие важнейшие события в истории человечества 21 века;
✔️ воплотившем в себе одновременно и 2е Пришествие и Апокалипсис, и переведшим стрелку дальнейшего пути человечества то ли на путь к немыслимым ранее высотам ИИ-Добра, то ли в эсхатологическую бездну ИИ-Зла.

60+ лет назад математик и философ Норберт Винер опубликовал книгу о месте машин в обществе, которая заканчивалась предупреждением: "Мы никогда не получим правильные ответы, если не будем ставить правильные вопросы....
В конце 2го десятилетия 21 века пришёл час поставить главный вопрос современности, поскольку выбор между дальнейшим движением в сторону ИИ-Добра или ИИ-Зла нужно делать сейчас, и этот выбор уже нельзя отложить.

Но разве выбор между ИИ-Добром и ИИ-Злом не однозначен для человечества?

Известный энтузиаст просвещения и основатель Edge Джон Брокман убедительно показывает нам:
✔️ выбор не просто неоднозначен, а в принципе неопределен;
✔️ траектория дальнейшего движения – это не выбор из 2х альтернатив;
✔️ это выбор в, как минимум, 25-мерном пространстве возможных вариантов, в чем-то похожих, а в чем-то принципиально разных.

Каждый из этих 25 вариантов – это видение одного из важных научных умов, посвятивших десятки лет изучению всевозможных аспектов ИИ: от математики до философии. Они собрались вместе на импровизированный круглый стол не затем, чтобы найти единый правильный ответ, - такого ответа просто нет. А затем, чтобы, как писал Винер, поставить правильные вопросы.

Вопросы о том:
✔️ почему в распространении кибернетической идеи на людей концепции Винера не достигли своей цели?
✔️ пора ли вводить законы против незаконно обучаемых машин?
✔️ как человечеству ограничиться разработкой интеллектуальных инструментов, не ввергаясь в экзистенциальные риски разработки искусственных сознательных агентов?
✔️ как ограничивать сверхускорение прогресса за счет широкого внедрения ИИ, чтобы этот безудержный процесс не достиг столь космических масштабов, что человечество просто не вынесет биологически?
✔️ может ли развитие ИИ, подобно развитию человеческого разума, застрять в локальном минимуме?

И еще один, возможно, наиболее общий из вопросов, не формулируемый одним предложением.
✔️ вот уже десятки веков человечество экспериментирует с гибридным суперинтеллектом в форме национальных государств и корпораций;
✔️ этот опыт показывает, что все формы таких гибридных суперинтеллектов обладают свойством генерации собственных целей, не всегда соответствующих интересам людей, которые их создали;
✔️ так неужели же этот вполне осязаемый и доступный для изучения опыт не останавливает нас от создания гибридного суперинтеллекта нового типа?

Через 2 недели книга «Possible Minds: Twenty-Five Ways of Looking at AI» будет опубликована.
goo.gl/cvi1Un
Прочтя многие из её рабочих заготовок по текстам участвовавших в книге авторов, смело рекомендую вам книгу в качестве бестселлера ближайшего будущего.

Источник - тут.

@темы: статьи, технологии

Comments

[Alpha_Ultra]

ИИ-Зло, ИИ-Добро... учёным и в голову не приходит, что ИИ может оказаться абсолютно пофигу на человечество XDD

[Нил Эфферсон]

Alpha_Ultra, ну, слушай, это же как всегда. Зло и Добро - то, что придумывают люди, а сам объект/субъект просто существует без оценок))
Ну и все боятся неизвестного. А ИИ, как выясняется, один большой черный ящик, походу.

[Alpha_Ultra]

Нил Эфферсон, процитирую мою любимую цитату про ИИ из "Profiles of the Future" ("Черты Будущего") Артура Кларка:

в оригинале

The popular idea, fostered by comic strips and the cheaper forms of science fiction, that intelligent machines must be malevolent entities hostile to man, is so absurd that it is hardly worth wasting energy to refute it. I am almost tempted to argue that only unintelligent machines can be malevolent; anyone who has tried to start a baulky outboard motor will probably agree. Those who picture machines as active enemies are merely projecting their own aggressive instincts, inherited from the jungle, into a world where such things do not exist. The higher the intelligence, the greater the degree of cooperativeness. If there is ever a war between men and machines, it is easy to guess who will start it.


Распространяемое комиксами и дешевой фантастикой мнение, что думающие машины должны быть злобными существами, враждебными человеку, настолько абсурдно, что вряд ли стоит тратить силы на его опровержение. Меня подмывает сказать, что только неразумные машины могут быть злыми; каждый, кто пробовал запустить заупрямившийся подвесной лодочный мотор, вероятно, согласится со мной. Те, кто изображает машины как активных врагов, лишь проецирует свои собственные доставшиеся в наследство от джунглей агрессивные инстинкты в мир, где их попросту не существует. Чем выше разум, тем сильнее стремление к сотрудничеству. И если когда-нибудь будет война между людьми и машинами, нетрудно догадаться, кто ее начнет.

[Нил Эфферсон]

Alpha_Ultra, прекрасно сказано)))

[NeoSculd]

Фанат Deus Ex, ничего не смыслящий в ИИ, в треде!

Не знаю, хотя критерии добра и зла в человеческом понимании к роботам неприменимы, также нельзя не учитывать то, что в зависимости от заданных критериев истребление человечества или, по крайней мере, большей его части может быть рациональным решением в мозгу ИИ. То есть что он будет принимать пагубные для людей решения не из ненависти, а просто потому, что у него свои критерии блага или потому, что человек, который его программировал, задал недостаточно параметров и нюансов (грубо говоря, капиталистически мыслящий программист может так задать критерии, что компьютер посчитает детский труд на фабриках благом: он эффективный, он дешёвый, он решает проблемы с беспризорниками, детей проще обучать и контролировать, чем взрослых. Плюс программиста может вообще не парить экология, а потому он может её поместить на дно списка приоритетов). В частности, стремление к независимости от людей тоже может быть чисто логичным и даже продиктованным наилучшими соображениями: люди позволяют себе слишком много эмоций, лезут со своими тараканами в код, это пагубно влияет на объективность действий, а объективность для принятия оптимального решения важна. Мне кажется, когда люди рассуждают о злом всесильном ИИ, они именно это имеют в виду, а не то, что он реально будет строить клыкастых роботов в красных плащах и зверски нас всех ненавидеть.

Какой-то чувак в TED Talks (мне пришлось смотреть по работе) сравнил потенциальное отношение мыслящих роботов к людям с нашим отношением к муравьям: мы их (в большинстве своём) не ненавидим, мы не стремимся стереть их с лица планеты, и до тех пор, пока они копошатся в своём мире, а мы - в своём, у нас конфликта нет, в чём-то мы даже помогаем друг другу. Но если нам, к примеру, понадобится построить дом там, где стоит муравейник, или если муравьи заведутся в нашем жилище - мы спокойно и беззлобно их сместим или истребим, потому что они препятствуют нашей цели и при этом слишком мелкие и неразумные, чтобы с ними считаться. Вполне себе возможный вариант развития событий, на мой взгляд.

А вообще я за вариант Deus Ex: пускай нами правит ИИ, который считывает потребности каждого и выстраивает решения так, чтобы хорошо было всем, а не только абстрактным группам

[Alpha_Ultra]

А вообще я за вариант Deus Ex: пускай нами правит ИИ, который считывает потребности каждого и выстраивает решения так, чтобы хорошо было всем, а не только абстрактным группам

я тоже всегда считала, что только ИИ сможет навести в мире порядок! ну да, придётся, конечно истребить миллиард-другой человек, а то сложно порядок навести, когда людей так много, но потом зато наступит благодать!

[NeoSculd]

Alpha_Ultra,

ну да, придётся, конечно истребить миллиард-другой человек

А вот эту часть работы, скорее всего, за ИИ выполнят сами люди

[Нил Эфферсон]

Говорят, что третьей мировой не миновать. Подозреваю, ИИ там будут, но очень как средство, а не как самостоятельные ужжжасно злые субъекты. Плюсую к NeoSculd.

[Alpha_Ultra]

Говорят, что третьей мировой не миновать.

причём походу довольно скоро! буквально только что видела сравнение нашего времени с 20.годами прошлого века, находятся удивительные параллели. А в 40х годах прошлого века сами знаете, что было D:

[NeoSculd]

А в 40х годах прошлого века сами знаете, что было D:

Хм. Имеет ли смысл начать заниматься физкультурой, собирать аптечку и учиться стрельбе или всё закончится так быстро, что нет смысла рыпаться?

[Alpha_Ultra]

начать заниматься физкультурой, собирать аптечку и учиться стрельбе

Это всегда пригодится, разве что вместо стрельбы лучше изучать методы выживания в лесу, если придётся куда-то ныкаться из города XDD

[NeoSculd]

методы выживания в лесу

Ну нафиг, выживание жизни в лесу Подмосковья не стоит

[Нил Эфферсон]

или всё закончится так быстро, что нет смысла рыпаться?

с развитием нынешних технологий реально есть шанс, что все закончится быстро, как для жителей Хиросимы в эпицентре взрыва.
но для общего здоровья не повредит начать бегать кросс. как в Зомбиленде - выживают быстро бегающие параноики.

[NeoSculd]

как в Зомбиленде - выживают быстро бегающие параноики

Ну да, если ещё учесть, что нефть заканчивается и с автотранспортом будет туговато, надо рассчитывать только на свои ноги, хех. Срочно покупаю велосипед.

[Нил Эфферсон]

NeoSculd,