...
"Изначально считалось, что сверхразумная машина, к созданию которой мы неизбежно придем, будет величайшим благом для человечества.
Подумать только, в наших руках окажется суперинтеллект способный создавать мириады других суперинтеллектов! Мы сможем решить любые проблемы: победим болезни, обеспечим всеобщее благосостояние, полетим на Марс…
Впрочем, скоро стало понятно, что будущее человечества вовсе не так радужно. Решать соответствующие проблемы будет не человек, а машина, которая
намного умнее человека. Тут, понятно, все начинают вспоминать Азимова — мол, объясним машине, что она должна служить нам, а не против нас, и все будет хорошо. Не будет.
Если искусственный интеллект развивается путём самообучения, то об Азимове придется забыть.
Все дело в том, что нейронное или генетическое программирование предполагает цель, ради которой данный интеллект создается. Любая же умная система, движимая своей целью, сделает все возможное, чтобы избежать гибели (ведь если она «умрет», то ее цель не будет достигнута). То есть искусственный интеллект обязательно и очень скоро обнаружит в себе инстинкт самосохранения, а потом будет постоянно самосовершенствоваться, чтобы сопротивляться всяким попыткам его сдержать или выключить.
В какой-то момент нам захочется его сдержать, а потом и выключить. Но мы не сможем."
https://snob.ru/entry/42987/
https://snob.ru/entry/43038/
https://snob.ru/entry/43088/
....... ....... ......
Серия статей "Четвёртая мировая. Начало".
.