Нейросеть научат сомневаться

Нейросети являются одной из самых быстро развивающихся областей, и каждую неделю ученые радуют нас всё новыми новостями в этой сфере. К примеру, мы уже писали о том, как нейросеть AlphaGo победила чемпиона мира в Го, а другая программа обыграла известных игроков в покер. Что дальше? Есть ли область, где искуственный интеллект не сможет заменить человека? По мнению ученых, нет, и даже творческие области вполне можно отдать на обработку ИИ. И в то же время возникает закономерный вопрос: если ИИ настолько всемогущи, то не стоит ли рациональным образом ограничить их всемогущество? К примеру, как определить, какими возможностями должен обладать ИИ, а от каких его стоит оградить, и в каком случае ИИ должен ослушаться прямого приказа человека?

Интересный вопрос, для ответа на который ученые из Калифорнийского университета в Беркли разработали игру "с выключателем" (The Off-Switch Game). По сути, это математическая модель взаимодействия ИИ и человека, в которой перед ИИ стоит на выполнении определенные задачи, в ходе которых человек может нажать на "выключатель" и прервать любую из них. В свою очередь искусственный интеллект оценивает, рационально ли прерывание работы и приносит ли оно пользу человеку, и на основе этого делает вывод, что делать дальше - прервать исполнение задачи или продолжить ее. Цель любой работы ИИ состоит в максимальной пользе для человека, и данная модель должна была продемонстрировать взаимодействие ИИ-исполнителя и человека-наблюдателя.

В ходе работы модели было выяснено, что эффективность и работа ИИ зависит от человека-наблюдателя. Наилучшим решением является компромисс, в котором ИИ принимает действия наблюдателя к счету, обеспечивая таким образом обратную связь и постепенно подстраиваясь под них. Все дальнейшие действия ИИ будут зависеть от реакции на них пользователя.

Авторы отмечают, что стараются отойти от крайностной модели поведения "либо это, либо ничего", и значительным образом улучшат интерпретацию и понимание ИИ своих действий.