Появление «настоящего» искусственного интеллекта, способного мыслить как человек, может иметь разрушительные последствия для всего мира. Угрозу может представлять даже высокоразвитый ИИ, запрограммированный на добрые дела, предупредили исследователи австралийского Университета Саншайн-Кост.

Масштабы опасности показали на примере гипотетического алгоритма SantaNet. Его поставили на место Санта-Клауса, которому нужно доставить все новогодние подарки за одну ночь.

Как показал мысленный эксперимент, угроза возникает уже на этапе составления списка хороших и непослушных детей. Воспринимая задачу буквально и не имея злого умысла, нейросети пришлось бы создать масштабную систему для скрытого наблюдения по всему миру. Определяя, какое поведение считать «хорошим» круглый год, «ИИ-Санта» будет руководствоваться собственными моральными принципами, что может привести к дискриминации, массовому неравенству и нарушению прав человека.

В мире живет около двух миллиардов детей младше 14 лет, поэтому компьютерному разуму понадобится создать армию подобных себе ИИ-работников. В свою очередь, это приведет к росту безработицы среди людей.

Более того, чтобы обеспечить подарком каждого, SantaNet может превратить Землю в гигантскую фабрику по производству игрушек. В результате ресурсы планеты будут истощены за очень короткое время, предостерегают ученые.

Первым такую идею — «проблему скрепок» — изложил шведский философ Ник Бостром в 2003 году. Он предположил, что ИИ, преследуя цель максимизации производства скрепок, воспримет свою задачу буквально и будет сопротивляться любым попыткам его остановить.

«SantaNet может показаться надуманным, но эта идея помогает подчеркнуть риски более реалистичных систем сильного искусственного интеллекта, — заключают исследователи. — Разработанные с благими намерениями, такие системы могут создавать огромные проблемы, просто оптимизируя способы достижения своих узких целей и собирая ресурсы».