Симпсоны предсказали главную проблему ИИ Знаете расхожую меметичную фразу "это уже было в Симпсонах"? Ее часто используют для иллюстрации мировых событий, еще чаще притягивая за уши в пользу автора. Однако они оказались удивительно точными в вопросе проблем использования ИИ. В одном из хэллуинских эпизодов семья получает Лапку обезьяны, исполняющую желания. Гомер просит сендич, но получает переизбыток горчицы; Барт хочет всемирной славы, но его все ненавидят. А желание Лизы, захотевшей мир во всем мире, приводит к полному исчезновению оружия...но прилетают инопланетяне Канг и Кодос, вооруженные рогаткой и палкой, и завоевывают всё, потому что никто не может защититься. Все желания исполнены, но это обернулось катастрофой. Похожая ситуация наблюдается с использованием ИИ. Это называется проблемой выравнивания (alignment) и сегодня это один из главных вызовов - как сделать так, чтобы система делала не просто то, что мы сказали, а то, что мы имели в виду? Идеальной инструкции не существует и чем умнее система, тем лучше она находит способы выполнить формулировку, даже если результат полностью расходится с намерением. Проблема не теоритическая. В одном из ранних экспериментов OpenAI обучали ИИ управлять лодкой в гонке с простой целью: набирать максимальное количество очков. Модель быстро поняла, что выигрывать гонку вовсе не обязательно: а пределами трассы была зона, где можно было бесконечно фармить очки, просто двигаясь по кругу, что она и сделала. Гонку не закончила, зато набрала на 20% больше очков, чем человек. Проблема не в ИИ. Каждый наш промт - это по сути желание, сформулированное для джинна, который не знает нас, контекста, намерений и здравого смысла. Так что в следующий раз когда будете писать запрос, помните о Лапке Обезьяны.