![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
Paper clip optimizer problem
Aug. 18th, 2016 12:16 amС задержкой, но хочу возразить на заметку Андрея Устюжанина https://www.facebook.com/anaderix/posts/644755039009818
Тезис о том, что цели это всего лишь рационализации ранее сделанного успешного выбора представляется мне допустимым, но ограниченным.
До тех пор, пока мы описываем эволюцию неразумных существ это так. Оса сфекс не ставит целей, она за счет бесчисленных проб и ошибок отрабатывает сложный механизм охоты и размножения.
Но для разумного существа это не так. Человек вполне себе ставит цель «придумать самолет», «научиться бегать быстрее, чем кто либо раньше» и т.п. И разница в эффективности очень и очень заметна. Она выражается ровно в том, что человек за очень короткое время стал господствующим на планете видом, не имеющим никаких конкурентов.
И при этом на развитие жизни в целом ушло 3 млрд. лет, на эволюцию животных 700 млн., а на эволюцию человека менее 200 тысяч лет. Применительно к истории биологической жизни история человека это сингулярность, как мы ожидаем ее сейчас в области ИИ. На мой взгляд эта биологическая сингулярность вызвана как раз появлением GI, способного осознать мир и себя в мире, что приводит в действие гораздо более эффективные механизмы развития, нежели биологическая эволюция.
Cтепень изученности мозга и мышления на данный момент крайне низка. До сих пор нет ни понимания того, как устроено мышление на физическом уровне, ни понимания его «логических» механизмов. Столь недостаточное знание оставляет простор для догадок и трактовок, включая идею о том, что мышление это свойство мозга, не сводимое к вычислимым задачам.
Если вернуться к современному состоянию ИИ, оно представляется мне близким к эволюции неразумной жизни. За счет создания искусственной (и потому ограниченной) среды и сочетания больших вычислительных мощностей и алгоритмов мы можем эту эволюцию ускорить, достигая решения любой задачи внутри имитированной среды.
Принципиальная проблема, однако, состоит в ограничениях искусственной среды. До тех пор, пока мы перебираем варианты в рамках правил, будь то игра Го или space invaders мы можем ожидать быстрого достижения очень высокой эффективности. ANI выиграет и в Го и в Space Inavders. Но находясь в рамках искусственной среды, в которой можно нажимать только три кнопки (Space Invaders) принципиально невозможно выйти за пределы трех кнопок – в пространстве решений кроме них просто ничего нет.
И для применения существующих подходов нам всегда понадобится искусственная среда, а любая искусственная среда всегда беднее реальности. И тут апелляции к сложности игры в Го по количеству вариантов выглядят бледно. Достаточно очевидно, что в физической реальности игра Го со всеми вариациями занимает ничтожно малое место.
Что же помешает нам создать более богатую среду? Оставив в стороне технические сложности, замечу, что мы в эту искусственную среду можем включить только то, что мы уже знаем. Неизвестные свойства реальности мы не сможем включить принципиально. Для включения всех известных понадобится модель величиной со вселенную. И чем беднее будет наша модель, тем хуже будет перенос AI из модели в реальный мир.
В итоге для создания AGI мне кажется неизбежным одно из двух:
Наиболее быстрым направлением мне видится комбинирование естественного интеллекта для постановки целей и искусственного для их достижения. Тут может получиться очень интересная и опасная комбинация. Собственно мы все сейчас эту комбинацию строим.
Cовсем безлюдный paper clip optimizer кажется мне фантастикой. От этого, впрочем, не легче.
Тезис о том, что цели это всего лишь рационализации ранее сделанного успешного выбора представляется мне допустимым, но ограниченным.
До тех пор, пока мы описываем эволюцию неразумных существ это так. Оса сфекс не ставит целей, она за счет бесчисленных проб и ошибок отрабатывает сложный механизм охоты и размножения.
Но для разумного существа это не так. Человек вполне себе ставит цель «придумать самолет», «научиться бегать быстрее, чем кто либо раньше» и т.п. И разница в эффективности очень и очень заметна. Она выражается ровно в том, что человек за очень короткое время стал господствующим на планете видом, не имеющим никаких конкурентов.
И при этом на развитие жизни в целом ушло 3 млрд. лет, на эволюцию животных 700 млн., а на эволюцию человека менее 200 тысяч лет. Применительно к истории биологической жизни история человека это сингулярность, как мы ожидаем ее сейчас в области ИИ. На мой взгляд эта биологическая сингулярность вызвана как раз появлением GI, способного осознать мир и себя в мире, что приводит в действие гораздо более эффективные механизмы развития, нежели биологическая эволюция.
Cтепень изученности мозга и мышления на данный момент крайне низка. До сих пор нет ни понимания того, как устроено мышление на физическом уровне, ни понимания его «логических» механизмов. Столь недостаточное знание оставляет простор для догадок и трактовок, включая идею о том, что мышление это свойство мозга, не сводимое к вычислимым задачам.
Если вернуться к современному состоянию ИИ, оно представляется мне близким к эволюции неразумной жизни. За счет создания искусственной (и потому ограниченной) среды и сочетания больших вычислительных мощностей и алгоритмов мы можем эту эволюцию ускорить, достигая решения любой задачи внутри имитированной среды.
Принципиальная проблема, однако, состоит в ограничениях искусственной среды. До тех пор, пока мы перебираем варианты в рамках правил, будь то игра Го или space invaders мы можем ожидать быстрого достижения очень высокой эффективности. ANI выиграет и в Го и в Space Inavders. Но находясь в рамках искусственной среды, в которой можно нажимать только три кнопки (Space Invaders) принципиально невозможно выйти за пределы трех кнопок – в пространстве решений кроме них просто ничего нет.
И для применения существующих подходов нам всегда понадобится искусственная среда, а любая искусственная среда всегда беднее реальности. И тут апелляции к сложности игры в Го по количеству вариантов выглядят бледно. Достаточно очевидно, что в физической реальности игра Го со всеми вариациями занимает ничтожно малое место.
Что же помешает нам создать более богатую среду? Оставив в стороне технические сложности, замечу, что мы в эту искусственную среду можем включить только то, что мы уже знаем. Неизвестные свойства реальности мы не сможем включить принципиально. Для включения всех известных понадобится модель величиной со вселенную. И чем беднее будет наша модель, тем хуже будет перенос AI из модели в реальный мир.
В итоге для создания AGI мне кажется неизбежным одно из двух:
- Создание системы с самосознанием, мыслящей в понимании человека – тут пока нет никаких предпосылок из-за отсутствия понимания предмета самосознания
- Перенос эволюции AI из смоделированного мира в реальный, с неизбежной потерей темпа и материальными ограничениями. В реальном мире невозможно решать задачи даже оптимизированным перебором – на перебор не будет ресурсов. Попытка перебором строить трактор приведет к потребностям в энергии и материалах превосходящих любые доступные объемы. Биологическая жизнь миллиарды лет перерабатывала сама себя, что позволило как-то обойти это ограничение. Неорганической жизни вряд ли потребуется сильно меньше времени.
Наиболее быстрым направлением мне видится комбинирование естественного интеллекта для постановки целей и искусственного для их достижения. Тут может получиться очень интересная и опасная комбинация. Собственно мы все сейчас эту комбинацию строим.
Cовсем безлюдный paper clip optimizer кажется мне фантастикой. От этого, впрочем, не легче.
