Хотя основное внимание было приковано к обновленным финансовым показателям, которые компания Anthropic раскрыла в понедельник в уточненной форме S-1/A (выручка стремительно растет, но вместе с ней растут и расходы), в тексте документа обнаружилась еще одна «бомба».
Судя по всему, компания предупреждает, что находится на пороге создания модели, способной к рекурсивному самосовершенствованию (recursive self-improvement, RSI).
RSI — это этап, на котором ИИ становится настолько эффективным в самообучении, что это приводит к резкому ускорению развития его собственных возможностей. Для тех, кто предрекает катастрофический сценарий развития ИИ, RSI — это точка невозврата: ИИ превращается в настолько мощную систему, что выходит из-под контроля человека и может оставаться безразличным к ущербу, который он причиняет в процессе достижения своих целей.
Для энтузиастов же RSI (или иные формы использования ИИ для собственного совершенствования) — это воплощение огромного потенциала технологии: превращение ИИ в инструмент, обеспечивающий невероятный рост продуктивности, совершение научных открытий и многое другое.
В Anthropic, по-видимому, считают, что RSI несет в себе как огромные возможности, так и серьезные риски. В документе S-1 компания отмечает, что использует ИИ в своих исследованиях и разработках, однако предостерегает: «Использование ИИ для создания более совершенных систем ИИ может представлять значительную угрозу безопасности, особенно если это приведет к резкому ускорению темпов прогресса. Этот аспект охвачен нашей «Политикой ответственного масштабирования» (Responsible Scaling Policy), в которой изложены планы по мониторингу и снижению рисков по мере приближения к тому, что принято называть «рекурсивным самосовершенствованием»».
Когда в начале этого года термин RSI вошел в обиход, многие сочли его лишь модным словечком или, в лучшем случае, недостижимой целью — понятием, которое крайне сложно определить, доказать или реализовать на практике.
Однако в понедельник Anthropic внесла дополнения в раздел «Факторы риска» (Risk Factors), заявив, что: 1) компания уже использовала ИИ для разработки новых моделей, скачок в возможностях которых не был своевременно замечен; и 2) в ближайшем будущем она может достичь состояния, соответствующего ее собственному определению RSI:
«Более того, расширение использования ИИ-систем для ускорения наших собственных исследований и разработок может привести к тому, что возможности наших моделей будут развиваться быстрее, чем мы успеваем разрабатывать, проверять и внедрять соответствующие меры безопасности, согласования (alignment) и защиты». В результате в прошлом мы не всегда своевременно выявляли значительное ускорение темпов нашего развития — зачастую мы осознавали его уже постфактум; не исключено, что подобное повторится и в будущем.
Например, наши внутренние оценки и прогнозы относительно будущих моделей — в отличие от тех, что существуют сейчас, — указывают на то, что мы можем в ближайшее время достичь порога, который в нашей «Политике ответственного масштабирования» (Responsible Scaling Policy) определяется как «существенно ускоренный прогресс, обусловленный искусственным интеллектом». На данный момент ни одна из наших текущих моделей не классифицируется как преодолевшая этот рубеж; мы продолжаем анализировать соответствующие данные».
Впрочем, в поданном документе компания Anthropic также отмечает, что ни одна из её моделей пока не достигла этого критического уровня, и подчёркивает намерение сохранять участие человека в процессах исследований и разработок в обозримом будущем. «Мы не рассчитываем, что сможем безопасно использовать Claude для полностью автономного проектирования и создания последующих поколений передовых моделей без значимого контроля или понимания со стороны человека — даже если (и когда) это станет технически возможным. В связи с этим мы рассматриваем возможность внесения изменений в нашу «Политику ответственного масштабирования», чтобы гарантировать, что разработка передовых моделей в Anthropic останется под контролем людей».
Скептики могут заметить, что форма S-1 (регистрационное заявление) служит одновременно инструментом раскрытия информации и маркетинговым материалом, поэтому заявления о близости к созданию модели, способной самостоятельно проектировать свои новые версии, могут относиться скорее ко второй категории.
Тем не менее, не вызывает сомнений тот факт, что возможности Claude — особенно в таких областях, как программирование, математика и кибербезопасность — за последний год совершили колоссальный скачок. Если в Anthropic считают, что вероятность такого «существенно ускоренного прогресса» (RSI) высока, возможно, нам стоит отнестись к этому серьёзно и предпринять соответствующие шаги — в том числе, возможно, на уровне регулирования.