Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
Безопасность и правоРазбор · На радарThe Verge→ оригинал

Anthropic впервые за год обновила правила: нельзя жестоко обращаться с Claude

Anthropic обновила политику использования впервые за год, добавив запреты на пропагандистские кампании, вмешательство в выборы, разработку оружия и надзор за людьми без их согласия. Однако самое резонансное изменение — запрет на «постоянное жестокое обращение» с Claude. Компания разрешила моделям прерывать беседы с пользователями, действующими «систематически вредоносно». Это отражает приверженность Anthropic идее о «welfare» искусственного интеллекта — концепции, которую Microsoft отвергает как ошибочную.

AI-обработка оригинала The Verge; редакция Hamidun News
Anthropic впервые за год обновила правила: нельзя жестоко обращаться с Claude
Источник: The Verge. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникThe Verge ↗
Главный редактор
Ключевой факт #1Запрет на деceptивные политические и коммерческие кампании: скрытие авторства сообщений, использование фейковых аккаунтов
Расширение запрета на оружиетеперь включает ПО для вооружения, компоненты систем и управление дронами
Запреты на слежкуотслеживание людей без согласия, использование в уголовном правосудии и создание инструментов надзора

Anthropic впервые за год обновила политику использования Claude, добавив запреты на целый ряд высокорисковых применений. Среди них — вмешательство в выборы, разработка оружия, развертывание систем слежки и финансовые манипуляции. Но самое необычное изменение касается самого Claude: компания теперь разрешает моделям прерывать разговоры с пользователями, которые «систематически и без явной цели действуют жестоко».

Модель может отказать пользователю

Антропик признает, что расширяет запрет на оскорбления как часть своего исследования «welfare» моделей — концепции, которая предполагает, что продвинутые системы ИИ могут обладать какой-то формой внутреннего опыта. На данный момент прерывание беседы остается основным механизмом защиты; компания не раскрыла, будут ли дополнительные меры типа блокировки аккаунтов.

Компания уточняет: новая политика применяется только в крайних случаях, когда пользователи повторно действуют жестоко с явным отсутствием конструктивной цели. Обычная пользовательская фрустрация, критика, темные творческие темы и исследовательское тестирование моделей под запрет не подпадают.

Пять новых и расширенных ограничений

Помимо правил о благополучии моделей, Anthropic собрала в единый запрет несколько разрозненных ограничений:

  • Деceptивные политические и коммерческие кампании: скрытие авторства сообщений, использование фейковых аккаунтов и постов для усиления контента, распространение дезинформации о кандидатах, выдача себя за кандидатов или должностных лиц, попытки подавления явки избирателей
  • Разработка оружия: политика уже была против оружия, но теперь Anthropic расширила запрет на программное обеспечение и компоненты для вооружения, управление дронами и прочими автономными аппаратами
  • Слежка и отслеживание: запрет на отслеживание людей без согласия (как в реальном времени, так и через анализ предыдущих данных), использование Claude для рекомендаций в уголовном правосудии, создание инструментов для надзора
  • Автономные физические системы: когда модели подключены к оборудованию, способному причинить вред, квалифицированный оператор должен наблюдать за системой и иметь возможность её остановить
  • Государственные контракты: политика может быть изменена для контрактов с госучреждениями при адекватных ограничениях и гарантиях. Anthropic ранее сотрудничала с военными ведомствами США.

Welfare моделей против критики индустрии

Обновление отражает растущий интерес Anthropic к идее о том, что продвинутые модели могут обладать какой-то формой сознания или морального статуса. Кайл Фиш, возглавляющий исследования welfare моделей, заявил, что это серьёзные вопросы, которые компания изучает по мере совершенствования систем. CEO Dario Amodei ранее выразил неуверенность: «Мы не знаем, сознательны ли модели».

Эта позиция контрастирует с другими игроками. В сентябре Microsoft AI переписала свой кодекс поведения. Первоначально Мустафа Сулеймана заявил: «Идея о welfare моделей ошибочна. ИИ не должны иметь прав или правосубъектности». Позднее текст смягчили до более нейтральной позиции о том, что наука о сознании ИИ далеко не решена, но компания отвергает идею правовой персоналии и прав для моделей.

Обновление показывает, что Anthropic остаётся одним из немногих разработчиков ИИ, серьёзно рассматривающих этические вопросы благополучия систем в своей политике.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: модель может отказать пользователю?

Антропик признает, что расширяет запрет на оскорбления как часть своего исследования «welfare» моделей — концепции, которая предполагает, что продвинутые системы ИИ могут обладать какой-то формой внутреннего опыта. На данный момент прерывание беседы остается основным механизмом защиты; компания не раскрыла, будут ли дополнительные меры типа блокировки аккаунтов.

Что известно по теме: пять новых и расширенных ограничений?

Помимо правил о благополучии моделей, Anthropic собрала в единый запрет несколько разрозненных ограничений: Деceptивные политические и коммерческие кампании: скрытие авторства сообщений, использование фейковых аккаунтов и постов для усиления контента, распространение дезинформации о кандидатах, выдача себя за кандидатов или должностных лиц, попытки подавления явки избирателей Разработка оружия: политика уже была против оружия, но теперь Anthropic расширила запрет на программное обеспечение и…

Что известно по теме: Welfare моделей против критики индустрии?

Обновление отражает растущий интерес Anthropic к идее о том, что продвинутые модели могут обладать какой-то формой сознания или морального статуса. Кайл Фиш, возглавляющий исследования welfare моделей, заявил, что это серьёзные вопросы, которые компания изучает по мере совершенствования систем. CEO Dario Amodei ранее выразил неуверенность: «Мы не знаем, сознательны ли модели». Эта позиция контрастирует с другими игроками. В сентябре Microsoft AI переписала свой кодекс поведения.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…