Компания Anthropic обновила политику использования своего чат-бота Claude AI, реагируя на растущие опасения по поводу безопасности. Помимо ужесточения правил кибербезопасности, Anthropic теперь конкретно указывает на наиболее опасные виды оружия, разработка которых с помощью Claude запрещена.
В обновлённой политике использования прямо запрещается применять Claude для разработки биологического, химического, радиологического или ядерного оружия. Ранее Anthropic запрещала использование Claude для «производства, модификации, проектирования, продажи или распространения оружия, взрывчатых веществ, опасных материалов или других систем, предназначенных для причинения вреда или потери человеческих жизней», обновлённая версия расширяет этот запрет, конкретно включая высокомощные взрывчатые вещества, а также биологическое, химическое, радиологическое и ядерное (БХРЯ) оружие. Это изменение не было особо выделено в публикации компании.
В мае Anthropic внедрила защиту «Уровень безопасности ИИ 3» вместе с запуском новой модели Claude Opus 4. Эти меры безопасности предназначены для затруднения взлома модели, а также для предотвращения её использования в разработке оружия.
Anthropic ужесточает контроль над своим ИИ-ботом Claude, опасаясь создания ядерного оружия
Иллюстрация: Sora
В своём сообщении Anthropic также признаёт риски, связанные с инструментами на основе агентов ИИ, включая функцию агента, которая позволяет Claude управлять компьютером пользователя, а также Claude Code, инструмент, который встраивает Claude непосредственно в терминал разработчика.
В ответ на эти потенциальные риски компания включила в свою политику использования новый раздел «Не подвергать опасности компьютерные или сетевые системы». Он включает правила, запрещающие использование Claude для обнаружения или использования уязвимостей, создания или распространения вредоносных программ и разработки инструментов для атак типа «отказ в обслуживании».
Кроме того, Anthropic смягчила свою политику в отношении политического контента. Вместо полного запрета создания любого контента, связанного с политическими кампаниями и лоббированием, теперь запрещается только использование Claude для «случаев, которые являются обманчивыми или дестабилизирующими для демократических процессов, или включают в себя таргетинг избирателей и кампаний». Компания также уточнила, что её требования ко всем «высокорискованным» случаям использования, которые применяются, когда Claude используется для предоставления рекомендаций физическим или юридическим лицам, распространяются только на сценарии, ориентированные на потребителей, а не на коммерческое использование.