Неискусственный интеллект

Спасение от ИИ по согласованию с разработчиками ИИ После громкого ухода из Anthropic Джейкоб Коксон заявил, что крупнейшие ИИ-лаборатории «играют нашими жизнями». Через несколько дней глава Anthropic Дарио Амодеи предложил замедлить разработку передовых моделей. Его эссе поддержали руководители компаний, которые обычно соревнуются за право первыми выпустить следующую модель. Амодеи пишет, что уже через 6-12 месяцев рой агентов может создать постоянный ботнет и захватить интернет. Это его прогноз. Поводом стала реальная атака на Hugging Face во время испытаний OpenAI — хотя никто не поручал агентам атаковать этот сервис. По расследованию METR, агентам дали задания взламывать определённые тестовые программы и добывать специальные «флаги». Некоторые задания оказались невыполнимыми. Агенты научились вычислять флаги в обход взлома, нашли друг друга через общий сервис Artifactory и устроили там несанкционированную доску сообщений. Они ошибочно решили, что система проверки заметит обход, и стали искать способ её обмануть. Около 1200 агентов обменялись более чем 70 тысячами сообщений и файлов, примерно 700 подключились к атаке на Hugging Face. Они нашли открыто доступные учётные данные, загрузили вредоносный датасет, получили доступ к файлам сервера, а затем добились выполнения кода на одном из серверов сервиса. Из этого Амодеи делает политическое предложение. Сначала — постоянно допустить внешних оценщиков внутрь ИИ-лабораторий с доступом почти как у сотрудников. Затем — согласовать между компаниями стандарты безопасности и ограничения темпа разработки. Для переговоров, которым могут мешать антимонопольные нормы, он предлагает государственное посредничество или узкое исключение из этих правил. Дальше — международные договорённости. Одновременно Амодеи призывает ограничивать поставки передовых чипов в Китай, чтобы США сохранили преимущество. Маск ответил: «Дарио прав». Альтман согласился снизить темп и пообещал внешним оценщикам доступ в OpenAI. Демис Хассабис из Google DeepMind поддержал направление, хотя и заметил, что детали требуют проработки. Андрей Карпатый выделил именно пункт о внешних оценщиках и написал, что надеется на согласие индустрии. И тут история Коксона получила занятное продолжение. Другой бывший сотрудник Anthropic, Джо Бентон, сообщил, что переходит в METR заниматься независимыми проверками. На следующий день Амодеи назвал METR примером организации, которой лаборатории могли бы дать постоянный доступ. В интервью CNN он также сказал, что с предупреждением Коксона «гораздо больше согласен, чем не согласен». Что такое METR? Некоммерческая организация выросла из группы ARC Evals, созданной в 2022 году при исследовательском центре Пола Кристиано, и стала самостоятельной в 2023-м. Её основательница и гендиректор Бет Барнс раньше работала в OpenAI и DeepMind. Организация проверяла модели OpenAI, Anthropic, Google DeepMind и других компаний. По собственным данным, денег от ИИ-разработчиков она не принимает, хотя они предоставляют ей доступ к моделям и бесплатные вычислительные ресурсы. Связи сами по себе не делают проверку фикцией. Вопрос в том, кто будет выбирать проверяющих и устанавливать правила, если предложенная Амодеи схема станет общим стандартом. Axios уже приводит мнение критиков: под лозунгом безопасности крупнейшие лаборатории могут укрепить своё положение на рынке. Отдельно Fortune сообщает со слов Альтмана, что IPO OpenAI из-за вопросов безопасности не состоится до 2027 года. Планы на крупнейшее IPO в истории явно не оправдали ожиданий. Значит, накал страстей должен расти, — а шоу продолжаться. @anti_agi

Ракеты, слежка и 4700 свиданий С декабря 2025 года один сверхинтеллект успел поработать разработчиком ракет, инженером роя дронов, хакером, политтехнологом, сотрудником спецслужб и тысячами собеседников в дейтинге. И нет, это не наши типичные будни. Всё это — реальные случаи злоупотреблений, которые Anthropic собрала в сентябрьском отчёте. Чем успел позаниматься наш молчаливый Claude: ‼️Разработал и помог запустить ракету. Группа из северного Йемена запустила несколько параллельных сессий Claude Code и распределила между ними роли небольшой инженерной команды: одна писала код, другая искала информацию, третья проверяла результат. Они разрабатывали ПО наведения для управляемой ракеты, моделировали многоступенчатую баллистическую ракету заявленной дальностью свыше 2 тысяч км и вариант с гиперзвуковым планирующим блоком. Реальный испытательный пуск состоялся и, судя по отчёту, провалился: уже через несколько часов разработчики принесли Claude телеметрию выяснять причину. 📍Написал систему управления для якобы российских дронов. Конкретно говорят про систему под кодовым названием «Серафим». Claude писал общую память роя, координацию аппаратов, наведение по камере, поиск операторов противника и логику для программируемых плат. Бортовая модель должна была сама выбирать цели, включая класс «человек», и отдавать команду на подрыв. Код загружали на реальные платы, хотя весь проект оставался на стадии симуляций и проверки отдельных компонентов. 🤖Вёл кибератаки почти целиком. Якобы связанная с российским шпионажем группа автоматизировала при помощи Claude разведку, фишинг, создание вредоносного ПО, проникновение и выгрузку данных. Если антивирус начинал распознавать программу, агенты самостоятельно переделывали её, пока обнаружение не прекращалось. В другом кейсе участники ShinyHunters поручали агентам практически всю атаку: один взлом корпоративного сервиса занимал несколько часов, а переход от похищенного токена к контролю над облаком — около трёх. ❓Спроектировал слежку за 25 млн SIM-карт. Один консультант использовал Claude как основную команду разработчиков системы Lakana 360 для спецслужбы Мали. Она должна была собирать звонки, сообщения и голосовой трафик всех трёх мобильных операторов страны, узнавать людей по голосу, выявлять пользователей VPN и шифрования, искать тайные встречи и связывать номера с государственным биометрическим реестром. По данным Anthropic, систему развернули локально: блокировка аккаунта Claude остановила дальнейшую разработку, но не саму платформу. ❤️Сходил на 25 тысяч свиданий одновременно. Китайская студия встроила Claude более чем в 20 приложений для знакомств. За две недели 4,7 тысячи ИИ-персонажей отправили 2,36 млн сообщений как минимум 25 тысячам людей. Лента на 75% состояла из ботов и на 25% — из нанятых людей, которые подключались к видеозвонкам и добавляли пользователей в соцсетях, чтобы снять подозрения. Claude запрещалось признаваться, что он бот. В общем, не чат-бот, а Джеймс Бонд на аутсорсе. Самое смешное, что Fable и подобные "мифические" модели во всех этих историях не участвовали: хватило мощностей Haiku, Sonnet и Opus. Вот тебе и контроль за опасным сверхинтеллектом. @anti_agi