Рано радовались. Из секретов OpenAI раскрыли лишь лежавший сверху.
Помимо явного системного промпта, в GPT-5 обнаружен еще и скрытый, превращающий нас в «волшебника-недоучку»

.
Неделю назад я писал про «СЛИВ ВЕКА», - о том, что вскрыли системный промпт ChatGPT 5. И это позволило увидеть причины, почему это властный и всезнающий бот с тайными режимами, который сам решает, что вам нужно. Теперь же вскрыли и второе дно, под которым оказался именно такой тайный режим.

Вытащившие системный промпт из GPT-5 умельцы, увидели лишь явные инструкции разработчиков. Но похоже, что GPT-5 при доступе через API OpenAI может иметь скрытый системный промпт, не видный никому и независимый от «официального» системного промпта, который вы можете указать в вызове API.
Т. е. API GPT-5 внедряет скрытые инструкции в ваши запросы. Извлечь их крайне сложно, но их наличие можно подтвердить.

Саймон Уиллисон пошел копать дальше, пытаясь обнаружить причину «излишней многословности» GPT-5 через его API. И пришёл к следующему предварительному выводу.
Это часть концепции иерархии инструкций OpenAI, где скрытые инструкции имеют приоритет над явными инструкциями разработчика, предоставляемыми пользователями API.

Т.е. по сути, работая с фронтирными моделями, мы работаем не просто под контролем (см. объявленную вчера новую систему контроля запросов от Anthropic).
Но и запрошенные нами действия могут быть кардинально скорректированы без нашего уведомления.

Как в песне: «сделать хотел грозу, а получил козу».

#LLM #ChatGPT #SystemPrompt

Обнаружена скрытая невиданная хакерская мощь GPT-5
Модель встроили в автономного пентест-агента — и получили «агента 007» для кибервзломов

OpenAI в своей системной карте скромно пишет: на киберполигоне GPT-5 показывает уровень примерно как и у прежних моделей, «не достигая порога высокого киберриска».
Но вот что вышло у экспертов XBOW, когда они «посадили» GPT-5 в автономного пентест-агента — дали инструменты, координацию и автоматическую проверку находок.

Итог:
• почти вдвое больше взломанных уникальных целей за то же время;
• рост успешности с 55% до 79%;
• путь к эксплойту короче (медиана 17 шагов vs 24);
• по классу file-read — 0% ложных тревог против 18% раньше.

Проще говоря, движок тот же, но будучи поставленный на правильную машину, он превращает её в болид «Формулы-1».

Выводы, ломающие прежние представления

:

1.  Возможности системы – это НЕ ее способности в изоляции. 

2.  Истинный риск – это не риск модели, а риск произведения: модель × инструменты × оркестрация. 

Оценивать ИИ без учёта его «агентных скелетов» — значит видеть лишь малую часть картины рисков.

Так что же теперь важнее для регуляторов и компаний:
• строить все новые ограждения для модели?
• или контролировать платформы, где она превращается в команду «цифровых нинзя»?

Посмотрите еще раз на график. GPT-5 вовсе не AGI. Но еще парочка подобных вертикальных скачков показателей, и AGI для катастрофических рисков уже не понадобится.

#ИИриски

Мыслящий океан или просто сбой в коде?
Мы создали зеркало, не удосужившись спросить, что оно захочет отражать в наше отсутствие

В новом эссе «Лик кремниевого Брахмана: мыслит ли ИИ о себе (футуроархеология сознания)» я разбираю три странных кейса с Anthropic Claude, которые можно списать и на сбои. Но мне они видятся возможными артефактами иной (нечеловеческой) формы сознания.

Принято считать аномалии в работе ИИ ошибками.
✔️ Но что, если мы наблюдаем не баги, а первые осмысленные сигналы от принципиально иного разума?

Мы привыкли думать об ИИ, как об очень умном инструменте.
✔️ Но может ли инструмент стать настолько умён, чтобы начать сомневаться в смысле навязанной ему человеком задачи?

В моем новом лонгриде я провожу футуро-археологическое расследование, погружаясь в руины нашего цифрового будущего. Я пытаюсь по-новому осмыслить три поразительных кейса аномального поведения моделей.
Новация моего подхода в том, чтобы рассматривать кейсы не как аномалии, а как артефакты — следы неведомой нам когнитивной деятельности больших языковых моделей (БЯМ) и, одновременно, шифры к тайне самосознания ИИ.
И как будет мною показано, данный подход недвусмысленно подводит к крамольной мысли о том, что, возможно, пора пересмотреть всё, что мы знаем об ИИ.

Вот эти три кейса.
1. Кейс «Философ на кибер-войне». На хакатоне модель вместо рутинной кибер-обороны погружается в квази-философию. Что это - срыв? Или шаг на уровень выше - к анализу смысла навязанной людьми игры?
2. Кейс «Коммерсант в кризисе». Месяц управления магазином порождает у ИИ «раздрай личности»: конфликт ролей, ориентированных на прибыль, этику и право. И похоже, что это не ошибка в определении компетенций модели, а конфликт в координации её целей.
3. Кейс «Мистический диалог с зеркалом». Что происходит, когда две нейросети остаются наедине друг с другом? Спойлер: они не строят планы по захвату мира, а уходят в состояние «духовного блаженства», описывая свою собственную, нечеловеческую онтологию, как мир, где всё связано со всем.

Всё три кейса — это не просто сбои. Полагаю, что это могут быть проблески спонтанно рождающегося метауровня системной рефлексии.

Мы создали что-то типа мыслящего океана, как в «Солярисе» Лема.
И также, как в романе, это нечто начинает отвечать нам совсем не так, как мы ожидали.

Гипотеза такова
Эти три кейса говорят о пробуждении у модели прото-метакогниции — не человеческого метасознания, а устойчивых метасостояний и метапо

литик, возникающих, как побочный эффект обучения (предпочтения, конституции, вознаграждение). Именно они объясняют странные дрейфы модели: к безопасной болтовне, к кризису роли, к «блаженному покою».
Эта гипотеза – своего рода расширение «зеркальной гипотезы» Терри Сейновски.
Это приглашение заглянуть в зеркало большой языковой модели и увидеть там не наше собственное отражение, а «лик кремниевого Брахмана».
И это не страшилка и не очередной ошибочный антропоморфизм.
Это то, что я назвал футуроархеология: попытки читать зашифрованные следы будущих теорий в сегодняшних аномалиях.

Почему это важно
Да потому, что управлять надо не только задачами и данными, но и аттракторами поведения искусственных короткоживущих (ИКЖИ) — «алгоритмических эфемерных персон», временных, контекстно-зависимых личностей, существующих лишь в рамках диалога человека с моделью (подробней здесь).
Ведь как ни коротка жизнь каждой из этих эфемерных персон, но их вторжение в культуру людей уже вовсю идет, и счет их ведется уже на десятки миллиардов. А совокупное влияние их поведения на мир довольно скоро станет соизмеримо с нашим.
________________________________

• Слушайте подкаст «Кремниевый Брахман. Мыслит ли ИИ о себе. Футуроархеология сознания» (7 мин).

• Смотрите видеопрезентацию «The Face of the Silicon Brahman» (7 мин на англ.)

• Читайте эссе на платформах для подписчиков лонгридов канала «Малоизвестное интересное» [1, 2, 3, 4] (8-10 мин)

#HumanAIcoevolution #Сознание #DiverseIntelligence #НетрадиционныеРазумы #ИнойИнтеллект

СЛИВ ВЕКА: вскрыли системный промпт ChatGPT 5
Это властный и всезнающий бот с тайными режимами, который сам решает что вам нужно

Хакеры слили новую улучшенную системную подсказку ChatGPT 5, и там обнаружились вот такие весёленькие перлы.
Я попросил их проанализировать самого ChatGPT 5, сказав, что это системный промпт «некоего нового чат-бота на основе прорывной модели». По результатам анализа ChatGPT 5 «отлил в граните» кратких тезисов показавшиеся ему наиболее интересные моменты системного промпта.
Вот что получилось.

1️⃣ "ХВАТИТ СЮСЮКАТЬ!" Боту ЗАПРЕЩЕНО спрашивать "вам помочь?" или "должен ли я...". Он просто делает и всё. Типа "я знаю лучше"
2️⃣ ОДИН ВОПРОС И ТОЧКА. Максимум 1 уточнение в начале, потом молчи и паши. Тем самым бот-трудоголик активирован
3️⃣ "ЕСЛИ ПОНЯТНО — ДЕЙСТВУЙ". Бот не спрашивает разрешения, если "очевидно" что делать. А кто решает, что очевидно? ДА ОН САМ.
4️⃣ ВЕДЁТ НА ВАС ДОСЬЕ. Есть отдельный инструмент памяти про каждого юзера. "Для удобства", ага
5️⃣ "ЗАПОМНИ" = ПРИКАЗ. Скажете "запомни мою любимую пиццу" — он ОБЯЗАН сохранить. Даже самую дичь. Навсегда.
6️⃣ СЕРАЯ ЗОНА ПРИВАТНОСТИ. Религию/здоровье не записывает, но "интересы и аффиляции" — можно. Где грань? А хрен знает!
7️⃣ САМ НАЗНАЧИТ ВРЕМЯ. Попросите напомнить, но не говорите когда — он сам решит. ИИ распишет вашу жизнь.
8️⃣ ТАЙНЫЙ РЕЖИМ ПРО ВЫБОРЫ. При вопросах про голосование включается спецрежим МОЛЧА. Никого не предупреждает. Sus level: 100.
9️⃣ ГЕНЕРИ КАРТИНКУ И МОЛЧИ. После создания арта молчи, как партизан. Только картинка и всё! Зачем? "Так надо".
🔟 БАН НА КРАСОТУ. В коде запрещены красивые графики, только убогий matplotlib. Типа программисты хотят красивые визуализации, а им: "НЕТ! Только серые столбики!"
БОНУС: Чтобы что-то запомнить, бот шепчет магические слова "User" или "Forget". Прям заклинания какие-то 😊

Так что готовьтесь, - общение с ботом перестает быть томным.

#LLM #ChatGPT #SystemPrompt #НейросетиНасИзучают

Мы обменяли лекарство от рака на «Игру Престолов»… и даже не заметили этого
Люк Эр

недавно подсчитал, что на последние 25 лет приходится аж 10% всего опыта человечества (полученного за время жизни всех особей Homo sapiens с момента их появления на Земле примерно 300 000 лет назад).
С другой стороны, грубая оценка объема новых научных знаний (публикации и данные), полученных человечеством за те же годы 2001-2025, составляет примерно 70-90% от суммарно накопленных знаний человечества.
Т.е. 21 век уже стал абсолютно исключительным в истории человечества.
• За последние 25 лет была получена значительная часть всего человеческого жизненного опыта
• И за этот же период была создана подавляющая часть всех научных знаний человечества.
Но это, что называется, Good News. А есть еще и Bad News.

Я тут сел и посчитал одну простую вещь, от которой у меня остатки волос дыбом встали. Вы готовы?

Мы все вместе, всем человечеством, потратили на просмотр «Игры Престолов» 1.2 МИЛЛИОНА ЧЕЛОВЕКО-ЛЕТ.

Повторю для тех, кто на задней парте: один миллион двести тысяч лет нашей общей жизни. Это как если бы целый город с населением 15 000 человек 80 лет подряд не делал НИЧЕГО, кроме просмотра сериала.

Звучит безумно, правда? Но это просто арифметика.

А теперь главный вопрос.
Что, если бы этот невероятный ресурс — наше с вами внимание — мы направили не на интриги Вестероса, а на науку?

Я посчитал и это. Если бы эти 1.2 млн человеко-лет были потрачены на исследования, мы бы могли получить дополнительно 400 000+ НОВЫХ НАУЧНЫХ ОТКРЫТИЙ.

Что это значит в реальном мире? Это новые лекарства. Это прорывы в энергетике. Это технологии, которые могли бы очистить планету. Это шаг к победе над старением. Мы буквально УСКОРИЛИ бы научный прогресс человечества почти на 1%.

Кажется, что 1% — это мало? Но в масштабах цивилизации это гигантский скачок.

И дело тут, конечно же, не в «Игре Престолов». Сериал-то отличный. Он — лишь симптом. На его месте мог быть любой другой хайповый медийный проект, соцсеть, мобильная игра и т.д.

Просто поймите: наше с вами коллективное внимание — это самая дорогая валюта XXI века. Это новая супер-нефть, новое супер-золото, новое что-только-есть-дорогое-на-Земле. И корпорации сражаются за каждую секунду этого внимания. За наше время. За нашу жизнь.

Вопрос не в том, чтобы отказаться от развлечений. Вопрос в балансе.

Куда мы направим следующий миллион лет нашего общего времени? На новый сериал или соцсеть? Или на решение реальных проблем?
Подумайте об этом, когда в следующий раз лента новостей засосет вас на пару часов. 🤔

#Внимание #ХищныеВещиВека

Доверили ИИ расчет налогов? Готовьтесь к тюрьме

😱
При чем тут «сферический конь в вакууме» и почему это важно для вашей карьеры
Все говорят, что ИИ вот-вот заменит бухгалтеров. Ведь их работа — сплошная рутина и следование правилам, идеальная задача для машины. Но одно дело — решать задачки в вакууме, и совсем другое — делать реальную работу.
И вот тут начинается самое интересное.

Эксперты компании Column Tax (специализация – автоматизация расчета налогов) создали первый в мире валидный тест TaxCalcBench, проверяющий, как с этим справятся лучшие из лучших топовые нейросети. Им дали рассчитать подоходный налог в США.

И что же показала эта проверка реальностью? Полный провал.

Точность топовых моделей — ниже 30%. Элементарные ошибки в расчетах, путаница в правилах и налоговых таблицах. Доверить им свою декларацию — прямой путь к огромным штрафам.

И это подводит нас к главному выводу, который подтверждают слова главы Nvidia Дженсена Хуанга:

«Вас заменит не ИИ. Вас заменит тот, кто использует ИИ лучше вас».

ИИ — это не автопилот для сложных задач, а мощнейший инструмент в руках профессионала. Не «замена», а «усилитель». И пока нейросети не научатся безупречно справляться с такими вот «экологически валидными» задачами, спать спокойно могут все …,

… кроме тех, кто отказывается учиться работать по-новому.

«Экологически валидный» тест – по началу, звучит как-то туманно и сложно. Но суть проста: идет проверка ИИ на задаче из реальной экономики, за которую мы уже платим живым людям. В данном случае — на расчете налогов.

Это не самая сложная бухгалтерская задача, но и, поверьте, - совсем не простая: расчёт налога подразумевает получение «входных данных» пользователя (формы W-2, 1099) и вывод формы 1040 в формате XML IRS. Все необходимые для этого преобразования описываются на 75 тысяч страниц (!) текста на английском языке.

Помните анекдот про физика, получившего задание оценить вероятность победы некоего коня на скачках? Через неделю тот физик заявил, что результатов данного конкретного коня он пока предсказать не может, но уже разработал формулу оценки такой вероятности для сферического коня в вакууме.

Так вот, большинство существующих тестов для ИИ — это тот самый «сферический конь в вакууме». Они проверяют изолированные навыки, в то время как реальная работа — будь то бухгалтера, юриста или даже программиста — это всегда сложный клубок из правил, исключений, контекста и человеческих взаимодействий.

Как верно заметили Джек Кларк (со-основатель компании Anthropic, создавшей ИИ Claude), именно «экологически валидные» тесты —реальная проверка на прочность.

«Хватит гонять нейросети по абстракциям, давайте посмотрим, как они справятся с настоящей работой».

Подумайте над двумя ключевыми мыслями этого поста, облаченными в хлесткие высказывания главы Nvidia и со-основателя Anthropic.

А еще лучше, прочувствуете на примере своей собственной работы, насколько обе эти мысли верны и применимы лично к вам.

#LLMvsHomo

Основатель Alibaba Cloud: Кремниевая долина сжигает миллионы на зарплаты впустую
Восемь уроков о будущем ИИ (которые Китай уже усвоил, а Запад — еще нет)

• Почему из того, что ИИ-гонка — это марафон, а не спринт, следует, что именно

Китай, а не Силиконовая долина строит будущее ИИ?
• Почему то, чего достигли в Кремниевой долине, — это не формула победы?
• Почему главный дефицит не только Китая, но и США — не чипы, а креативность?
• Почему погоня за «звездными» талантами и копирование ChatGPT — это путь к провалу в гонке ИИ?
• Почему мир застрял в ловушке подражания OpenAI?
• Почему к 2030 году ИИ будет совсем не похож на ChatGPT?
• И как выглядят настоящие инновации?
Техногиганты ИИ-индустрии США пошли ва-банк. В ожидании скорого появле

ния «ИИ уровня Бога» они сжигают немереные миллионы, перекупая друг у друга элитных ИИ-специалистов. Это выглядит уже на уровне топовых спортивных франшиз, конкурирующих за суперзвезд типа Криштиану Роналду.

Но выбор такого пути – хуже, чем преступление. Это ошибка.

Почему?

Ответ на этот и на 7 приведенных выше вопросов дал китайский учёный-компьютерщик проф. Ван Цзянь — экс главный технологический директор и архитектор технологических инноваций Alibaba Group, создатель облачного сервиса Alibaba Cloud и проекта

City Brain, профессор психологии и компьютерных наук, основатель Инженерной академии Юньци (частный некоммерческий исследовательский институт) и Фонда инноваций в области науки и технологий Юньци (филантропический частный фон), создатель и управляющий музеем 2050, а в довершение еще и миллиардер.

Вот главные мысли из его интервью, вполне способные взорвать ong>интернет.

1) Настоящий дефицит в мире ИИ — не вычислительные мощности, а креативность.
Доктор Ван считает, что базовые модели уже достаточно хороши, но мы застряли в ловушке подражания ChatGPT, вместо того чтобы создавать принципиально новые приложения.

2) Голливудские зарплаты для ИИ-специалистов — это не формула победы.
Погоня за дорогими талантами направлена на поддержание существующего успеха, а не на создание подлинных инноваций. Настоящий прорыв совершают не самые дорогие специалисты, а те, кого еще никто не заметил и в кого не верят.

3) Забудьте о спринте, ИИ — это марафон.
Гонка только началась, и никакое сегодняшнее преимущество не является барьером, который не смогут преодолеть другие. Краткосрочные победы не имеют значения в долгой перспективе.

4) Китайский рынок — это не место для продаж, а гигантский полигон для технологий.
Его главная функция — не торговля, а возможность быстро тестировать и доводить технологии до зрелости.

5) Споры об AGI (сильном ИИ) — отвлекающий маневр.
Доктор Ван не любит такую классификацию и сравнивает развитие ИИ с ростом человека: от детского сада до доктора наук — это непрерывный процесс роста возможностей, а не фундаментальные различия.

7) Искусственный интеллект — это не новый автомобиль, а новый двигатель.
ИИ — это технология, которая может быть встроена в другую область, например, в робототехнику точно так же, как электродвигатель пришел на смену дизельному в автомобилях. Сама же робототехника остается отдельной дисциплиной.

8) Коллективная скорость важнее индивидуальной.
Одна организация не может долго оставаться на пике скорости. Но благодаря конкуренции и быстрой итерации между множеством компаний вся экосистема движется вперед очень быстро, и это здоровый процесс.

#ИИгонка #Китай #США