Итак, исходные веса gpt-oss OpenAI моделей - это, на мой взгляд, самое крутое, что давали в свободное пользование со времен Llama. Модели очень хороши и умны.

Но вот с реализацией reasoning у линейки GPT-5 есть вопросы.

Во-первых, при запуске gpt-5/mini/nano (OpenAI API) со Structured Outputs код периодически падает с ошибкой парсинга. Хотя, казалось бы, такое не должно быть возможным - как может constrained decoding по схеме генерировать код, который не соответствует схеме?

При этом тот же код никогда не падает при работе с gpt-4o.

Скорее всего, проблема в том, как constrained decoding интегрировали в новую reasoning схему у gpt-5-mini/nano на новых inference серверах.

Во-вторых, GPT-5 Pro (самая умная) субъективно заметно поглупела. Например, если просто взять весь код с этой ошибкой парсинга и задать вопрос в DeepResearch про первопричины, то эта модель откровенно начинает глупить: "а в чем проблема? А как должен работать constrained decoding? итп". Плюс в процессе работы постоянно упускает из виду моменты, про которые мы уже говорили в рамках контекста.

Та же o3 работает куда лучше и сразу самостоятельно начинает копать в первопричины.

Но в итоге обе сходятся во мнении, что проблема, скорее всего, в сырой реализации constrained decoding на моделях GPT-5.

TLDR;
- gpt-5 в OpenAI API пока плохо работают с Structured Outputs. Ждем фиксов или используем локально gpt-oss со своим constrained decoding
- GPT 5 Pro субъективно стал слабее. Используем пока o3.

Замечали такое?

Постоянные читатели канала помнят, что такое у OpenAI происходит периодически:

- Сначала они выпускают что-то мощное.
- Потом - делают подешевле и поглупее
- И только потом делают снова умнее, сохряняя дешевизну

Поэтому снова ждем третьей стадии

Ваш, @llm_under_hood 🤗

через 40 минут начнется. Аудитория собралась на 80% мое поколение. Школота слушает Тейлор Свифт.🤢