🧠 Почему у моделей пропадает «рандомность» во время RL-обучения - и как это чинится

Новая работа разбирает, почему у моделей во время RL для reasoning рушится энтропия (то есть исчезает разнообразие ответов) - и что с этим делать.

Главные выводы:

- 📉 Хорошего набора в ~600 задач хватает, чтобы догнать обучение на 17 000.
Ключ - разнообразие, а не размер датасета.

- 🎯 Reward сужает модель.
При обучении она начинает повторять несколько самых “прибыльных” токенов → энтропия падает → исследование ухудшается.

- 🔄 Меньше энтропии → меньше разнообразия, но измеренная энтропия по промптам почти не коррелирует с точностью.

- ⚙️ Адаптивный энтропийный регуляризатор удерживает «случайность» на целевом уровне, при этом точность продолжает расти.

- 🧪 Off-policy обновления усиливают коллапс, поднимают reward и ломают обобщение — классический overfitting.

- 🧩 Низкое разнообразие данных ускоряет коллапс, но маленький *разнообразный* датасет иногда работает так же хорошо, как полный.

- 🔧 Клиппинг и reweighting позитивных advantage-токенов (например, Progressive Advantage Reweighting) помогают управлять энтропией и борот

arxiv.org/abs/2511.05993

🧭 LinkedIn запускает новую систему поиска людей на базе ИИ — для всех своих 1.3 млрд пользователей.

Как это работает:
- ИИ переводит обычный запрос в связанные навыки и области.
Например, запрос *«curing cancer»* найдёт не только учёных, но и экспертов в онкологии и геномике — и при этом учитывает, насколько человек достижим в вашей сети.

Как обучали:
- Команда вручную собрала “золотой” набор из нескольких сотен–тысяч пар «запрос–профиль».
- На нём сгенерировали синтетические данные и обучили 7B модель-судью.
- Затем дистиллировали её в 1.7B учителя релевантности и отдельных учителей для пользовательских действий (connect, follow).
- Итоговая модель обучалась на мягких оценках через KL-дивергенцию.

Как устроен поиск:
- Первый этап — широкая выборка с помощью 8B модели.
- Второй — компактный ранкер, который обеспечивает точность и при этом дешёв в продакшене.
- Ранкер ужали с 440M до 220M параметров с потерей менее 1% качества — это позволило держать систему дешёвой на таком масштабе.

Технические решения:
- Индексацию пришлось перенести с CPU на GPU — граф людей ведёт себя иначе, чем поиск вакансий.
- RL-сжатие контекста уменьшает ввод почти в 20 раз, а связка ранкера и сжатия даёт ускорение в 10 раз.
- Отдельный LLM-router решает, использовать ли семантический стек или откатиться к классическому лексическому поиску.

Источник: venturebeat.com/ai/inside-linkedins-generative-ai-cookbook-how-it-scaled-people-search-to-1-3

🤖 Хочешь построить своего ИИ-агента? Вот ВСЁ, что нужно!

Один энтузиаст собрал все ресурсы для старта:
📺 видео,
📚 книги и статьи,
🛠️ GitHub-репозитории,
🎓 курсы от Google, OpenAI, Anthropic и других.

Темы:
- LLM (большие языковые модели)
- агенты
- memory/control/planning (MCP)

💡 Всё бесплатно и в одном Google Docs 👉
https://docs.google.com/document/d/1Z5SX89FV6bTy2KKnGGb61xCcS9iPg_fv2USQYi4Wc3g/mobilebasic

Приходите на день открытых дверей ИТ-магистратуры Центрального университета — разберем все важные вопросы, которые помогут принять правильное решение.

О чем будем говорить:
→ Как создаются программы магистратуры в ЦУ, что такое продуктовый подход в высшем образовании и как это делает выпускников реально востребованными на рынке
→ Как университет помогает студентам строить карьеру: от менторства до трудоустройства в топовые компании
→ Какие направления есть в ЦУ и как выбрать то, что приведет к вашим карьерным целям
→ Реальные истории студентов: как они поступали, учились и куда пошли работать

Спикеры — практики с опытом в Google, Яндексе, Т-Банке и Visa, которые сейчас отвечают за образовательный опыт студентов ЦУ.

Когда:
Очно 18 ноября с 19:30 до 21:00 (в Москве с экскурсией по кампусу ЦУ).

Регистрируйся по ссылке!

Реклама. АНО ВО "Центральный университет", ИНН 7743418023, erid: 2RanykNYxHY

Оценки компаний становятся просто невероятными.

Mira Murati ведёт ранние переговоры о новом раунде инвестиций - по оценке около $50 млрд. Это в 4 раза больше, чем всего четыре месяца назад.

В июле её стартап уже объявил один из крупнейших сид-раундов в истории, привлекая $2 млрд при оценке $12 млрд.

Теперь разговор идёт о пятидесяти.
Безумие.

https://www.bloomberg.com/news/articles/2025-11-13/murati-s-thinking-machines-in-funding-talks-at-50-billion-value