Эффект студента: как дообучение и сжатие меняют архитектуры
Аналитический центр red_mad_robot рассказывает и комментирует главные новости индустрии за неделю с 8 по 12 сентября.
🟥Ant Group и Inclusion AI предложили Merge-of-Thought Distillation (MoT):
фреймворк, который чередует процесс дообучения «модели-студента» на данных «моделей-учителей» и объединения весов получившихся моделей. Метод снижает риск катастрофического забывания и даже помогает улучшать самих учителей.
Почему это важно: MoT позволяет создавать более точных и устойчивых студентов при минимуме данных. Он не только повышает потолок качества и снижает переобучение, но и упрощает обучение reasoning-моделей, делая его масштабируемым.
🟥 Исследователи представили SGR (Schema-Guided Reasoning) и SGR Deep Research:
• SGR делает работу агентов прозрачной и предсказуемой. Вместо хаотичного выбора инструментов модель следует фиксированной схеме «Анализ → Поиск → Обработка → Вывод», что повышает эффективность — особенно для малых моделей. Например, Qwen3-4B с Function Calling показала 2%, а с SGR достигает 85-90%.
• SGR Deep Research — реализация подхода для поиска и анализа информации в интернете. Система использует двухфазную архитектуру, поддерживает лёгкие LLM, совместима с OpenAI API и позволяет агентам продолжать работу через уникальные ID.
Почему это важно: SGR делает поведение агентов прозрачным и воспроизводимым, что упрощает тестирование и контроль качества. SGR Deep Research позволяет использовать даже малые модели как полноценных агентов и потенциально снижает стоимость внедрения, открывая путь к масштабированию корпоративных AI-систем.
🟥 Thinking Machines Lab объяснила, почему ChatGPT может давать разные ответы даже при температуре 0. Расхождения возникают не из-за случайности или параллельных вычислений на GPU, а по причине группирования запросов. Сервер обрабатывает пачки запросов одновременно, и их размер влияет на результат. Таким образом, на один и тот же вопрос ChatGPT может давать разные ответы в зависимости от загрузки.
Почему это важно: недетерминизм мешает использовать LLM в чувствительных сценариях — при разных ответах на один и тот же вопрос усложняется автоматизация, тестирование и верификация. Однако исследование показывает, что проблему можно решить инженерными методами. Это создаёт условия для более стабильных и управляемых AI-систем без потери скорости или качества.
🟥 Meta SI Labs (запрещена в РФ) показала REFRAG: фреймворк, который позволяет ускорять LLM в 31 раз и обрабатывать в 16 раз больше контекста без потери точности. Текст разбивается на блоки по 16 токенов и сжимается в векторы (chunk embeddings), после чего специальная reward-модель отбирает значимые фрагменты. Важные блоки передаются напрямую в LLM, остальные — в виде эмбеддингов, а итоговый ответ генерируется уже на этом сжатом вводе.
Почему это важно: REFRAG открывает путь к ускоренному инференсу без потери качества — его уже называют потенциальной революцией в корпоративном AI. Системы смогут обрабатывать длинные документы и диалоги, оставаясь быстрыми и точными. Но подход требует не только основной модели, но и как минимум двух вспомогательных, а также обучения reward-модели. Это повышает порог входа, и бизнесу придётся оценивать соотношение выигрыша в скорости и затрат на инфраструктуру, данные и интеграцию.
Также на неделе:
• Meta (запрещена в РФ) продемонстрировала новый способ ускорения инференса LLM
• Meta SI Labs (запрещена в РФ) представила RL-подход, в котором модель обучается через самоигру и осваивает сложные стратегии
• Alibaba выпустила аудиомодель с распознаванием речи и поддержкой русского языка
• Tencent показала RL-метод, развивающий у LLM способность к параллельному мышлению
• Google Research анонсировал систему для генерации научного кода через LLM и Tree Search
• Anthropic научил Claude создавать таблицы и презентации
• ByteDance запустил генератор изображений, похожий на Nano Banana
• ByteDance продемонстрировал модульный RL-фреймворк для обучения агентов многошаговому принятию решений
#AI_moment #тре
ндвотчинг
↗️ red_mad_robotget="_blank" rel="nofollow">
0
Показать ещё
