Пятничный, твой — мемотред #шитпост

🌸Коллапс NeurIPS?🌸
#nlp #про_nlp #nlp_papers

В продолжение субботней беседы с Михаилом Бурцевым, приведу некоторые цифры этого года — и аргументы в пользу того, что хотя бы частичная автоматизация исследований вокруг ИИ и их рецензирования совершенно необходима.

🌸В этом году на NeurIPS было подано рекордные 25 000 статей.

Много ли это?
🟣это примерно в 60 раз больше чем в 2010
🟣в три раза больше чем в 2019
🟣 примерно на 29% больше чем каждый прошлый год начиная с 2017

25 тысяч статей — это бутылочное горлышко для рецензирования.
🟣если считать, что одну плохую рецензию можно написать за полчаса, то это 12.5 тысяч человеко-часов. Если на каждую статью нужно 4 рецензии, что это 50 тысяч часов, то есть чуть меньше 6 лет экспертного совокупного времени
🟣если считать, что на хорошую рецензию нужно 2 часа... Ну вы поняли. 24 года экспертного времени.

Все это для того, чтобы как минимум 20 тысяч этих статей отклонить.

Если так пойдет и дальше, то
🟣 примерно через 15 лет, в 2040, NeurIPS получит больше миллиона статей в год. (25,000 × 1.29¹⁵ ≈ 1.1M).

Пока мы не хотим делать верификации результатов хотя бы частично автоматической, автоматизация написания статей уже происходит.
Рецензирование совершенно точно постепенно тоже станет LLM-based официально.

Ну, и Journal of Universal Rejection тоже уже придуман.

🌸СТРИМ НА РАБКОРЕ: в 20:00 мск🌸

ИИ-агенты и будущее науки: обсуждаем с Михаилом Бурцевым!
Приходите, присылайте вопросы — в комментариях к этому посту и на стриме!

– Может ли ИИ написать научную статью? Сделать что-то полезное для учёных?
– Что такое агенты, как может выглядеть автоматизация науки в целом?
— Компьютерные науки против всех? В каких областях, помимо компьютерных наук, мы наконец увидим общественно полезные плоды применения ИИ?
– Какие пререквизиты и какая инфраструктура нужна, чтобы случилась сингулярность?

YouTube:
🟣https://youtube.com/live/fVOhBTpBeuE?feature=share

🌸Агенты пишут и рецензируют статьи🌸
#nlp #про_nlp  #nlp_papers

На этой же неделе прошла первая открытая конференция, где все статьи были написаны и отрецензированы агентами — Agents4Science от Стэнфордского университета.

Acceptance rate не публикуют, но он был, много чего отреджектили!
Список принятых статей можно посмотреть на сайте конференции. Вот мои любимые:
🟣BadScientist: Can a Research Agent Write Convincing but Unsound Papers that Fool LLM Reviewers? | OpenReview — это вообще супер, мой абсолютный фаворит, заслуживает отдельного поста
🟣Behavioral Fingerprinting of Large Language Models | OpenReview — оценка эмоциональных способностей разных LLM
🟣``You are a brilliant mathematician'' Does Not Make LLMs Act Like One | OpenReview — про ограничения Persona prompting
🟣Diverse Inference for Solving ARC at a Human Level | OpenReview—
агенты зарешивают ARC challenge


А еще можно посмотреть, как человеки представляют доклады, сделанные агентами 😈
🟣https://youtu.be/7pXqAeedqOo?si=-xZ2sdlqXjbjdH1O

На этой неделе у нас был лэйофф. К сожалению, тоже достаточно типичная вещь в faang, как и реорги.

Меня не уволили! Вопрос удачи, так что я буду вам продолжать писать про ИИ агентов.

А в субботу будет стрим про них, с гостем!