Команда «Системного Блока» вернулась с Летней школы (это волонтёрский образовательный проект, которые ежегодно проходит в лесу на берегу Волги недалеко от Дубны).

Как и в прошлом году, мы делали на ЛШ мастерскую @datajourschool, посвященную дата-журналистике. 25 участников — лингвисты, журналисты, аналитики данных — две недели изучали, как спланировать дата-исследование, где взять данные, как с ними работать и как делать из них красивые и понятные визуализации. И применяли все это на собственных проектах — исследованиях, партнерами которых выступили:
— благотворительная организация «Ночлежка» @nochlezhka,
— научно-популярный журнал «Кот Шредингера» @kot_sh,
— издательство ОГИ @izdatelstvoogi,
— медиа о культуре российских регионов «В лесах» @vlesah,
— цифровой корпус почтовых открыток «Пишу тебе» @pishuteberu

Но мы не только учились. Под чутким творческим руководством дата-художницы Нади Андриановой выпускники мастерской прошлого года сделали выставку дата-арта, где данные о летнешкольниках были представлены в виде пеньчартов или фигур с картин Малевича.

Участники уехали домой, но мастерская не закончилась: работа над проектами продолжается.

🤖 «Системный Блокъ» @sysblok

«Системный Блокъ» изучил, как в школьном литературном каноне представлены женщины-писательницы. Оказалось, что за последние 170 лет в каноне появлялись имена 36 женщин, которые написали в общей сложности всего 2% произведений, предложенных для изучения.

Некоторые писательницы задерживались в программе дольше остальных. Вы наверняка уже вспомнили Ахматову и Цветаеву, чьи произведения систематически изучаются в школе с начала 1990-х годов. В карточках рассказываем еще о восьми женщинах, оставивших заметный след в школьном литературном каноне, и об их произведениях, которые чаще всего упоминались в школьных программах.

🤖 «Системный Блокъ» @sysblok

Национальный корпус русского языка (НКРЯ) уже давно не просто «собрание» репрезентативных текстов — это огромный комбайн из инструментов для исследования языка. И конечно, в эпоху нейросетевого бума в НКРЯ добавляются новые инструменты на основе нейросетей. Рассказываем коротко о современных технологиях под капотом самого авторитетного русского корпуса:

👯‍♀️ Похожие слова
Инструмент «Портрет слова» показывает лексемы, которые часто встречаются в похожих контекстах. Это не только синонимы, но и антонимы, слова из одной тематической области и др. Основой служит технология word2vec, а модели обучены для каждого корпуса отдельно — можно наблюдать, как ассоциаты слова меняются от «Русской классики» до корпуса СМИ.

🧬 Морфологическая разметка
Каждое слово в корпусе снабжено леммой, частью речи и грамматическими признаками (время, падеж, число и т.п.). Омонимия снимается автоматически, а вся информация подгружается прямо при клике на слово. В основе — модель Rubic, использующая RuBERT и PyMorphy2.

🏗 Морфемный разбор
НКРЯ теперь умеет делить слова на приставки, корни и суффиксы. Причем для разных подкорпусов используются разные подходы: школьный (Тихонов) и академический (Кузнецова и Ефремова). Работают и словарные, и нейросетевые методы — в том числе собственная модель НейроКРЯ🦆 на базе сверточных нейронных сетей.

😡 Анализ тональности
В корпусе соцсетей каждое сообщение снабжено автоматической меткой: положительное, отрицательное или неопределенное. В основе — модель RuRoBERTa, обученная на датасете RuSentiment и размеченных вручную текстах. При поиске можно отфильтровать тексты по тональности.

🏷 Ключевые слова
В корпусе Региональных СМИ к каждому тексту автоматически подбираются теги. Это помогает находить публикации по темам (например, «Пушкин» + «театр») и формировать подкорпусы по интересам. Извлечение реализовано через библиотеку RuTermExtract с рядом тонких настроек.

👉 Подробнее со скриншотами и ссылками — в полной версии статьи 📌

🤖 «Системный Блокъ» @sysblok