Ровно год назад, 30 сентября 2024 года, IT-компания ABBYY, которая когда-то была примером международного успеха российского IT, уволила несколько сотен разработчиков, релоцированных из России в 2022-м. Это событие важно с разных сторон: и как веха трансформации области Natural Language Processing, которую компания проморгала, и как пример дискриминации, с которой сталкиваются россияне в эмиграции (увольняли «по паспорту»), и как образец нарушения корпорацией трудовых прав. В годовщину печального события перечитываем хронику взлета и падения ABBYY от её бывшего сотрудника, а ныне главного редактора «Системного Блока». 

Что за ABBYY и при чем тут лингвисты и NLP?

История ABBYY началась в 1989 году, когда студент МФТИ Давид Ян решил сделать электронный словарь для подготовки к экзамену. Так появились Lingvo, а затем — система распознавания символов FineReader. Продукты ABBYY развивались, и компания стала глобальным лидером оптического распознавания в 1990-е и 2000-е. Затем ABBYY двинулась покорять машинный перевод. 

На вооружение они взяли идеи известных лингвистов — в первую очередь Модели «Смысл ⇔ Текст» (прочитать о ней можно в нашем интервью с И. А. Мельчуком). Амбиция была в том, чтобы разобрать человеческие языки как формальные структуры на базе семантической иерархии. Но естественный язык устроен противоречиво и постоянно изменяется, подход оказался негибким и немасштабируемым

Что пошло не так?

В 2006-м появилась первая версия Google Translate. Она была несовершенной, но главное, что в ней был другой — статистический — подход. И масштабируемость. Для её улучшения не нужны были сотни лингвистов, только еще больше примеров перевода. В 2010-х стало ясно, что никаких шансов тягаться с Google Translate у ABBYY не было. С перевода ABBYY переключилась на задачи информационного поиска и извлечения информации из текста, но и там столкнулась с теми же проблемами: описания языка на базе лингвистической теории оказались немасштабируемыми, а решения уступали подходам на основе чистого машинного обучения. 

C новой проблемой компания столкнулась весной 2022 – им пришлось выехать из России, чтобы сохранить зарубежных клиентов. Следующим ударом стали большие языковые модели, который научились выполнять те же задачи, что и классические системы распознавания от ABBYY. Сейчас от компании осталась только вывеска, действующие продукты и небольшое количество менеджеров и специалистов по продажам.

Какие уроки мы извлекаем?

За 70 лет исследований ИИ стало ясно, что самые общие методы, опирающиеся на масштабирование вычислений, намного эффективнее всех остальных. А желание ABBYY сделать универсальную NLP-систему с опорой на лингвистическую теорию оказалось утопией. 

И всё-таки ABBYY успела сделать много важного: открывала кафедры на Физтехе и в РГГУ, оцифровывала наследия Льва Толстого и архива Большого театра. А еще благодаря ей появился «Системный Блокъ», ведь сооснователи издания познакомились именно там. И именно там вы сможете прочитать полную версию поста с мемами, фотографиями и более детальным описанием цифровой «Вавилонской башни», которую пыталась строить ABBYY.

🤖 «Системный Блокъ» @sysblok

Уже почти сто лет читатели и исследователи пытаются выяснить, кто написал «‎Тихий Дон» — всё-таки Шолохов или кто-то другой? В новом тексте наш главный редактор Даниил Скоринкин (канал Цифровой филолог) рассказывает о том, какие ответы на этот вопрос предлагают стилометрия и количественные методы.

✍🏼 Почему вопрос авторства Шолохова вообще возникает?

Роман Шолохова быстро завоевал популярность у читателей, но юный возраст автора, отсутствие у него формального образования и стремительный переход от небольших рассказов к эпопее вызвали подозрения в плагиате.

Главных кандидатов на «настоящее‎» авторство оказалось двое: Фёдор Крюков и Вениамин Краснушкин (он же Виктор Севский). Оба происходили из донских казаков, оба были литераторами и журналистами, оба — свидетели и участники сначала Первой мировой, а затем Гражданской войны на Дону на стороне белых. Оба бесследно пропали в 1920-м году. Еще один известный «альтернативный автор» Шолоховских текстов — Александр Серафимович (настоящая фамилия — Попов). Сам он, кстати, был одним из главных защитников авторства Шолохова и даже возглавлял в конце 1920-х комиссию по установлению истины вокруг «Тихого Дона».

📊 А что говорит статистика?

Группа шведско-норвежских исследователей во главе с профессором-русистом из Осло Г. Хьетсо исследовала роман в конце 1980-х. Сопоставив текст «Тихого Дона‎» с другими текстами Шолохова и Крюкова, они выяснили, что длина предложений и распределение по ним частей речи скорее указывают на авторство Шолохова.

Однако проблема в том, что в тексте можно посчитать очень много что, для всего будет какое-то численное выражение. Вот только откуда мы знаем, что тот или иной параметр связан с авторством? Например, по длине предложений «Тихий Дон‎» с тем же успехом можно было бы приписать Достоевскому.

Супруги Фоменко, один из первых «цифро-гуманитарных тандемов» в истории советской науки, предложили свой метод поиска авторства — на основе средней доли служебных слов. Их эксперименты указали уже на авторство Крюкова. В итоге две работы — каждая на основе своего математического аппарата — получили противоположные результаты. Доверие к количественным методам было подорвано.


📈 Что меняет (и чего не меняет) появление метода Delta

Начало XXI века — время рождения современной стилометрии, основанной на методе Delta (мы часто упоминанием этот метод, а здесь рассказывали о нём подробнее). Если применить его к Шолохову, можно выяснить, что, во-первых, первые три тома «Тихого Дона‎» стилометрически близки ранней прозе автора. Во-вторых, что сближений произведений Шолохова с текстами других известных предполагаемых кандидатов — нет. В-третьих, что тексты, автором которых считается Шолохов, стилометрически неоднородны и ведут себя в эксперименте иначе, чем тексты других современных ему писателей.

И всё же даже этих выводов может не быть достаточно, чтобы уверенно утверждать, что фамилия на обложке «Тихого Дона‎» принадлежит его истинному автору. Подробнее об этой литературоведческой загадке и о том, как исследователи подступались к ней в разное время, узнаете из полной версии текста.

🤖 «Системный Блокъ» @sysblok

Как Север может оказаться южнее Москвы? С какими сложностями сталкивается исследователь языков и народов Арктики? Где лучше искать носителей чукотского языка и культуры? Как правильно дать ребенку чукотское имя и как смириться с языковой утратой? Что изменилось в жизни чукчей за 100 лет? Об этом «Системный Блокъ» поговорил с Инной Зибер, заведующей Научно-учебной лабораторией социогуманитарных исследований Севера и Арктики НИУ ВШЭ.

Экспедиции

Инна Зибер и её коллеги регулярно ездят в экспедиции в поселки Чукотки — именно там живут пожилые, а значит и самые опытные носители языка. Ещё интереснее – попасть в тундру, где люди используют чукотский язык как необходимый.

Раньше Инна ездила в Удмуртию, к бесермянам, где есть и старшие представители культуры, которые лучше знают язык, песни, хозяйственную деятельность, и более урбанизированная молодежь. Но все-таки разница между традиционной бессермянской жизнью 100 лет назад и сегодня меньше, чем у чукчей.

Иначе ситуация выглядит и в Поволжье или Прикамье, где носители привыкли к лингвистам и могут, например, сами поправить транскрипцию, глядя ученому в компьютер.

На Чукотке все по-другому. Сначала 8–9 часов летишь на самолете до Анадыря, потом ждешь погоды. Если повезло — долетаешь до центра района. <...>

Когда ты через много-много дней наконец добираешься до поселка, который вообще-то один из самых легкодоступных на Чукотке, ты смотришь на людей и понимаешь, что они здесь все это время занимались делом. Ты сидишь в большом городе над книжками, с компьютером, рассчитываешь дорогу до минуты с помощью «Яндекс Карт», а тут у людей совершенно другая жизнь. Погода решает за них, могут ли они куда-то передвигаться. Они должны делать какую-то работу, потому что от этого зависит их жизнь. Если не выделать шкуру и если не сшить одежду пастуху, он замерзнет насмерть в тундре. По сравнению с моей московской жизнью, все очень трудно и неудобно.

На язык и традиции Чукотки сильно повлияла советская политика. Критическими точками изменения стали стали коллективизация и увоз детей из тундры в поселковые интернаты. И если поколение, которое в 1950-1960-х уезжало в интернат и возвращалось летом к своим родителям в тундру, еще остается носителями культуры, то более молодые — уже нет.

Русское влияние сказалось и на представлениях о религии, потому что на место шаманов пришло христианство, и отношение к этому у местных жителей двойственное.

«Русской» одеждой может называться и финская куртка, и китайская. «Русский» дом — это и канадский домик, и советский домик. Поэтому русское — это все, что нетрадиционное. И оно может оцениваться и положительно, и отрицательно.

Подробнее о работе лаборатории, сохранении традиций на Чукотке, цифровых технологиях в изучении малых языков, а также о мечтах североведов узнаете из полной версии интервью на сайте.

🤖 «Системный Блокъ» @sysblok

Кто из писательниц пропадал из школьной программы почти на 50 лет? Чьи сатирические рассказы трижды оказывались в школьном каноне? И, наконец, чье творчество стали изучать только в 1990-м году?

Предлагаем узнать (или вспомнить!) в нашем тесте, посвященном писательницам в школьном литературном каноне. Кстати, подробнее о них мы рассказывали в этом посте и в карточках.

Пройти тест!

🤖 «Системный Блокъ» @sysblok

Большие языковые модели решают математические олимпиады на уровне чемпионов мира, предсказывают новые химические соединения, пишут код, расшифровывают рукописи, составляют отчеты и выполняют еще множество дел, которые раньше можно было поручить только человеку. А чем они могут помочь учителю? В нашем спецпроекте «ИИ-лайфхаки для вашей профессии» делимся рекомендациями по составлению промптов и определяем «рецепт» идеального запроса.

Плохой промпт

Промпт: Придумай урок по профориентации для школьников.

Почему промпт не даст желаемого результата? В нем совершенно нет конкретики, и нейросеть выдаст вам шаблонный ответ.

пт

Промпт: Ты —

методист, кот

орому нужно подготовить 2-часовое занятие по профориентации для подростков 12-15 лет. Тема: «Необычные и редкие профессии». Типы материалов: минимум текста, максимум схем, визуализации, картинок. На основе предоставленного материала есть несколько задач:

1. Определить черты профессий, о которых рассказывается в видео.
2. Определить ее перспективы и востребованность в других странах.
3. Каждый презентует по одной профессии.

Для составления заданий надо учесть, что у детей слабая читательская грамотность и занятия по профориентации их в целом не увлекают.

В хорошем промпте должны быть…

1. Роль, которую берет на себя ИИ (учитель начальных классов, методист и пр.);
2. Цель и задачи урока;
3. Возраст и особенности учеников в классе (наличие или отсутствие читательской грамотности, билингвальность, СДВГ и пр.);
4. Образовательные результаты через конкретные глаголы-инфинитивы и числа (например, «уметь перечислять не менее 6 профессий и не менее 3-х особенностей каждой из них»);
5. Желаемые форматы материалов: видео, картинки, таблицы.

И это — только половина тех формулировок, которые сделают ваш промпт качественнее, а результат выдачи нейросети — точнее. На странице спецпроекта «ИИ для учителей» вы найдете другие советы и лайфхаки. А в статьях «Первые шаги с DeepSeek» и «Знакомство с ChatGPT» мы рассказываем все, что нужно знать о том, как пользоваться двумя самыми популярными нейросетями.

🤖 «Системный Блокъ» @sysblok