Стартап с каталогами данных OpenDatSoft превратился на днях в компанию Huwise, а свой продукт теперь позиционируют как data product marketplace. Продукт у них довольно любопытный, структурированное храненилище данных с возможностью получения данных через API и в разнообразных форматах: JSON, CSV, Parquet, GeoJSON и др. Плюс довольно неплохой эксплорер данных с наглядным их просмотром и анализом. Часть внедрений этого каталога были внутрикорпоративные или в режиме компания + её партнёры, но не как каталоги открытых данных. Возможно они почувствовали что на корпоративном рынке денег больше и он выгоднее чем продолжать охватывать муниципалитеты и конкурировать за это с ArcGIS с их ArcGIS Hub.

В любом случае это сдвиг с бизнес модели порталов открытых данных в дата каталоги/дата маркетплейсы для корпоративных задач. В 2022 году они привлекли $25 миллионов инвестиций, а в общей сложности за 10 лет $35 миллионов, на свой SaaS продукт. Интересно как он будет меняться дальше, но чем больше он отходит от открытости тем он менее интересен, поскольку есть альтернативы с открытым кодом.

#opendata #startups #datacatalogs

Основатели Polars, высокопроизводительного движка на базе Rust для работы с датафреймами подняли $18 миллионов инвестиций на их облачный продукт Polars Cloud в котором обещают интегрировать обработку данных в облаке и сделать её потоковой. За основателей продукта можно только порадоваться, а как это отразится на их открытом продукте пока непонятно, но думаю что достаточно очевидно что явно они меньше смогут уделять внимание открытой части кода и будут больше внимание уделять коммерческому облачному продукту. Впрочем конкуренция суровая и у Polars в избытке альтернатив начиная с DuckDB, продолжая облачным Clickhouse и ещё много какими другими продуктами.

Однако стоит обратить внимание на стратегию которая привела к успешному привлечению инвестиций. Ребята взяли готовый продукт и сохраняя его интерфейс переписали его в более производительную версию за счёт переписывания на низкоуровневом языке, в данном случае Rust.

#opensource #startups #dataengineering

И ещё немного про рынок труда в ИТ, главное изменение в том что рынок перебалансировался и снова стал рынком компаний, а не соискателя. Для соискателей - это боль и существенное изменение, но пока этот баланс не уравновесился до конца то и конфликты происходят из-за несоответствия ожидания сторон. Соискатели ищут зарплату выше рынка и условия работы такие какие были несколько лет назад, компании сталкиваются с тем что теперь необходимо делать техническое интервью с каждым потому что слишком много желающих решать домашние задания с помощью ИИ.

Если говорить про РФ то всё идёт к тому что тема импортозамещения уходит в ИТ крупняк, у ИТ компаний постепенно начнут подрезать льготы, а "лайфхаки" вроде зарегистрировать компанию в Сколково и нанимать самозанятых вместо трудовых отношений могут очень быстро перестать работать. Плюс перегрев рынка большим числом окончивших "быстрокурсы" специалистов.

В мире всё идёт стремительно в сторону автоматизации ИТ процессов с помощью ИИ и тотальной замены всех и вся на ИИ не произойдет, но сокращения идут и продолжатся.

Всё это к тому что хорошие психологи всегда в цене:) Или коньяк, армянский коньяк актуален всегда;)

#thoughts #it

Я тут всё подумывал рассказать о том что творится в мире с открытыми данными с точки зрения сообщества, но как не начну текст получался слишком длинным, сжать никак не получалось, но я попробую хотя бы кратко изложить:
1. Главная проблема всего явления открытых данных в том что данные - это не инструменты, а топливо. С одной стороны все хотят много бесплатного хорошего топлива, а с другой топливо - это не инструмент. Если для открытого кода появилось бизнес модели в основе которых открытый продукт под свободной лицензией, а коммерческий продукт - это, обычно, SaaS. Для открытых данных так не получается и, в лучшем случае, это бизнес как у Фонда Викимедия - открытое идёт обычными дампами, а коммерческое - как дампы адаптированные для ИИ.
2. Как и многие другие области жизни связанные с данными открытые данные активно пожираются ИИ. Кто-то из активистов демотивировался тем что усилия предпринимают они, а зарабатывают на этом бигтехи, кто-то быстро убежал/убегает заниматься ИИ агентами (в основном наиболее технически подкованные), кто-то выпадает из мейнстрима всё больше и дата инженерия/дата сайенс и открытые данные пересекаются плохо.
3. Практически все компании которые делают инструменты для работы с открытыми данными (Datopian, Link Digital, OpenDataSoft) и др. в мир дата инженерии включены слабо, инструменты их выглядят всё более слабо. Исключения OpenDataSoft и Esri с их ArcGIS Data Hub, из-за изначально хорошей коммерческой стратегии, но рынки внедрения их продуктов весьма ограничены.
4. Сама тусовка по открытым данным весьма левая, анти-бигтеховая, с активным уходом в тематики AI literacy. Гранты от ЕС и близких по духу частных фондов? Все готовы. Взаимодействовать с Microsoft или Amazon или Google по повышению доступности данных на базе облачных платформ или в бизнес интересах ? Нее, не готовы.
5. Основное финансирование открытости данных в межгосударственных организациях уходит на поддержку сообществ в наименее развитых странах глобального юга. Это видно по проектам вроде Global Data Barometer
6. Для развитых стран уже считается что если ты развитая страна то открытость гос-ва и открытость данных - это как бы то что должно быть обеспечено по умолчанию. На это ориентированы рейтинги и мониторинги ЕС и ОЭСР, к примеру.
7. В азиатских странах гораздо более сильный акцент на доступности данных для бизнеса чем для граждан (Южная Корея, Япония, Китай)
8. В науке тема открытых данных просто слилась с тематикой открытого доступа и активно развивается и имеет очень чёткие дисциплинарные границы и особенности.
9. В развитых странах сильные акценты на high-value datasets (датасеты высокой ценности). Не только в Евросоюзе, но там наиболее институционально.
10. В целом российская/русскоязычная тусовка как тусовка одна из крупнейших в мире. Данных мало, а людей немало. В большинстве развитых стран всё наоборот, данных очень много, активистов совсем немного и они довольно сильно фрагментированы.

#opendata #thoughts #community