7027
I write about Open Data, Procurement, e-Government, Open Government, Budgets, Privacy and other govtech stuff Chat https://telegram.me/begtinchat Facebook - https://facebook.com/ibegtin Secure contacts ivan@begtin.tech
Европейцы всё активнее обсуждают цифровой суверенитет и независимость от американских технологии, в особенности big tech'ов. .
Из свежего о чём стоит знать - это в недавних слушаниях [1] в Сенате Франции представитель Microsoft отказался под присягой давать гарантию что спецслужбы США не могут получить доступ к данным европейских граждан в европейских ЦОДах Microsoft в любой момент.
Поэтому в том что касается локализации данных - это вопрос не только физического их местонахождения, но и то кто имеет или в любой момент может получить доступ к этим данным.
Ссылки:
[1] https://www.senat.fr/compte-rendu-commissions/20250609/ce_commande_publique.html
#europe #regulation #clouds
Минэк опубликовал видео с ответами на вопросы про Портал открытых данных
На удивление, видео неплохое и даже содержательное (/channel/minec_russia/10643): есть ответы на часть вопросов, обсуждавшихся в профильных чатах, даже опубликовали тайм-коды.
Но, публиковать только в формате видео ответы на волнующие пользователей-айтишников вопросы - это не тот формат коммуникации, который можно было бы назвать удобным. Продублировать видео текстом-интервью или FAQ было бы намного удобнее.
Нерешенными все еще остаются, как минимум, следующие вопросы:
- Почему Минэк не публикует и не создает свои открытые данные?
- Почему полностью обошли стороной данные по финансам? От Минфина и Казначейства датасетов на портале нет, Казначейство, правда, вскользь упомянули в конце видео в разделе "планы».
- Почему на портале не опубликованы условия (лицензия) использования открытых данных? В разделе «Нормативные документы» можно найти типовые условия почти 10-летней давности, но надпись «Все права защищены» в футере сайта заставляет сомневаться в возможности использования данных.
- Чат-бот, судя по тексту в видео, починили. Но он до сих пор не может ответить ни на один вопрос и просто молчит.
- С момента открытия Портала открытых данных удалено несколько сотен датасетов. В видео говорили о 200, но сейчас на портале еще почти на 100 датасетов меньше. Объясняется это наличием ошибок в датасетах и модерацией. Но ошибки надо исправлять (а не удалять дотасет), а модерацию надо проводить до публикации датасета, а не после.
Единственное положительное в данном случае то, что о Портале Минэк хотя бы заговорил, есть шанс, что что-то изменится. И отдельный респект Минэку за то, что прямо и открыто признали ручную публикацию наборов открытых данных и отсутствие интеграции с другими системами.
Я очень скоро прекращу так часто упоминать российский портал открытых данных, всё таки реально применения у опубликованных там данных очень немного и одно из них более-менее не бесполезное - это обучение алгоритмов выявления семантических / смысловых типов данных. Это когда поле/колонка таблицы аннотируется пометками о том что там реально содержится. Я в своё время создавал инструмент metacrafter это такая довольно продвинутая штука с большой базой этих самых семантических типов и многое из типов там имеет реальное отношение к российским данным, всё таки русскоязычные/российские наборы данных были для меня в большей доступности долгое время.
Сейчас я metacrafter натравил на ранее скачанные из новой версии data.gov.ru наборы данных. И вот первые результаты по популярным классам данных.
1. Всего выявлено 13334 колонки с 76 семантическими типами (dataclass)
2. Более всего в наборах данных упоминаются наименования организаций, адреса, наименования в принципе (чего либо), email'ы, ссылки, даты, телефоны, полные ФИО, названия регионов и так далее.
3. Геоданные встречаются в адресах (1429 случаев), долготе (212 случаев), широте (189 случаев). Почему числа долгот и широт не совпадают я не разбирался, но в целом выходит что адреса есть в от 10 до 20% всех датасетов,
3. Данных по юрлицам и ИП с одной стороны невелики, около 10% по частоте нахождения кодов inn, ogrn, ogrn_ogrnip, а с другой, наименования организаций повсеместны. Скорее всего дело в огромном числе административных данных которые органы публикуют про себя, вроде своих адресов местонахождения или вакансий.
4. Финансовых данных практически нет. Встречаемость кодов КБК, кодов бюджетов и тд минимальна.
5. Есть какое-то число ложных срабатываний по названиям полей и типовым шаблонам, вроде определение кодов ОКПД как адресов IPv4, но это минимально.
Какие выводы:
1. Смысловые - содержание data.gov.ru по прежнему бесполезно. Я напомню что все опубликованные там данные умещаются в один 100 мегабайтный ZIP архив
2. Технические - metacrafter неплохо разбирает российские коды, для чего он и писался.
А для общего просвещения добавлю скриншот с портала открытых данных Сингапура где используя подход похожий с тем что я делал с metacrafter'ом добавили возможность фильтрации датасетов по типам полей с данными. Их там пока всего 6, но тем не менее.
Вот это можно назвать полезным развитием портала открытых данных, а не "хихикающий голосовой помощник" который на data.gov.ru отключили почти сразу после запуска.
P.S. Для тех кто хочет изучить самостоятельно, по ссылке meta.zip содержит данные о всех выявленных семантических типах в датасетах. Внутри файл JSON lines сгенерированный metacrafter'ом и небольшой файл detected_dataclasses.csv полученный из этих результатов, содержащий перечень всех идентифицированных семантических типов данных, то что я привел на скриншоте.
#opendata #opensource #datacatalogs #russia
В рубрике интересных стартапов по работе с данными и малоизвестных каталогов данных.
Data.world когда-то один из первых общедоступных облачных каталогов данных. Отличался тем что предоставлял интерфейсы для визуализации и запросов к данным которые пользователи загружали на платформу, как правило в CSV или форматах.
Со временем облачная платформа осталась только после авторизации (но всё ещё работает), а основным способом монетизации стало внедрение платформы у крупных клиентов. Это редкий случай когда платформа изначально для открытых данных эффективна перешла в корпоративный сектор.
В общей сложности за 9 лет они подняли $132 миллиона инвестиций с последним раундом в 2022 году.
При этом их облачный каталог сообщества всё ещё доступен и там можно искать по более чем 133 тысячам наборов данных опубликованных за примерно, 10 лет.
#opendata #datacatalogs
Я как мог сдерживался, но такое сдерживать сложно, да и обязательно придут те кто скажут не подсказывай им, но... а я подскажу😉 Вредные советы для делателей порталов открытых данных, ну может не в России, а в стране Вредносоветии.
Итак, сделать очень-очень много наборов данных и думаете где бы их раздобыть? И неважно нужные данные или нет, полезные или нет, большие или нет, главное чтобы формально были машиночитаемые в CSV или JSON или XML ? А я скажу вам как!
1. Берете базу официальную законодательства, в РФ это база ФСО или база Минюста. Документов там много, по моим самым скромным подсчётам не менее 1.5 миллиона документов - это всё приказы, законы, постановления, указы, распоряжения и тд. Ловким движением руки, загружаете каждый документ на портал открытых данных и у вас там сразу 1.5 миллиона наборов данных. Готов поспорить что полезных, востребованных и даже машиночитаемых потому что все будут в формате XML. Сложно это сделать? Очень просто! Даже разрешения ФСО или Минюста не потребуется.
2. Открываем госкаталог музейного фонда, а там, вы не поверите, но 52 миллиона записей. Фотографии, картины, изображения антиквариата, чего только нет. И хоть и куцое, но хоть такое есть описание к каждому доступное в виде JSON документа. Тут задача чуть посложнее, его скачать сложнее, займёт это не один, а целых два дня, зато загружаете их на портал открытых данных и там сразу +52 миллиона наборов данных и это в добавок к ранее опубликованным 1.5 миллионам машиночитаемых нормативных документов.
3. Открываете официальную статистику Росстата. Там в ЕМИСС более 6 тысяч показателей, выглядит так что немного. Но ведь у показателей есть разные размерности (dimensions). Если даже взять только регионы, которые есть у большинства показателей и даже если предположить что не по всем регионам есть статистика, то минимум этот будет 80*6000 = 480 тысяч свежесварганеных наборов данных. Что-то мало получается. Можно ещё разрезать по размерностям, к примеру, по полу, там где он указан или по виду продукции если он есть да и много других размерностей большого объёма. Путем нехитрых манипуляций можно получить от 1 до 100 миллионов наборов данных.
Итого минимум 53.5 миллиона, максимум 153.5 миллиона наборов данных можно создать в кратчайшие сроки.
Куда там европейцам с их 1.9 миллионами наборами данных на data.europa.eu.
Главное не стесняться своего успеха. Чаще меня читать и прислушиваться к моим вредным советам!
#irony #datacatalogs #opendata
Я не устаю повторять что государство не должно лезть в твою голову, в твою постель и в твой телефон (с)
Начнут со штрафов за использование VPN, а далее решат обязать предустанавливать антивирусы и иные мониторинговые программы которые должны будут стучать о наличие у тебя VPN на устройстве, потом к ним добавят ещё инструменты сильной криптографии, потом создадут реестр потенциально опасных мобильных приложений, потом оснастят патрульно-постовые службы флешками с ПО для быстрого сканирования устройств. Что бы ещё такого придумать для нашего светлого будущего?
P.S. Автор картинки Анатолий Чилик /channel/chilikto
#irony #privacy #russia
В за полтора дня со свежеоткрытого портала открытых данных data.gov.ru исчезло более 300 наборов данных
Когда открывали было более 5000, сейчас 4 686. Очень быстро удаляют, скоро ничего не останется😜Такими темпами дней за 20 все удалят🌚
А что я всё рекламирую да рекламирую госпортал, во первых интересные датасеты по России есть в каталоге данных Инфокультуры https://hubofdata.ru/dataset/, а во вторых в Датено https://dateno.io.
В Датено данные о России/по России есть ещё и из разных источников, включая международные каталоги статистики и датасетов, то чего в на российский госпорталах вообще не встретишь.
#opendata #datacatalogs
Я написал таки лонгрид про новую версию data.gov.ru https://begtin.substack.com/p/datagovru
Выводы спойлерить не буду, но они, да, очевидны.
#opendata #russia #datacatalogs
Портал открытых данных все-таки запустили, но без «финансов»
Очень много вопросов к структуре и качеству реализации. Начнем с финансов:
- финансы, к сожалению, отдельной категории не удостоились;
- у Минфина России на портале 0 датасетов (что, конечно, говорит об отсутствии интеграции Портала открытых данных с внешними системами);
- Федеральному казначейству повезло чуть больше: у них аж 9 датасетов, обновленных в 2014 году (11,5 лет назад);
- Счетной палате РФ повезло еще меньше, чем Минфину России - их даже как организации нет.
Напомню, что курирует Портал ОД Минэк, который (как поставщик) разместил на портале 31 набор данных, 5 из которых были обновлены в 2021 году, 1 - в 2019, 6 - в 1970. Не густо пока.
Можно было бы предположить, что Минэк публикует свои данные на сайте Министерства, но тоже нет - там всего три датасета, правда от 2024 и 2025 годов. То есть интеграции с Порталом открытых данных нет даже у курирующего его министерства.
Напоминаю ссылку на портал: data.gov.ru
Я всё не успеваю сам что-то написать про портал открытых данных. А тут столько всего интересного. Зам министра, конечно, не дурак, вовремя опомнился и его вовремя убрали из пресс релиза. Догадываетесь почему?😜
Лично я своё мнение о портале напишу сильно позже и в режиме лонгрида, коротко ну никак не получится.
По опыту использования множества LLM'ок для работы с данными могу сказать что есть важный компонент работы который сейчас в них отсутствует - это использование прокси/VPN для доступа к некоторым ресурсам. По умолчанию LLM в режиме поиска обращаются к ресурсам с адресов относящихся к крупным облачным провайдерам вроде AWS/Azure/GCP. В результате при попытке анализировать материалы которые имеют региональную блокировку они не срабатывают. Я это наблюдаю на многих ресурсах относящихся к России, Китаю, Вьетнаму и ряду других стран. Попытки анализировать веб-сайты, например, анализа ПО на которых они созданы или поиска недокументированных API, срабатывают не всегда.
Это вполне реальное ограничение которое сейчас обходится указанием ИИ агенту использовать прокси для обхода и некоторые агенты умеют найти нужное бесплатное прокси или надо создать/приобрести прокси сервер для обхода ограничений.
Геоблокировки - это серьёзный вызов для подобной аналитической работы с помощью ИИ агентов, нужны решения которые помогали бы их обойти.
#thoughts #dateno #ai
Новый инструмент Vanna для Text-to-SQL операций. Под MIT лицензией, обучается на данных, а потом позволяет делать SQL запросы текстовым промптом. Поддерживает множество облачных и локальных векторных хранилищ, больших языковых моделей и баз данных.
Выглядит интересным со всех сторон: лицензия, возможности и тд.
До идеала нехватает ещё поддержки синтаксиса NoSQL (Elasticserch, MongoDB и др.)
Надо пробовать на практике.
#opensource #ai #dataengineering #datatools #dataanalytics
Для некоторых задач уникальный по функциональности инструмент manus.im китайский облачный ИИ агент помогающий в практических исследовательских задачах, создаёт код и структурированное описание по запросу. Он оказался очень хорош в задачах которые у меня возникают время от времени - поиску недокументированного API. Этот тип задач я регулярно задаю разным ИИ агентам и Manus справляется пока что лучше всех. Неидеально, но очень неплохо, с меньшим числом глюков из-за проверки собранных результатов.
На скриншоте пример задачи с поиском недокументированного API на Arab Development Portal (www.arabdevelopmentportal.com), сайте агрегаторе официальной статистики арабских стран.
#opendata #ai #llm
Читаю хвалебные отзывы о Perplexity Comet, новом браузере со встроенным ИИ и о грядущем браузере от OpenAI и, честно говоря, это хорошая новость с тем что в рынке поиска и браузеров, наконец-то, появилась конкуренция. Что ещё важнее и интереснее в том почему выбирают нео-поисковики на базе ИИ и браузеры альтернативные Google Chrome - это отсутствие рекламы.
Фактически облачные ИИ агенты вне рынка AdTech, при поиске через OpenAI или Perplexity ты платишь за этот поиск явно (деньгами), а не неявно (рекламой).
Учитывая то как медленно но верно деградировал классический поиск, от минимальной рекламы, до выдачи отравленной SEO до невозможности, то мне нравится этот новый мир, даже при всех недостатках, глюках и искажениях ИИ агентов.
Не то чтобы он будет светлее, но хотя бы в нём будет больше выбора.
#thoughts #ai #search
Чуть менее чем 2.5 года назад я писал про портал открытых данных Узбекистана data.egov.uz в лонгриде Что не так с порталом открытых данных Узбекистана? [1] и решил посмотреть на него совсем недавно и... ничего не изменилось.
Наборов данных стало больше, не 6623, а уже 10412. Не так уж мало, казалось бы. Но... если в 2023 году было 2823 набора данных в одну строку, то сейчас их уже 5207, это 50% от всего опубликованного. А всего 114 наборов данных объёмом более чем в 1000 записей, это чуть более 1%. Общий несжатый объём данных с портала, если сохранять их в JSON - 426 мегабайт (в 2023 году было 284 мегабайта).
На скриншотах примеры таких однострочных датасетов.
В чём смысл такой нарезки наборов данных на бесконечное число однострочных датасетов? Он исключительно в том чтобы показать количество, а не качество. Потому что реальным пользователям данных такие однострочные наборы данных не нужны вообще ни для чего.
Поэтому изменилось ли что-то с открытыми данными в Узбекистане? Увы нет
Ссылки:
[1] https://begtin.substack.com/p/31
#opendata #uzbekistan #datasets
В рубрике закрытых в России данных, я обнаружил что не писал про портал открытых данных Самарской области opendata.samregion.ru который был закрыт где-то между 2022 и 2024 году. В Интернет архиве на февраль 2022 года , а позже только слепки страниц с упоминанием геоблокировки. Сейчас портал перенаправляет на страницу на сайте Пр-ва Самарской области где вместо данных просто свалка разноформатных документов.
Архивная копия в формате WARC была сделана нами в апреле 2024 года. Данных там было немного, всего 24МБ в сжатом виде, но тем не менее.
#opendata #datasets #russia
По моему Ольга даже излишне оптимистично отзывается о новом российском портале открытых данных. Мой вердикт ему гораздо более суров. Это что-то между "очень плохо" и просто "плохо". И я об этом написал уже несколько раз. Это просто деньги выброшенные на ветер. Серьёзно. Портал открытых данных Москвы data.mos.ru созданный чёрт знает когда или портал открытых данных Минкультуры РФ opendata.mkrf.ru выглядят значительно лучше. И это то что называется "примеры рядом", а есть сотни примеров в мире.
Или посмотрите на портал данных Санкт-Петербурга data.gov.spb.ru и ещё на десятки порталов открытых данных, геопорталов и баз индикаторов в России. В реестре Dateno 170 российских порталов с данными и они не все проиндексированы только потому что российские сайты ставят геоблокировку.
Даже чёртов Роскосмос предоставляет свои открытые данные через STAC сервер, а не вот это всё.
На самом то деле я стал относится к российскому порталу с существенной долей пофигизма после того как понял что исправить там что-либо невозможно. Потому и занялся Dateno. Там было есть и будет гораздо больше данных, лучшего качества и в удобной форме
#opendata #russia #datacatalogs
В продолжение изысканий Ивана Бегтина о данных на новом портале ОД.
Мы поискали геоданные...и можно сказать, что не нашли. Может быть плохо искали?
https://gisgeo.org/opendata_portal/
Знаете ли Вы что... существует спецификация /llms.txt в виде сайта [1] с документацией. Спецификация - это что-то вроде карты сайта (sitemap) совмещенного с подробной документацией, но отформатированное в Markdown и приспособленное для упрощённого поглощения с помощью LLM.
Мне казалось что очень хотеть чтобы LLM съел твой контент - это странное желание, но для кого-то, видимо важное, и десятки сайтов спецификацию поддерживают [2], например, такой файл доступен у Sourcegraph [3] и у Bitcoin.com [4] и у LMStudio [5]
В большинстве случаев это документация к продуктам, иногда весьма и весьма детальная.
В отличие от MCP вокруг это спецификации хайп не наблюдается, но знать о ней стоит всем кто документацию к своим продуктам создаёт.
Ссылки:
[1] https://llmstxt.org/
[2] https://llmstxt.site/
[3] https://sourcegraph.com/docs/llms.txt
[4] https://www.bitcoin.com/llms.txt
[5] https://lmstudio.ai/llms.txt
#opensource #standards #ai
В рубрике как это устроено у них портал исследовательских данных Австралии researchdata.edu.au
Включает 224 тысячи наборов данных из которых 96 тысяч доступны онлайн.
Портал является поисковой системой по десяткам академических репозиториев, архивов, госпорталов открытых данных и геопорталам.
Он более похож на Dateno, позволяя искать по 9 видам фасетов (фильтров).
Кроме данных в нём также доступен поиск по исследовательским проектам, персонам и организациям, сервисам и программным продуктам и так далее.
Большая часть материалов опубликованы под свободными лицензиями.
Это довольно много, для сравнения в Dateno присутствует 676 тысяч наборов данных относящихся к Австралии, преимущественно относящихся к порталам открытых данных и геопорталам.
При этом в Dateno до сих сильно меньше исследовательских данных, в основном по той причине что по исследовательским данным есть много альтернативных инструментов поиска. Поэтому Research Data и Dateno скорее дополняют друг друга и скорее всего индексировать именно этот портал мы не будем, а вот индексировать первоисточники индексируемые Research Data определенно стоит.
Кроме того в Research Data практически нет статистических данных и временных рядов, кстати, не знаю почему, в Австралии довольно продвинутые системы публикации официальной статистики.
#opendata #datacatalogs #australia
Полезные ссылки для работы с данными, технологиями и не только:
- DocsGPT и LocalGPT два похожих продукта для извлечения знаний и чата с локальными документами. Первый под лицензией MIT, второй под Apache 2.0. Поддерживают множество форматов документов, работают с облачными и локальными моделями ИИ. Какой лучше не знаю, надо пробовать оба продукта.
- Markitdown утилита от Microsoft по преобразованию чего угодно в формат markdown. Поддерживает документы MS Office, PDF, HTML, аудио и изображения и многое другое.
- AI Dataset generator генератор синтетических наборов данных с помощью ИИ. Умеет подключаться к разным LLM и интегрировано с инструментом визуализации Metabase. Открытый код, лицензия MIT
- gt-extras расширение для пакета great-tables для Python позволяющее рисовать красивые таблицы в Python в средах научных тетрадок Jupyter или в Quatro из фреймов данных Pandas и Polars. Удобное для всех кто занимается аналитикой на данных
- OpenAIRE changelog хороший пример версионирования и журнала большого открытого дата-продукта.
#opensource #data #datatools
База официальных коннекторов для Claude доступна от Anthropic [1]. Интересно, в какой момент владельцы больших облачных языковых моделей начнут взимать плату за подключением к ним сервисов? Или их бизнес модель будет исключительно через взимание платы за запросы к LLM ?
Ссылки:
[1] https://www.anthropic.com/news/connectors-directory
#ai #claude
Проект «Цифровой архив госфинансов и госуправления» запускает регулярные посты в телеграм-канале
Наш телеграм-канал был создан весной 2024 года - одновременно с запуском веб-сайта проекта. Все это время мы разрабатывали наш сайт, создавали наборы открытых данных и накапливали базу документов, агрегируя общедоступные источники. И вот сейчас наступил тот самый момент, когда мы наконец определили, каким этот канал должен быть, и готовы делиться нашими обновлениями, находками в книгах и инсайтами в данных.
Большинство постов в канале будут базироваться на коллекции книг и документов «Цифрового архива госфинансов и госуправления (ЦАГГ)». Мы будем рассказывать о редких и уникальных изданиях, об авторах книг и государственных деятелях, будем публиковать интересные факты и данные. Наши творческие планы уже сейчас содержат порядка десяти тематических направлений, но начнем мы с трех основных — «Книги», «Персоны» и «Датасеты». Кроме этого, мы будем рассказывать о работе с финансовыми данными, о найденных особенностях исторической финансовой системы и многом другом.
Откроем регулярные публикации в Телеграм-канале мы текстом о Сергее Юльевиче Витте — министре путей сообщения (1892), министре финансов (1892-1903), а впоследствии и премьер-министре (1903-1906) России.
И, конечно, напоминаем ссылку на сайт нашего проекта, в котором собрано уже более 8 тыс. документов и 175 наборов данных: finlibrary.ru
Говорила мне мама: "Всегда делай скриншоты, сынок! На суде пригодятся"
Вот я и успел сделать скриншот успевшего стать раритетным текста пресс-релиза, в котором ключевым спикером про "портал Оди" выступал замминистра Колесников. Однако, не прошло и часа, как замминистра понял, что ассоциирование его фамилии с этим выкидышем совместного творчества рукожопых погромистов и методолухов "открытости государства" может негативно сказаться на его имидже - и мальчиком для битья в прессухе был подставлен подчиненный замминистру дирдеп.
Ничего не скажешь - искусство переобуваться на лету у минэковских не отнимешь!
Слева - текущий вариант пресс-релиза, справа - исходный
Как многие уже знают Минэкономразвития РФ открыли вновь портал открытых данных РФ data.gov.ru после более чем 2-х летнего отключения. Мне много что есть сказать про то как он сделан, что на нём опубликовано и что со всем этим далее делать.
Однако, прежде чем обо всём этом писать, давайте я помогу тем кто хочет провести собственный анализ и поругать/похвалить портал.
Поэтому для всех желающих публикую данные о данных, дампы метаданных о датасетах, организациях и нормативной базе опубликованных на портале. Они присоединены в формате Parquet к этому посту. Проще всего воспользоваться инструментами вроде DuckDB, Polars, Pandas чтобы их прочитать.
А также дампы всех датасетов и всех документов "нормативной базы" опубликованных на портале на 15 июля 2025 г.
Они доступны по ссылкам:
- datagovru_datasets_files.zip - файлы наборов данных, 102MB в сжатом виде, 1GB в распакованном, всего 5696 файлов в формате CSV
- datagovru_acts_files.zip - файлы нормативной базы, 77MB в сжатом виде, 97MB в распакованном виде, всего 80 файлов в формате PDF
Всё вместе, включая Parquet файлы, доступно для выгрузки по ссылке и в посте в телеграм.
На случай если сотрудники/подрядчики Минэка РФ захотят замести следы, внезапно что-то удалить внести исправления к опубликованному.
Объёмы небольшие, каждый может скачать эти данные локально, сделать собственную аналитику и рассказать о интересных находках.
Пока, для оперативности публикую всё это здесь, позже уже оформлю как полноценный датасет с автоматически созданной документацией.
#opendata #russia #datasets
15 июля откроется обновленный Портал открытых данных. Что можно сказать о новой версии портала уже сегодня?
Уже завтра будет долгожданный перезапуск Портала открытых данных (data.gov.ru), который не работал корректно уже лет пять, два года из которых доступ к порталу был полностью закрыт:
- сначала были неоднократные проблемы с недобросовестным исполнителем работ по развитию и эксплуатации портала и с контрактами на портал,,
- затем портал закрыли под видом предлогом инвентаризации данных, от идеи проведения которой Минэк вскоре отказался,
- после этого портал был закрыт ради перехода на Гостех, переход на который тоже затянулся минимум на год.
Что мы имеем на сегодняшний день? (речь пойдет о текущей версии портала, подразумеваем, что открыт он будет завтра и к этой дате текущие проблемы могут быть исправлены):
- уже в январе можно было залогиниться и попасть на портал через Госуслуги, в то время как Минэк сообщал о том, что портал еще не прошел аттестационные мероприятия (надеюсь, что мои персональные данные не пострадали);
- в футере сайта указано, что «все права защищены», а это значит, что никакой информацией с портала мы пользоваться не можем. Для сравнения: в футерах сайтов Правительства России и Минфина России указаны лицензии CC Attribution 4.0. Условий использования данных пока не нашла;
- у портала появился «интеллектуальный» помощник ОДИ, но он «пока еще маленький и не знает ответов на вопросы» (даже те, которые предлагает в быстрых командах);
- доступные на сайте новости загружаются «пачками» (по несколько в день) 1-2 раза в месяц, что вызывает вопросы о наличии автоматического обновления;
- в футере сайта указана ссылка на телеграм-чат Минэка по открытым данным, который не обновлялся как минимум два года (не переходите по спамерским ссылкам, которые висят в чате) и в котором поставщики данных по несколько недель ждут ответов на их вопросы о публикации датасетов, но реакции от админов нет;
- датасеты на портале пока недоступны, список организаций тоже, с ними познакомимся завтра.
#открытыеданные #datagovru
В рубрике полезных инструментов для работы с данными, много лет назад я столкнувшись с тем что регулярно надо откуда-то доставать из API датасеты и с тем что каждый раз много мороки писать скрипты самому и ещё дольше просить кого-то из разработчиков это делать, я написал утилиту apibackuper для скрейпинга через декларативное программирование в конфиг файлах.
Изначально она была для архивации данных в рамках Национального цифрового архива @ruarxive, но оказалась очень удобной во всех смыслах. К слову и в Dateno часть сборщиков метаданных работают на базе apibackuper
Как это работает? Точки подключения к API описываются в специальном конфигурационном файле в расширением cfg в формате configparser.
После запуска утилита последовательно делает запросы к API, сохраняет результаты в виде JSON файлов внутри ZIP контейнера и позволяет потом экспортировать результаты в формат построчного JSON (NDJSON).
Кроме простого перебора выгрузки из API, там же есть режим когда после перебора точки подключения с поиском/листанием данных нужно запросить карточку каждого объекта и/или скачать ассоциированные с данными файлы.
Оказалось очень удобным инструментом, сам пользуюсь им регулярно и надо бы его давно обновить, но руки не доходят потому что "и так работает".
Если бы я делал его сейчас то:
1. Использовал бы JSON файлы сжатые ZST вместо ZIP контейнера
2. Вместо конфиг файлов использовал бы YAML (это несложно, кстати)
3. Добавил бы систему расширений
4. Добавил бы многопоточный режим выгрузки
5. Добавил бы библиотеку шаблонов для подключения к разным типовым API.
И тд, но, в целом, и без этого всё работает. На скриншоте пример конфиг файла для выгрузки метаданных и файлов из системы "Артефакт" (ar.culture.ru) Минкультуры РФ и то как эти данные выглядят в самом API.
#opensource #datatools #data #scraping #API #digitalpreservation
Для тех кто подумывает опубликовать данные и ориентируется на пользователей которые:
a) Хотят смотреть на структуру данных и искать по ним
б) Немного умеют в SQL
Есть достаточно давний открытый инструмент datasette. Он позволяет опубликовать базу SQLite так чтобы над ней был удобный веб интерфейс с возможностью просматривать содержимое и делать SQL запросы.
Инструмент реально простой, умеет экспортировать JSON и CSV, даёт API и очень простой стандартизованный интерфейс расширяемый разными надстройками. Его довольно часто используют госорганы в Европе и в разных некоммерческих проектах чтобы сделать какие-то CSV файлы доступными. Там и инструкции все начинаются с того что "возьмите Ваши CSV файлы и преобразуйте их в базу SQLite".
Для тех кто любит использовать открытый код для того чтобы делиться данными - это полезный инструмент.
#opendata #opensource #datatools #data
В качестве регулярных напоминаний.
Я пишу в этом телеграм канале @begtin о технологиях, преимущественно, связанных с работой с данными, открытых данных, цифровой архивации и близких к этому темам почти все из которых являются, либо моей работой, либо моими хобби.
Также о том что я делаю и делают команды проектов которые я веду или с которыми я связан:
- @ruarxive - новости по цифровой и веб-архивации в контексте России и русскоязычных ресурсов
- @opendataam - открытые данные в Армении, новости о данных связанных с Арменией
- @infoculture - новости Информационной культуры, НКО ведущей ряд проектов в по открытости РФ
- @datenosearch - новости проекта поисковика по датасетам Dateno, на английском языке
- begtin.substack.com - блог/рассылка где я время от времени пишу лонгриды на русском языке
- ibegtin">medium.com/@ibegtin - англоязычный блог для лонгридов на английском языке. Пишу туда не очень часто, а надо бы чаще
- linkedin.com/in/ivbeg - регулярные публикации на английском языке в LinkedIn, по большей части про работу с данными.
#writings #opendata #digitalpreservation #data
Попалось на глаза довольно давнее исследование [1] частотности применения комбинаций цифр в PIN кодах. Исследованию уже 13 лет, но, ИМХО, всё ещё актуальное. Кроме того датасет из 3.4 миллионов PIN кодов тоже доступен [2] и он относительно недавно обновлялся.
Применимо всё это не только к PIN кодам, но и ко всем аналоговым и цифровым замкам с цифрами.
Лично я раньше, регулярно, раз в месяц, устраивал себе день паранойи с ревизией паролей и мер безопасности данных и тд.
Потом слегка расслабился, стал делать это куда реже, но самые частые PINы совершенно точно не использую уже давно.
Ссылки:
[1] http://www.datagenetics.com/blog/september32012/
[2] https://github.com/Slon104/Common-PIN-Analysis-from-haveibeenpwned.com
#security #datasets #opendata