7027
I write about Open Data, Procurement, e-Government, Open Government, Budgets, Privacy and other govtech stuff Chat https://telegram.me/begtinchat Facebook - https://facebook.com/ibegtin Secure contacts ivan@begtin.tech
Архивы интернета
Все знают главный архив интернета – web.archive.org. Цель сервиса – сохранить вид всей мировой сети в каждый момент времени. Идеально эту задачу решить невозможно, но web.archive к этому стремится. Главную страницу Гугла он сохранил 13 миллионов раз, главную страницу моего блога – 126 раз.
Чего многие не знают, у интернета есть и второй архив – #стартапдня archive.today с меньшей, но сопоставимой посещаемостью. Его модель гораздо практичнее и, видимо, на много порядков дешевле, чем модель web.archive. Он сохраняет не всё подряд постоянно, а только то, что пользователь просит и только в тот момент, когда он просит. Понравился мне именно сегодняшний вид того же Google – иду на сайт, нажимаю кнопку, – всё, страница ушла в вечность, каждый сможет в будущем её посмотреть.
Любопытный побочный эффект: archive.today иногда работает, как средство халявного просмотра платного контента. Мне этот фокус показали на Business Insider, я проверил случайную статью на Financial Times – да, стартап отлично показал полный текст. Сервера газет думали, что общаются с поисковым роботом, а для них секретов нет, СМИ хотят индексироваться по максимуму.
Хочется сказать, что в этом и есть секрет популярности стартапа, но похоже, что нет. С того же Financial Times он индексировал всего 2000 статей за всю историю, это совсем немного на фоне десятков миллионов визитов на archive.today каждый месяц. Не знаю, что обычные посетители там делают. Личные сайты сохраняют? Зачем?...
Archive.today делается одним энтузиастом. Зарабатывает он донатами и, видимо, не окупает хостинг, но уверенно пишет – деньги есть, работать будем, убыток есть кому закрыть. И больше десяти лет действительно уже работает.
https://archive.ph/
#контент #насвои
——
http://t.me/startupoftheday — рассказ о новом стартапе каждый день. Кратко и без воды.
Я тут задумался о KPI которые должны/могут быть у поисковика по данным, если рассматривать его как глобальный, причём эти критерии могут существенно как пересекаться так и давать разные направления усилий.
Например, критерий разнообразности. То что данные данные должны быть разных типов: госданные, открытые геоданные, научные данные, микроданные, данные для ML, точки подключения API и тд. Максимально широкий охват данных по типам. Требует поиска каталогов с разными типами данных и их индексации
Или критерий географической полноты, так чтобы поиск позволял найти данные по условно любой страны из условно любой страны, даже маленьких тихоокеанских государств. Здесь надо обыскать порталы всех стран на предмет каталогов данных и уметь извлекать страновую принадлежность у датасетов из общемировых каталогов.
Или критерий масштаба, когда чем больше данных тем лучше. Тогда надо не гоняться за наибольшим числом порталов данных, где может быть даже по 3-5 датасетов, а целенаправленно индексировать вначале крупнейшие. Чем больше каталог тем приоритетнее он должен быть.
Или критерий количественный, когда важно не то сколько наборов данных, а то сколько источников данных. Обогнать все имеющиеся каталоги порталов данных и быть наиболее полным из них, с поиском не только по датасетам, но и просто по метаданным каталога каталогов.
Или критерий полноты возможностей, когда важно то сколько фасетов можно задать в поиске, так чтобы не только по типу каталога или лицензии, но и по стране, территории, научным дисциплинам, темам, макрорегионам, форматам, и так далее.
Или критерий глубины, когда поиск идёт не только по ключевым полям, но и создаются индексы поиска по организациям публикующим данные, по полям данных. Здесь же находится интеграция с другими источниками, например, базами научного цитирования.
Или критерий скорости, так чтобы средний поисковый запрос шёл не более 100 миллисекунд или меньшее или чуть большее время.
И таких критериев ещё немало. Эти, пожалуй, главные. Чем больше делаешь фокус на один, тем меньше времени и возможности уделить остальным. Но какие-то акценты на развитии необходимы, ключевое тут в том кто пользователи и что им нужно.
Я регулярно буду рассказывать про проект Common Data Index, реестр каталогов данных и открытый поисковик по всем доступным открытым данным в мире.
#opendata #datasets #commondataindex
Mosaic [1] симпатичный опенсорсный фреймворк визуализации данных. Визуализации можно настраивать через JS, JSON или YAML, что даёт удобное разнообразие того как с этим работать. А то что это фреймворк даёт возможность удобно встраивать в свои продукты. Выглядит как минимум неплохо, стоит попробовать на реальных данных.
Кроме всего прочего обещают прозрачную интеграцию с DuckDB и поддержку больших датасетов, до миллиардов записей.
Ссылки:
[1] https://uwdata.github.io/mosaic/
#dataviz #opensource #datatools
Я регулярно рассказываю о том над чем я лично работаю над глобальным поисковиком по данным Common Data Index и могу уже показать демо поиска по датасетам. Пока без дизайна, без карточек датасетов, без ещё многого.
Зато очень быстро, с более чем 3.3 миллионами наборов данных. Причём добавление большего числа наборов данных не проблема.
Общий объём метаданных в поиске 7.5Gb, а сам поисковый индекс занимает 65Gb.
Много работы уходит на стандартизацию данных из разных источников, но это интересная гибридно аналитическая и инженерная работа.
Пока по плану ближе к концу августа будет публичный сервис поиска.
#opendata #datacatalogs #datasearch
Из любопытных инвестиций в мире дата-инженерии, Acryl Data подняли раунд на $21m [1] на свой продукт дата-каталога DataHub и среди анонсированных возможностей обещают разное генеративное ИИ.
Правда обещания пока очень смутные:
- подсказывать релевантные наборы данных
- умно курировать метаданные
- генерировать инсайты без значительных усилий
Звучит очень обще и неопределённо, если честно, но деньги на эти и другие возможности им дали и сам продукт стоит внимания.
Ссылки:
[1] https://www.acryldata.io/blog/a-control-plane-for-data-and-a-new-era-for-acryl
#opensource #datacatalogs
Какая прекрасная история в коротком изложении, процитирую дословно Newsru.co.il
Полицейские, бойцы полицейского спецназа и пограничники провели спецоперацию в квартале Джуариш в Рамле в рамках борьбы с преступностью в арабском секторе. В ходе этой операции были демонтированы десятки камер наблюдения, установленных на улицах города криминальными элементами. [1]
Жаль лишь что информации категорически мало, а тут интересны подробности и важен сам по себе факт что организованная преступность на месте не следит: ставит камеры, использует OSINT, а там глядишь и нейросети начнут применять и специальные ИИ инструменты. В самом деле если есть edutech, fintech, govtech, то обязательно будет и crimetech.
Ссылки:
[1] https://txt.newsru.co.il/israel/25jun2023/ramla_police_004.html
#privacy #security #crime #israel
Один из активно обсуждаемых вопросов в современной дата-инженерии о том как можно применить ИИ для решения задач работы с данными, как можно улучшить имеющиеся продукты, что может быть нового и тд. Я в последние месяцы много каких дискуссий послушал на эту тему и, честно говоря, не то чтобы пока впечатлился. Большая часть направлений мысли в том как делать ИИ продукты на данных, а не на том как ИИ помогает в работе с данными. Оно и понятно, большая часть стартапов с ИИ в последнее время думают про продукты для массового потребителя, а ИИ для дата-инженерии - это не массовое, а корпоративное потребление скорее.
Тем не менее тема эта интересная и, на мой взгляд, будет развиваться, хотя и не все идеи кажутся реалистичными. Я собрал пока следующие идеи:
- запросы к базам данных на естественном языке
- запросы на автоматическое построение визуализации на естественном языке
- автоматизация написания SQL запросов или запросов на других языках (text2sql)
- автоматическое проектирование баз данных из ТЗ написанного на естественном языке (вместе с извлечение бизнес логики и тд.)
- автоматическое обнаружение неработающих дашбордов, отсутствующих данных, сбоев в конвейерах данных (Monte Carlo data)
* обогащение данных и метаданных
* генерация идей для аналитики на основе данных
* поиск аномалий, автоматизированный контроль качества данных
Но пока ни одна из этих идей не несёт того критически значимого преимущества после которого можно было бы сказать что какой-то продукт стал резко лучше или новый продукт обходит предыдущие.
#dataengineering #ai #ideas #thoughts
22 июня Архивы Санкт-Петербурга снова откроются на сутки.
22 июня можно будет бесплатно осуществлять поиск по информационным ресурсам архивов (обычно это стоит 77 руб. в сутки) и просматривать цифровые образы с водяными знаками и в низком качестве (spbarchives.ru).
Скачивание цифровых образов без водяных знаков и в хорошем качестве по-прежнему стоит 20 р. за цифровой образ (страницу). Если вам нужные неоцифрованные материалы, то стоимость оцифровки будет составлять ~ 300 руб. за страницу (при себестоимости в 3 руб.).
Но еще больше удивляет (особенно людей, не погруженных в архивную деятельность) - взимание платы за использование собственной техники в читальном зале. Вы можете заказать требуемый источник в читальный зал и сфотографировать его на свою технику, но вам придется оплатить постранично.
По информации Архивного комитета Санкт-Петербурга, в соответствии с законодательством «во всех государственных и муниципальных архивах России взимается постраничная плата за использование своей техники». Это не может не удивлять.
Но даже при необходимости взимания платы, размер оплаты, насколько я поняла, устанавливается архивом или Архивным комитетом, и прейскуранты архивов вызывают большие вопросы.
К сожалению, это не все вопросы и проблемы, которые возникают при попытке собрать «Цифровую библиотеку госфинансов». Есть еще проблема в наличии у Архивных комитетов KPI по пополнению бюджета («не оберешь» граждан - не получишь премию), да и вопрос интеллектуальных прав на купленные цифровые образы и условий их использования тоже вызывает вопросы.
#цифровойархив #архивныйкомитет #открытыеданные #госфинансы
Я, кстати, не могу не поделиться что за время работы над каталогом данных в рамках Open Data Armenia [1] наша команда подготовила уже 28 хорошо описанных задач для тех кто готов помогать создавать открытые данные в Армении. Задачи самые разные, какие-то требуют хорошего знания Армянского языка, но для очень многих достаточно знания английского или русского. Например, в задаче по сбору исторических мест из древности [3] задача в том чтобы проанализировать базу проекта Pleiades [4] и извлечь оттуда данные связанные с историей Армении. Они там точно есть и точно не только те что на нынешней территории страны.
Другие данные по Армении и армянской культуре есть в российских источниках и архивах и в архивах многих стран мира.
Вообще хотелось бы довести число наборов данных в стране хотя бы до 1000, но не хочется набивать портал бессмысленными данными, наоборот, лучше меньше, но с понятным и полезным применением.
Ссылки:
[1] https://data.opendata.am
[2] https://github.com/opendataam/opendatam-tasks/issues
[3] https://github.com/opendataam/opendatam-tasks/issues/30
[4] https://pleiades.stoa.org/
#opendata #armenia #digitalhumanities
Я перестал лениться и быстренько, за пару часов извлек из реестра каталогов данных информацию по каталогам для публикации данных и сварганил на Github Awesome Opendata Software список из всех вариантов того как сделать свой каталог открытых данных или данных вообще и на базе какого ПО это делают.
ПО каталогов данных разделено по категориям: порталы открытых данных, геокаталоги и репозитории научных данных. А также разделено на продукты с открытым кодом и коммерческие продукты и сервисы.
В списке совсем нет ничего про корпоративные, не открытые данные и не публичные данные. Их и не планируется, они по другому устроены, их надо рассматривать как отдельную категорию ПО. В списке пока нет ПО для публикации микроданных и статистических индикаторов, будут позже. И пока нет других инструментов и стандартов работы с, в первую очередь, открытыми данными, например, Data Packages, DCAT, DCAT AP и так далее.
#opendata #awesomelists #opensource
Могу лишь подтвердить что ошибки в административных данных это норма. Тем печальнее что ни журналисты, ни ФНС не делают факт чекинг, и входной контроль за данными в ФНС России, похоже, оставляет желать лучшего.
Читать полностью…
[EN] Awesome list: a toolkit for text analyzis Armenian language
- Eastern Armenian National Corpus Electronic Library provides a full view of works by classical authors (these books are in the public domain because their authors died more than 70 years ago). The corpus contains 4547379 words from 104 books by 12 authors.
- Named entity recognition. pioNer — trained data for Armenian NER using Wikipedia. This corpus provides the gold standard for automatically generated annotated datasets using GloVe models for Armenian. Along with the datasets, 50-, 100-, 200-, and 300-dimensional GloVe word embeddings trained on a collection of Armenian texts from Wikipedia, news, blogs, and encyclopedias have been released.
- The Polyglot library for Python supports language detection, named entity extraction (using Wikipedia data), morphological analysis, transliteration, and sentiment analysis for Armenian.
- Kevin Bougé Stopword Lists Page includes th Armenian language.
- Ranks NL Stopword Lists Page includes the Armenian language.
If you know of new usefull tools and guides, please share that knowledge with us!
Image author Aparna Melaput
#opendata #armenia #language #tools #digitalhumanities
Казначейство России возобновило публикацию отчетов об исполнении федерального бюджета. Но данных о расходах в отчетах нет
В конце мая Казначейство России возобновило публикацию отчетов об исполнении федерального бюджета на своем официальном сайте, добавив файлы и за 2022 год. В отчетах содержатся:
- детализированные данные по доходам (но без разбивки по администраторам);
- детализированные данные по источникам финансирования дефицита бюджета;
- вкладка «Расходы» осталась, но строк в ней всего две: «Расходы бюджета - всего» и «Результат исполнения бюджета (дефицит / профицит)». Фактически данных о расходах нет.
Если сравним с последним опубликованным полным отчетом (от марта 2022 года), то увидим, что из отчетов пропали:
- разбивка доходов по администраторам;
- детализированные данные о расходах (в т.ч. по администраторам);
- вкладка с детализацией расходов по ФКР.
Напомню, что публикация отчетов об исполнении бюджета на сайте Казначейства России была прекращена в начале прошлого года (последним был опубликован отчет на 1 марта), но до октября данные публиковались на портале ЕПБС в другом формате (с этим тоже были проблемы, т.к. о качестве данные ЕПБС всем известно, а первоисточника для проверки данных не было). Но с октября данные перестали публиковаться и на портале ЕПБС (с последующим удалением данных с апреля по октябрь).
Конечно, публикация данных о доходах и источниках финансирования дефицита бюджета - это уже что-то (и хорошо, что хотя бы в таком виде прошлогодние данные добавили), но хочется большего.
#открытость #казначействороссии #открытыеданные #госфинансы #бюджет #федеральныйбюджет
Я всё долго искал какие есть альтернативы поиску Google по наборам данных, и так чтобы не на коленках сделанные. И нашёл findata.cn [1] поисковик созданный Computer Network Information Center, Chinese Academy of Sciences, той же структуры что сделала китайский открытый национальный репозиторий научных данных SciDb [2]
Findata.cn также про открытые научные данные, но кроме SciDb агрегирует ещё и Zenodo, DRYAD, GBIF, USGS, IEEEDataPort и множество других.
При этом сам Findata.cn довольно упрощённо позволяет искать с фасетами только по году и источнику.
Всё больше поисковиков агрегаторов по открытым данным, и большая их часть создаются для научной инфраструктуры.
Ссылки:
[1] https://findata.cn
[2] https://www.scidb.cn/en
#opendata #data #datasearch #china #openscience #openaccess
В рубрике полезного чтения про данные, технологии и не только:
- Generating income from open source [1] автор перечисляет успешные бизнес модели на открытом коде, вроде ничего нового, но и систематизация вполне неплохая. Полезное чтение для всех кто об этом думает.
- Data Documentation 101: Why? How? For Whom? [2] зачем, как и для кого описывать данные и связанную с ними инфраструктуру. Мысли более чем разумные, а я добавлю что автоматизация - это то без чего не выжить в мире документации. Жду не дождусь когда сделают ИИ который за тебя задокументирует код, API, данные и оставит пояснения где ещё надо вручную поправить потому что непонятно.
- The Data Journey Manifesto [3] 22 принципа из мира дата-аналитики. Все как бальзам на душу: не тестируй качество данных вручную, не доверяй поставщикам своим, знай как должно быть и как не должно быть, находи проблемы быстро. Хорошие тезисы, стоит на разные языки их перевести
- DashQL -- Complete Analysis Workflows with SQL [4] научная статья про DashQL язык интегрированный с SQL для построения цельных аналитических конвейеров данных. Статья любопытная, но хочется сразу ненаучного, а так чтобы примеры можно было посмотреть и эксперименты поделать
- Survey reveals AI’s impact on the developer experience [5] исследование от Github о том как разработчикам нравятся ИИ инструменты. Тут есть, конечно, некоторая циничность. Это примерно как если бы Google делал исследование о том как люди любят пользоваться поиском или Microsoft о том как люди любят писать тексты. Тем не менее любопытное там есть, области применения ИИ инструментов и ожидания от них.
- StackOverflow 2023 developer survey [6] результаты опроса разработчиков от StackOverflow, в случае данных два главных навыка остаются критично важными - это Python и SQL. Они же лидируют в общем зачёте, уступая только HTML/CSS и Javascript. Обратите внимание что у профессиональных разработчиков SQL важнее и чаще нужен чем Python, а у начинающих наоборот, Python с большим отрывом. Учите SQL если кратко;)
Ссылки:
[1] https://vadimdemedes.com/posts/generating-income-from-open-source
[2] https://towardsdatascience.com/data-documentation-101-why-how-for-whom-927311354a92
[3] https://datajourneymanifesto.org
[4] https://arxiv.org/abs/2306.03714
[5] https://github.blog/2023-06-13-survey-reveals-ais-impact-on-the-developer-experience/
[6] https://survey.stackoverflow.co/2023/
#readings #python #data
Александр Горный напомнил про проекты по архивации Интернета, а я напомню что кроме Archive.org и Archive.today существует множество цифровых сервисов сохранения исходного кода, данных, цифровых объектов и тд.
Проект которым я занимаюсь, Common Data Index, тоже может рассматриваться как архив данных, на стадии когда уже получится запустить краулер данных, а не только метаданных. Но важно что почти все ключевые публичные проекты по архивации живут на донаты или дополнительные небольшие коммерческие сервисы. Человечество в целом до сих пор не очень то научилось ценить открытые знания и их долгосрочную доступность, к счастью есть критическая масса людей понимающих что именно это позволяет сохранять цивилизацию и что наши потому тоже имеют право изучать историю творимую в наши дни.
#opendata #digitalpreservation #webarchives
Для тех кто ненавидит любит придумывать пароли совершенно смешная игра https://neal.fun/password-game/
Для полноты счастья ещё бы автор добавил написание пароля на время. Я остановился на 11м правиле;)
P.S. Хорошо что в реальной жизни я использую несколько паролей от 25 до 35 символов, а не вот это вот всё:)
#security #privacy #fun
Любопытный исследовательский проект ORKG [1] дословно The Open Research Knowledge Graph (ORKG) aims to describe research papers in a structured manner. With the ORKG, papers are easier to find and compare.
А в переводе на русский язык посвящённый структуризации научных публикаций. Обратите внимание, не упрощённое понятное понимание, а именно структуризация. Фактически - это перевод научной статьи в данные/граф знаний с привязкой к Wikidata. Делает его команда TIB – Leibniz Information Centre for Science and Technology которые под руководством Сорена Ауэра, команда которого когда-то создавала DbPedia. Фактически проект создаёт структурированную базу научных статей, задача эта очень непростая, но реалистичная и наукоёмкая.
Да, у них открытое API, точки подключения к SPARQL и много чего открытого.
Ссылки:
[1] https://orkg.org
#opendata #openapi #openscience #knowledge #science
В рубрике интересных открытых данных каталог ресурсов с общедоступными API по стандарту OAI-PHM [1]. Это 6099 репозиториев с публикациями, как правило университетов и академических институтов. OAI-PHM версии 2.0 - это довольно давний стандарт [2] для работы с любыми цифровыми репозиториями контента. Его поддерживают, как ПО для публикации научных статей, так и сервисы и ПО для публикации исследовательских данных.
Наиболее популярные продукты с поддержкой OAI-PHM - это DSpace и EPrints, активно используемые для публикации научных статей в открытом доступе. OAI-PHM поддерживает портал Zenodo [3] и многие другие. Фактически этот интерфейс есть по умолчанию у многих продуктов используемых для публикации цифровых материалов, но не все знают что он есть
Ссылки:
[1] https://www.openarchives.org/Register/BrowseSites
[2] http://www.openarchives.org/OAI/openarchivesprotocol.html
[3] https://developers.zenodo.org
#opendata #datasets #openapi #oai-phm
Я долго думал как изложить свою реакцию на "мятеж Пригожина" , после которого все смазанные концовки в кинолентах отходят на второй план и понял что после состояния крайнего censored недоумения у меня остаётся только взгляд со стороны цифровой архивации. Стремительность с которой Роскомнадзор заблокировал связанные с Пригожиным медиа-ресурсы возвращает нас к вопросу о том надо ли архивировать подобные цифровые артефакты вроде РИА ФАН и других потому что они могут в любой момент исчезнуть? Правда, смех вокруг всей этой ситуации в том что Роскомнадзор их заблокировал, а сайты то эти работали за CDN'ом BiZone (IP адрес: 185.163.159.22 у riafan.ru, nevnov.ru и др.), а BiZone - это российская инфобезная компания в подчинении Сбербанка. Так что с этими блокировками вопрос довольно удивительный.
Другой вопрос в этой реакции на "мятеж" со стороны властей в том что реакция быстрая и в том какие цифровые ресурсы надо было архивировать заранее. Всех политиков, формальных или неформальных? Информационные ресурсы всех частных армий ? Усилить архивацию сайтов органов власти?
#digitalpreservation #webarchives #security
⚡️⚡️⚡️ Депутат Горелкин только что разместил поправки к закону 149-ФЗ от 27 июля 2006 года «о запрете информации». Вводится новая статья 12.3 (с верхним индексом 3, я не знаю как их называть) про регулирование рекомендательных технологий:
/channel/gdrf_new_feed/109
☝️ Что внутри? Ну а что Антон написать мог? За всё хорошее против всего плохого. Вкратце:
• Пользователь на территории России. Ну, привет ковровое применение.
• Алгоритм должен быть хорошим и ламповым.
• Должна быть форма связи.
• Алгоритм и применяемые данные должны быть опубликованы и прозрачны.
• Ну и конечно, если нет, то блокировка Роскомнадзором.
• Он забыл внести изменения в группу статей 15, блокировать будут прямо по этой статье.
• Вступает в силу с 1-го октября
🔥🔥🔥 ВНЕЗАПНО. У документа есть увесистое Финансово-экономическое обоснование с таблицами и цифрами. WoW!!!
🤷♂️ Документ не помечен комитетом и вообще никак в паспорте, поэтому он «пролетел» мимо всех фильтров. Я его «поймал глазами»
[EN] And here are some new inspiring 3D models, this time of Geghard monastery alongside Ani. They are published at the Open Heritage website. Open Heritage 3D is a project dedicated to making primary 3D cultural heritage data open and accessible as well as to ease sharing these data for publishers.
CyArc which led the documentation of both sites is one of the most authoritative in the field of digital culture preservation. Interestingly, Geghard Monastery was immortalized by the high schoolers of the TUMO Center for Creative Technologies during the two-week workshop ran by CyArk.
Feel free to share if you know any other interesting data sources aimed at preserving cultural heritage.
#opendata #armenia #history #architecture
Мы хотим делать еще больше исследований. Давайте с нами? Вакансии в «Если быть точным»
В ближайшее время наш проект ждет очередной перезапуск. Число задач и объемы работы вырастут, а это значит, что нам в команду нужны самые разные специалисты – от дизайнеров до разработчиков. Все для того, чтобы изучать и собирать данные про социальные проблемы в России.
Мы будем рады любым предложениям, но в первую очередь напишите нам, если вы:
- дата-журналист/научный комуникатор и любите «социалку»;
- смм-редактор, которому интересны исследования;
- редактор/факт-чекер, который умеет переписывать сложные тексты;
- готовы работать парт-тайм или на гонорарной основе.
Работа удаленная, условия оплаты обсуждаем отдельно с каждым кандидатом. Присылайте CV и мотивационное письмо на почту, в теме письма укажите желаемую роль («автор/редактор/смм-редактор» или «другое», если просто хотите помочь нам): nuzhna@tochno.st
В рубрике интересных источников данных Wolfram Data Repository [1] каталог из 1041 набора данных от команды Wolfram Research.
Из плюсов есть примеры использования данных прямо в платформе Wolfram и на языке Wolfram Language который является частью Wolfram Alpha.
Из минусов всё то же самое, за пределами их платформы использовать неудобно или невозможно.
Лично мне продукты Wolfram Research с годами нравятся всё меньше из-за их замкнутости на собственную экосистему и невозможностью интегрировать их с более продвинутыми узкотематическими инструментами, но у платформы всё ещё немало пользователей в академической среде и поклонников, так что от репозитория данных польза всё же есть.
P.S. Хотя для меня он скорее пример того как не надо делать каталоги данных.
Ссылки:
[1] https://datarepository.wolframcloud.com
#opendata #openscience #research #wolfram
💀 «Выбросы» в бухгалтерской отчетности
Как же журналисты могли ошибиться на почти 1000 трлн руб.? Ответ прост — из-за «выбросов» в данных бухгалтерской отчетности. Если вы отсортируете организации в 2022 г. по выручке, на одном из первых мест будет не Лукойл (выручка 2.9 трлн руб.) или Магнит (2 трлн руб.), а ООО «ЮССА» (ИНН 8601056605) с выручкой в 214 трлн руб. Это очевидная ошибка бухгалтера маленькой компании, которая подала отчетность, перепутав разряды и написав, скажем, вместо 2.1 млн руб. 214 трлн руб. Журналисты суммировали все подобные выбросы, некритично подойдя к данным, и получили столь искаженный результат.
Откуда это знаем мы? Вместе со студентами программы ПАНДАН (http://pandan.eusp.org) мы тоже собрали все данные бухгалтерской отчетности от ФНС и обработали их. Вот что получается, если просуммировать ключевые показатели компаний по годам некритично:
Год Выручка Материалы Труд КапиталПрим: триллионы рублей, расчеты ИПП ЕУ СПб. До 2019 использованы данные Росстата, с 2019 данные ГИР БО ФНС. Выручка — строка 2110 ОКУД, Материалы — строка 4121 ОКУД, Труд — строка 4122 ОКУД, Капитал — основные средства (строка 1150 ОКУД). Только средние и крупные компании, а так же с ин. участием подают сведения о материалах и труде. Благодарим студента ПАНДАНа Алексея Суханова за сбор данных.
2012 138 72 7 51
2013 170 90 8 58
2014 181 98 9 57
2015 205 102 10 69
2016 224 107 11 74
2017 249 122 12 72
2018 221 128 14 76
2019 208 95 10 66
2020 199 96 10 66
2021 249 122 12 73
2022 478 128 14 79
В рубрике продуктов по каталогизации и обмену данными малоизвестный продукт Geoblacklight [1] опубликованный с открытым кодом и предназначенный для публикации открытых геоданных. Продукт написан полностью на Ruby on Rails и в его основе проект Blacklight [2] популярный для публикации цифровых объектов культурного наследия.
На Geoblacklight работает не менее 12 каталогов данных [3] среди них можно выделить такие как:
- Big Ten Academic Alliance Geoportal [4]
- University of California Berkeley – GeoData Portal [5]
- DRYAD [6]
На каждом из таких порталов содержится до десятков тысяч наборов геоданных, часто охватывающих весь мир.
Ссылки:
[1] https://geoblacklight.org
[2] https://projectblacklight.org
[3] https://geoblacklight.org/showcase/
[4] https://geo.btaa.org
[5] https://geodata.lib.berkeley.edu
[6] https://datadryad.org/search
#opendata #geodata #datasets #dataportals #opensource
В рубрике необычных источников данных, пакеты для Anaconda [1], среды для анализа данных в виде интегрированных тетрадок, дистрибутива Python с пакетами для data science и data analysis, и экосистемой разного рода расширений. У продукта есть реестр пакетов в котором, в основном, пакеты с открытым кодом, но многие пакеты, также, содержат наборы данных [2], особенно много данных в расширениях bioconda, для биоинформатики. Искать их можно по разного рода ключевым словам вроде "data" и "dataset", результат приходит вперемешку с пакетами для обработки данных и наборов данных
Поиск по пакетам общий, типизации пакетов по типу содержания нет, так что нельзя сказать что искать пакеты с данными очень удобно. С другой стороны для тех кто хочет данные из коробки и в единой среде это может быть полезно.
Ссылки:
[1] https://www.anaconda.com
[2] https://anaconda.org/search?q=dataset
#opendata #anaconda #dataanalysis
Хорошо что Казначейство России начало публиковать хотя бы данные по доходам фед. бюджета, но та часть что относится к расходам это даже не смешно. Можно сказать что этих данных практически нет. И их отсутствие это гораздо более плохой сигнал о состоянии экономики России чем любые цифры которые были бы доступны
Читать полностью…
В рубрике как это устроено у них, в Гонконге 9 каталогов открытых данных. Основной из них - это государственный портал data.gov.hk [1] с более чем 5200 наборами данных, а также 3 геопортала:
- Hong Kong Geodata store https://geodata.gov.hk
- Hong Kong Common spatial data infrastructure geodata catalog https://portal.csdi.gov.hk/geoportal
- Hong Kong Geotechnical Engineering office geodata for public use https://www.geomap.cedd.gov.hk/GEOOpenData/eng/Default.aspx
Геоданные также предоставляются властями города.
Параллельно с открытыми государственными данными, в Гонконге есть как минимум 4 каталогов данных университетов и исследовательских центров:
- CUHK Research Data Repository https://researchdata.cuhk.edu.hk/
- DataSpace@HKUST https://dataspace.ust.hk/
- Research at Hong Kong Baptist University https://scholars.hkbu.edu.hk/en/datasets/
- Lingnan Scholars https://scholars.ln.edu.hk/en/datasets/
Два из которых являются частью экосистемы Dataverse, два других основаны на Elsevier Pure (там данные лишь один из видов результатов научной деятельности)
В Гонконге же находится команда проекта GigaDb http://gigadb.org которые создали портал с 47ТБ научных данных связанных с публикациями по биомедицине, в основном это геномные данные.
Кроме того существует Hong Kong Open Data Index https://opendata.isoc.hk проект Internet Society Hong Kong со сравнением доступности данных города по ключевым наборам данных, во многом с оглядкой на Global Data Barometer.
В последние пару лет очень заметно влияние материкового Китая где Университет Фуданя регулярно ведёт свой индекс открытости и публикует доклады о состоянии открытых данных в провинциях Китая.
#opendata #hongkong #china
В рубрике интересных наборов данных данные сканирования лидаром Шуховской башни в Москве [1] на сайте Openheritage3D для 3D моделирования объектов культурного значения.
Размер набора данных 1.2Gb, лицензия CC-BY-NC. Опубликовано в 2021 году Институтом истории естествознания и техники им. С.И. Вавилова РАН.
Ссылки:
[1] https://openheritage3d.org/project.php?id=0skp-z245
#opendata #datasets #digitalheritage