7027
I write about Open Data, Procurement, e-Government, Open Government, Budgets, Privacy and other govtech stuff Chat https://telegram.me/begtinchat Facebook - https://facebook.com/ibegtin Secure contacts ivan@begtin.tech
Чуть подробнее про Critical Technology Tracker [1] проект австралийского мозгового центра ASPI по отслеживанию ведущих научных центров и исследователей по наиболее значимым (критичным) технологиям.
Сделано в виде красивой интерактивной визуализации, весьма наглядно и можно увидеть рейтинги отдельных исследовательских центров и то как перетекают студенты вузов между странами и далее, кто из них остаётся получать научные степени и работать в индустрии.
На картинках примеры визуализации по России и в области анализа данных, но, сразу скажу, рейтинги России тут невысоки. В большинстве направлений лидируют Китай и США с большим отрывом и ещё где-то присутствуют Индия, страны ЕС, Великобритания и Южная Корея. А по умным материалам ещё и Иран(!) [2]
Методология этого проекта в анализе публикаций исследователей и их цитирования. Кто-то может измерять вклад стран по числу патентов, но важнее понимать что почти все такие сравнения стран показывают лидерство Китая.
Ссылки:
[1] https://techtracker.aspi.org.au/
[2] https://techtracker.aspi.org.au/tech/smart-materials/?c1=ir
#china #technology #australia #data #ratings
В рассылке AlgorithmWatch рассуждения [1] их репортёра Николя Кайзера-Бриля о том как Twitter опубликовал открытый код ранее. Ключевой вывод - большей открытости раскрытие именно этого кода не даёт, больше пользы от поста в блоге Twitter о том как устроены алгоритмы [2]. Я не до конца с ним согласен, всё таки я ближе к технологическим компаниям по складу ума, но, действительно, прозрачность складывается не только их кода.
Интересно и другое, он рассказывает про примеры раскрытия кода по запросу. Для тех кто не знает, в Европейском союзе действует Digital Services Act (DSA) [3] который позволяет исследователям запрашивать данные в целях общественного интереса у очень больших платформ. И уже была история когда французская организация CNAF отвечающая за государственное соцобеспечение по такому запросу опубликовала 7 миллионов строк кода, без сопровождающей документации и на запросы журналистов делали вид что документации не существует [4].
Всё это к тому что почувствуйте разницу в проблемах. В каких-то странах проблема в том что раскрывается слишком много кода и без документации, а в других что просто ничего не раскрывается. Первый вариант тоже не очень, но второй совсем плохой.
Ещё из полезного чтения:
- В Ирландии правительство пытается протащить быстрым образом закон разрешающий полиции использовать технологии распознавания лиц, но часть парламента сопротивляется [5]
- Во Франции служба аудиторов проверяет расходы в 3 миллиарда евро на стратегию Франции в области ИИ и выяснили что деньги тратили на короткие проекты, вместо долгосрочных [6] таких как образовательные программы
- В Швейцарии, в Лозанне местные власти запретили использовать распознавание лиц в общественных местах [7]
И, наконец, новости из Африки.
О том как Зимбабве строят государство тотальной слежки [8], на больших китайских кредитах, китайских технологиях и тд. Если кратко, то быстро и эффективно внедряют всё что возможно чтобы отслеживать всех без исключения и быстро разбираться со всеми кто имеет признаки оппозиционной деятельности.
А знаете почему Россия не Зимбабве? Потому что в России есть свои технологические компании по массовой слежки и достаточно денег чтобы не брать китайские кредиты.
Кстати, не могу не напомнить про проект по отслеживанию китайских технологических компаний в мире Mapping China’s Tech Giants [9] который делают в The Australian Strategic Policy Institute и собирают данные по всем известным китайским технологическим проектам в мире. Там есть наглядная карта, каждый может найти свою страну.
Они же анонсировали проект Critical Technology Tracker [10], я о нём расскажу через какое-то время. Он может быть даже поинтереснее мониторинга только Китая.
Ссылки:
[1] https://r.algorithmwatch.org/nl3/HCBGLxy-H3KfnMpjebKRLw
[2] https://blog.twitter.com/engineering/en_us/topics/open-source/2023/twitter-recommendation-algorithm
[3] https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=OJ:L:2022:277:FULL&from=EN&pk_campaign=todays_OJ&pk_source=EURLEX&pk_medium=TW&pk_keyword=Digital%20service%20act&pk_content=Regulation%20
[4] https://www.nextinpact.com/article/28136/106298-les-allocations-familales-nous-ouvrent-code-source-leur-calculateur-daides
[5] https://www.irishtimes.com/crime-law/2023/04/06/oireachtas-committee-wants-to-scrutinise-use-of-facial-recognition-technology-by-gardai/
[6] https://www.nextinpact.com/article/71408/la-strategie-nationale-recherche-en-ia-passee-au-crible-cour-comptes
[7] https://algorithmwatch.ch/fr/lausanne-interdit-reconnaissance-faciale-lespace-public/
[8] https://globalvoices.org/2023/01/10/how-zimbabwe-is-building-a-big-brother-surveillance-state/
[9] https://chinatechmap.aspi.org.au
[10] https://techtracker.aspi.org.au
#privacy #zimbabwe #china #ai #ethics #twitter
В рубрике интересных наборов данных World Bank’s Open Night Lights [1] коллекция снимков ночной Земли на которой можно увидеть распределение обитаемой зоны человечества по интенсивности искусственного света. Особенность этого набора данных в том что он доступен как общедоступный набор данных на Amazon AWS [2] и через Stac Server [3] по спецификации STAC [4]
Данные в форматах GeoTIFF и, что немаловажно, это очень подробное и буквально с азов руководство по тому как с этими данными работать [1].
В 2020 году пара исследователей из Университета Мичигана публиковали код который анализировал эти снимки и позволял оценить уровень доступа к электричеству по странам New Methods to Estimate Electricity Access Using Nightly VIIRS Satellite Imagery [5]
На основе этих данных уже написано некоторое количество статей [6], например, по отслеживанию экономической активности при COVID-19 в Морокко и предсказанию бедности по общедоступным данным.
И это ещё далеко не самое интересное что можно делать на основе спутниковых снимков для создания альтернативных данных.
Ссылки:
[1] https://worldbank.github.io/OpenNightLights/welcome.html
[2] https://registry.opendata.aws/wb-light-every-night/
[3] https://stacindex.org/catalogs/world-bank-light-every-night#/
[4] https://stacspec.org
[5] https://github.com/zachokeeffe/nightlight_electrification
[6] https://scholar.google.com/scholar?hl=en&as_sdt=0%2C5&q=%22OpenNightLights%22&btnG=
#opendata #datasets #remotesensing #geospatial
Про электронные повестки в России я буду краток.
—
– Однако, мистер Дент, маршрут был выставлен для всеобщего ознакомления в местном бюро планирования и висел там девять месяцев.
– Ага, как только я узнал, то сразу же помчался прямо в бюро. Это было вчера в полдень. Вы ведь не особенно утруждали себя предупреждениями? Я имею в виду: никому ни слова, ни одной душе, правда?
– Но маршрут был обнародован для…
– Обнародован? В конце концов мне пришлось спуститься в подвал, чтобы отыскать его!
– Верно, там у нас находится отдел информации.
– С фонариком!
– Наверное, света не было.
– И ступенек тоже!
– Но послушайте, вы ведь нашли план!
– Да, – сказал Артур,
– нашел. На дне запертого шкафа в заколоченном туалете. А на двери табличка висела: «Осторожно, леопард!»
—
Адам Дуглас, "Автостопом по галактике", 1979 г.
А в остальном меня вот уже второй день журналисты осаждают вопросами реально ли сделать такую информационную систему в короткие сроки. Лично у меня никакого желания комментировать по этой теме нет. И не только потому что и так всем всё понятно (с), но и предмета обсуждения нет. Автоматизация решений законов сложна тогда когда эти законы долго пишут, интенсивно обсуждают, принимают как сочетание тяжелых компромиссов, а архитекторы и инженеры реализуют проклиная этих юристов за то что они напридумывали всякого невозможного. А тут всё предельно просто, если приняли за пару дней то и изменить могут также, в любой момент. Вопроса возможности-невозможности тут не стоит, внутри государства достаточно команд способных реализовать такие проекты и даже если текущую команду Минцифры расформируют за сопротивление Гостеху (в чём они молодцы), а кого-то из вице-премьеров отправят куда-нибудь в новую/старую госкорпорацию, а Грефа назначат вице-премьером по Гостеху (большая зелёная танцующая шутка), то даже в этом случае такую систему смогут сделать. Даже на таком унылом стеке как Гостех, даже если не очень стараться.
Технологии довольно давно позволяют построить системы любой степени людоедскости, Российское государство в его текущей инкарнации тут догоняющий игрок, но темп взят хороший, а марафон долгий.
#government #regulation #laws
По поводу роликов российского РОЦИТа о том что данные утекают из-за VPN многие уже написали, например, у Алексея Лукацкого есть правильные тезисы про то что VPN это много разных технологий, а не только обход блокировок [1]
Я же обращу внимание на то что РОЦИТ, конечно, мягко скажем уже далеко не тот. Достаточно очевидно что эти ролики появились не по той причине что в РОЦИТе есть идейные люди против VPN, не думаю что там вообще есть идейные люди или настолько неграмотные технически, наоборот трудно поверить что сами сотрудники РОЦИТа VPN не пользуются. Поэтому ролики эти, как бы помягче, двуличны.
Причём их двуличность двойная:
1. Публичными VPN сервисами меняющими юрисдикцию пользуются для обхода политической (блокировки сайтов), санкционной (сервисы блокируют по российским IP) и другим причинам. VPN сервисы при этом не могут, при всём желании, собирать о вас больше данных чем ваш провайдер, магистральный провайдер, сотовый оператор (как провайдер интернета) или работодатель. VPN сервисы бывают разные: от совершенно "левых" непонятно кем эксплуатируемыми до предоставляемых тяжеловесными компаниями, например, крупными разработчиков антивирусов и файерволов, а также всегда есть решения self-hosted (для самостоятельного развёртывания).
2. Утечки персональных данных происходят не из-за VPN, они происходят потому что экономически или политически мотивированные хакеры взламывают инфраструктуру компаний и отдельных лиц в выкладывают эти данные в открытый доступ или в теневой, но свободный экономический оборот. Первопричины в недостаточной безопасности хранения данных, в избыточном их сборе компаниями и государством и в хорошо мотивированных людях с жёсткой позицией. А из роликов получается что утечки из-за VPN'ов, а не потому что службы инфобеза Сбербанка или Минтруда или АСИ продолбали утечки данных из своих информационных систем.
Поэтому ролики РОЦИТа я не могу назвать ничем иным как целенаправленным введением граждан в заблуждение. Верить им, разумеется нельзя.
Ссылки:
[1] /channel/alukatsky/7786
#privacy #security #vpn
Я регулярно пишу тут в канале про порталы открытых данных , научные каталоги и другие каталоги данных, а за всем этим стоит пока небольшой проект создания общедоступного поискового индекса по всем доступным данным, открытый аналог Google Search. Он так и называется Common Data Index.
Причём этот проект 4-х этапный, где каждый этап отдельный под проект.
Чтобы создать поисковую систему нужно:
1. Создать реестр большинства каталогов данных
2. Собрать описания наборов данных в первичные индексы
3. Создать единый поисковый индекс и веб интерфейс над ним
4. Создать систему архивации ключевых данных и обогащение поискового индекса информацией из сохранённых наборов данных
Вот так это выглядит в майндмапе.
А вот так выглядит первая часть этого проекта, каталог каталогов данных [1] пока в виде репозитория где каждому каталогу соответствует отдельный YAML файл с метаданными и единый набор данных каталога каталогов собирается в JSONL файл.
Сейчас в этом каталоге каталогов 1736 записей, часть из них надо вычищать как уже недоступные, а многие просто ещё не найдены. потенциально их около 2500-3000. Чем-то проект похож на datacatalogs.ru который мы в @infoculture делали в прошлые годы и тоже как потенциальную основу для поисковика по данным в России.
Сейчас есть понимание что делать поисковик только по российским данным - это недостаточные амбиции, если делать то сразу глобально.
Пока об этом проекте я пишу только тут в телеграм канале, он в стадии проектирования и я его только начал выводить из собственного pet проекта в активную фазу, но что могу сказать сразу так это то что есть большое желание сделать поисковую систему по данным используя технологии о которых я ранее писал - идентификацию семантических типов данных, а также инструменты автоматизации data discovery.
Ссылки:
[1] https://github.com/commondataio/dataportals-registry
#opendata #opensource #projects
Полезное чтение про данные, технологии и не только:
- Microsoft Intelligence platform data integration plan [1] план обновлений сервисов в Microsoft Intelligence platform на апрель-сентябрь 2023 года. Там много изменений полезных для тех кто пользуется их платформой
- Life after orchestrators [2] автор делится мыслями о том как работать с оркестраторами данных и без них. Автор рекламирует сервис Popsink [3], но сам пост содержит и вполне здравые мысли (не рекламу). Действительно оркестраторы нужны не везде и не всегда.
- Introducing Segment Anything: Working toward the first foundation model for image segmentation [4] - модель и данные по сегментации изображений от Meta AI, набор данных, кстати большой, более 11 миллионов изображений
- Datasets for Advancing AI Research [5] другие наборы данных для машинного обучения от Facebook. С ручной разметкой, большого объёма и тд. Не полноценный каталог данных, а интегрировано в их сайт по ИИ, но в целом оформлено неплохо и, главное!, это содержание.
- Data Modeling – The Unsung Hero of Data Engineering: An Introduction to Data Modeling (Part 1) [6] про моделирование данных в блоге Airbyte, хороший текст как вводный и явно с продолжением.
- Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality [7] просто какая-то эпидемия (шутка) языковых моделей которые делаются маленькими ресурсами и приближающимися по качеству к ChatGPT и GPT-4. Вот и свежий открытый продукт. Похож на Alpaca, обучали его ещё дешевле, всего за $300.
Ссылки:
[1] https://learn.microsoft.com/en-us/power-platform/release-plan/2023wave1/data-integration/
[2] https://stkbailey.substack.com/p/life-after-orchestrators
[3] https://www.popsink.com/
[4] https://ai.facebook.com/blog/segment-anything-foundation-model-image-segmentation/
[5] https://ai.facebook.com/datasets/
[6] https://airbyte.com/blog/data-modeling-unsung-hero-data-engineering-introduction
[7] https://vicuna.lmsys.org/
#readings #data #ai #datatools #machinelearning #dataengineering
В профессиональных сообществах сейчас активно обсуждают Stanford Alpaca [1] языковую модель, по некоторым признакам сравнимую с ChatGPT, но созданной за какие-то маленькие средства в $600.
В издании New Atlas автор Loz Blain пишет о том что это как выпустить джина из бутылки [2] потому что ИИ могут разрабатывать теперь буквально хоть школьники потому что обучить Alpaca можно за ночь и на посредственном оборудовании (вспомним про расходы менее $600). Для сравнения ChatGPT обучали на 1 023 видео процессорах A100 в течении 34 дней.
Что это значит? Это означает массовость и неистребимость новых разработок в области ИИ. Даже если какая-нибудь ядерная страна изменила бы ядерную доктрину для превентивного нанесения ядерного удара по датацентрам используемых для обучения ИИ - это бы не сработало. Если создавать и развивать новые языковые модели станет столь дешево, то и законодательные ограничения будут малоэффективны.
В любом случае нас ждёт новый неизвестный мир, возможно очень неожиданный.
Ссылки:
[1] https://crfm.stanford.edu/2023/03/13/alpaca.html
[2] https://newatlas.com/technology/stanford-alpaca-cheap-gpt/
#ai #opensource #languagemodels
Я ранее рассказывал про каталог API правительства Доминиканской республики [1], а ещё ранее про примеры каталогов API в других странах.
А вот и дополнительные примеры.
Портал для разработчиков Правительства Нидерландов developer.overheid.nl [2]. Включает каталог репозиториев правительственного открытого кода (на Github и Gitlab), всего более 1300 репозиториев [3] и каталог из 100 API со спецификациями и документацией [4]
Более же всего порталов для разработчиков существует в США, они есть у многих, почти всех, центральных органов власти и отдельных штатов, например, портал для разработчиков в рамках Medicaid [5] или портал для разработчиков Департамента труда [6].
Ссылки:
[1] /channel/begtin/4750
[2] https://developer.overheid.nl/
[3] https://developer.overheid.nl/repositories
[4] https://developer.overheid.nl/apis
[5] https://developer.cms.gov/
[6] https://developer.dol.gov/
#opensource #apis #netherlands #government
Bloomberg (компания) анонсировали создание FOSS Contributor Fund (Фонда поддержки свободного программного обеспечения) [1] и обещают каждый квартал отбирать по 3 проекта с открытым кодом и раздавать им по $10 000 каждому. В первый раз поддержали такие проекты как: Apache Arrow, curl и Celery. Причём, Apache Arrow - это проект про данные точно, curl - скорее про базовое ПО используемое повсюду, а Celery про цифровую инфраструктуру.
Кстати, фонд поддержки открытого кода был у Salesforce, но потом они его заменили на прямую поддержку тех проектов которые им нравятся [2], а также FOSS fund есть у Microsoft [3], они раздают по $500, а в Indeed опубликовали книжку Investing in Open Source: The FOSS Contributor Fund [4] в 2019 году.
Ещё FOSS fund есть у компании Prisma [5] и многих других.
Фонды поддержки открытого ПО - это хорошая форма корпоративной социальной ответственности. Жаль лишь что их так немного, и хорошо что становится больше.
Ссылки:
[1] https://www.bloomberg.com/company/stories/bloomberg-ospo-launches-foss-contributor-fund/
[2] https://engineering.salesforce.com/open-source/
[3] https://github.com/microsoft/foss-fund
[4] https://opensource.indeedeng.io/Investing-in-Open-Source/
[5] https://www.prisma.io/blog/prisma-foss-fund-announcement-XW9DqI1HC24L
#opensource #funding #fundrising
В рубрике как это работает у них, инфраструктура научных данных в Германии включает большое число исследовательский и университетских репозиториев данных и других результатов научной деятельности. Многие репозитории работают на без open-source ПО каталога научных данных Dataverse, например, DaRUS [1] университета Штудгарта или HeiData [2] Университета Хельдельберга. Всего в Германии мне известно 10 репозиториев научных данных именно на базе Dataverse.
Одновременно с Dataverse активно используется относительно новый open-source продукт каталога данных InvenioRDM, на нём работает репозиторий научных данных Университета Гамбурга [3] и архив данных RODARE [4]
Но гораздо более популярными являются репозитории данных на базе таких продуктов как DSpace и специфичного для Германии MyCore. DSPace - это распространённый продукт в академической и архивной среде для хранения условно любого контента с метаданными, в Германии DSpace весьма распространён и на его базе публикуются, в том числе наборы данных. К примеру, архив OpARA [5] Технического университета Дрездена.
И отдельно про MyCore [6], это аналог DSpace особенно распространённый в Германии. На нём созданы десятки порталов раскрытия научных результатов университетов по всей стране [7] и как и DSpace он создан для сохранения и поиска любого контента с расширяемыми наборами метаданных, что особенно актуально в научной среде. В MyCore часто сохраняют данные о статьях, научных тезисах, диссертациях, архивах, изображениях и, в том числе, исследовательских данных. А некоторые репозитории изначально создаются на MyCore чтобы сохранять только данные. Например, реестр научных данных Университета Киель [8]
И, дополнительно, необходимо отметить такие проекты как PANGAEA [9], огромный репозиторий научных данных о земле и поисковик по научным данным Германии [10] на базе сервиса da|RA по выдаче DOI.
Данные германских исследовательских центров практически все в значительном объёме проиндексированы в общеевропейском проекте OpenAIRE.
Ссылки:
[1] https://darus.uni-stuttgart.de
[2] https://heidata.uni-heidelberg.de/
[3] https://www.fdr.uni-hamburg.de
[4] https://rodare.hzdr.de/
[5] https://opara.zih.tu-dresden.de/xmlui/
[6] https://www.mycore.de/
[7] https://www.mycore.de/site/applications/list/
[8] https://opendata.uni-kiel.de
[9] https://pangaea.de/
[10] https://www.da-ra.de/search
#opendata #germany #datasets #openaccess #openscience
В Великобритании Центральный офис по цифре и данным анонсировал появление Data Maturity Assessment for Government (DMA) [1] руководство по оценке дата-зрелости органов власти и государственных организаций. Подробный документ с критериями уровней зрелости по 97 пунктам.
Там, конечно, есть и про открытые данные, но важнее не это а блок Topic 9: Setting your data direction в котором по умолчанию принимается что у организации есть стратегия работы с данными и далее лишь вопрос качества этой стратегии и коммуникации.
Что характерно в России ни на национальном уровне, ни на уровне отдельных органов и правительств субъектов федерации таких стратегий нет. Поэтому оценка по уровням зрелости будет невысокой.
А вот для многих постсоветских стран ещё раздумывающих над созданием офисов по цифре и данным стоит обратить внимание на этот документ, по сути он является руководством о том как системно организуется работа с данными в госсекторе.
Ссылки:
[1] https://cddo.blog.gov.uk/2023/03/27/strengthening-outcomes-for-the-public-through-better-data-maturity/
[2] https://www.gov.uk/government/publications/data-maturity-assessment-for-government-framework/data-maturity-assessment-for-government-framework-html
#opendata #data #government #regulation #policies #uk
В рубрике как это работает у них
Я где-то год назад рассказывал том что правительства многих стран создают специализированные порталы для разработчиков в виде каталогов API [1]. Это такие страны как Великобритания, Франция, Австралия, Арабские Эмираты, например.
А вот и свежий пример, портал API Домиканской республики [2]. API там пока немного, всего 5, зато систематизировано.
Во Франции тем временем теперь уже крупнейший каталог госAPI в api.gouv.fr, более 100 задокументированных точек подключения [3]
Причём во всех странах практически есть API у правительственных информационных систем даже если те кто их эксплуатируют об этом не знают, то всё равно будут недокументированные API. Но такое незнание может быть только об необразованности, обычно всё знают, и обычно всё совершенно не систематизировано.
Порталы каталогов API - это, по сути, работы исключительно по документированию того что уже и так есть.
Через API часто предоставляют доступ к данным, особенно данным реального времени, сервисам требующим авторизации, иным сервисам необходимым для взаимодействия с государственными системами.
Ссылки:
[1] /channel/begtin/4608
[2] https://developer.digital.gob.do
[3] https://api.gouv.fr
#opendata #apis #government #dominicana
Существенный элемент открытой инфраструктуры геопространственных данных в Европейском союзе - это каталоги геоданных стран входящих в ЕС, где в последние годы появились каталоги данных и метаданных на базе движка с открытым кодом Geonetwork [1]. Geonetwork - это каталог геоданных с открытым кодом [2] созданный Open Source Geospatial Foundation, поддерживаемый компанией GeoCat [3] и доступный, как для самостоятельной установки и использования, так и с поддержкой по типичной бизнес модели продуктов с открытым кодом.
Geonetwork приобрёл существенную популярность в последние годы и именно его используют разработчики многие национальных порталов открытых геоданных в развитых странах. В частности большая часть национальных каталогов геоданных в Европейском союзе созданных или развивающихся в рамках программы INSPIRE работают на Geonetwork [4]. Например, на Geonetwork работает портал геоданных Новой Зеландии [5] и Эстонии [6].
Хотя разработчики продукта и собирают информацию о его установках и есть список из 65 порталов данных, на самом деле их больше, поскольку многие устанавливают самостоятельно. Например, там не перечислены порталы геоданных на базе Geonetwork в Армении:
- The Armenian Soil Information System (ArmSIS) [8]
- The Center for Ecological-Noosphere Studies NAS RA Data Portal [9]
или в Киргизии:
- Каталог метаданных [10]
или в России
- Каталог ГГМ РАН [11]
Таких примеров множество. Geonetwork постепенно становится, а может быть уже и стал стандартом де-факто для публикации геоданных, по аналогии с CKAN, API которого стало стандартом для публикации открытых данных. При том что продукту уже 19 лет, он активно развивается.
Данные из серверов Geonetwork активно агрегируются наднациональными порталами данных, таких как data.europe.eu и видны и находимы в основном благодаря именно этому, поскольку сами сервера Geonetwork никогда не оптимизировались под поисковые системы и не попадают, например, в поиск наборов данных Google.
Ссылки:
[1] https://geonetwork-opensource.org
[2] https://github.com/geonetwork
[3] https://www.geocat.net
[4] https://inspire-geoportal.ec.europa.eu/overview.html?view=thematicEuOverview&theme=none
[5] https://geodata.nz
[6] https://metadata.geoportaal.ee
[7] https://github.com/geonetwork/doc/blob/develop/source/annexes/gallery/gallery-urls.csv
[8] https://armsis.cas.am
[9] http://gn.cens.am:8080/geonetwork
[10] http://nsdi.kg:8070/geonetwork/
[11] https://maps.geologyscience.ru/geonetwork/
#opendata #geodata #datasets #opensource #likbez
Вчера команда Твиттера выложила в открытый доступ описание [1] их рекомендательного алгоритма с подробностями и описанием его работы. И, более того, они выложили два репозитория открытого кода их рекомендательной системы и модели для машинного обучения [2] [3].
Здесь важно понимать правильно этот шаг, это не открытые библиотеки кода для совместной разработки или проект с открытым кодом передаваемый сообществу, это явно именно раскрытие кода для разговоров с регуляторами которые спят и видят всерьёз рассматривают введение требований к социальным сетям именно в части формирования рекомендательных списков для чтения.
Кто последует в след за Twitter'ом? Увидим ли мы исходный код формирования ленты в Facebook'е, например?
Ссылки:
[1] https://blog.twitter.com/engineering/en_us/topics/open-source/2023/twitter-recommendation-algorithm
[2] https://github.com/twitter/the-algorithm
[3] https://github.com/twitter/the-algorithm-ml
#opensource #twitter #machinelearning
В качестве регулярных напоминаний о чём я здесь пишу, для свежеподписавшихся.
Я регулярно пишу про технологии, работу с данными, открытые данные, приватность, цифровые архивы, научную инфраструктуру и использование технологий в гос-ве и крупных корпорациях. Пишу как про очень практические и технологические вещи, так и про госполитику в этой области, регуляторные аспекты, научные исследования, аналитику и так далее. Поэтому читать этот канал может быть не всегда просто для тех кто интересуется только технологиями и их применением и для тех кто наоборот интересуется регулированием и исследованиями.
Для больших текстов пишу в рассылку на Substack https://begtin.substack.com
Для текстов на английском пишу в блоге в Medium ibegtin" rel="nofollow">https://medium.com/@ibegtin
Я возглавляю российскую НКО Инфокультура @infoculture, от которой мы создаём такие технологические проекты как:
- Национальный цифровой архив https://ruarxive.org (подписывайтесь на @ruarxive)
- Каталог каталогов данных https://datacatalogs.ru
- Госзатраты https://clearspending.ru
- Открытые НКО https://openngo.ru
- Простой русский язык https://plainrussian.ru
- Хаб открытых данных https://hubofdata.ru
и другие.
Вернее пока ещё можем создавать, учитывая что происходит в стране с другими НКО, неизвестно сколь долго это будет возможно.
Последняя моя аффиляция с государством была в создании проекта Госрасходы spending.gov.ru в Счетной палате РФ и закончилась его запуском, в СП РФ проект всё ещё существует и развивается. Вот уже более 3 лет как занимаюсь только коммерческими и общественными проектами, консалтингом и преподаванием.
Регулярно пишу про свои пэт проекты https://github.com/ivbeg, до сих пор много пишу кода и стараюсь делать руками.
Всё это к тому что подписываясь на этот канал не удивляйтесь текстам по всем этим темам и если Вы подписывались в ожидании текстов по общеполитическим вопросам, то их тут крайне мало, а если интересуетесь технологиями в перечисленных направлениях - то надеюсь Вам будет интересно!
#opendata #about
В рубрике полезных наборов данных по России, общедоступные точки подключения к ArcGIS государственных и научных порталов:
- https://agoracle.asutk.ru/arcgis/rest/services
- http://apieatlas.mos.ru/arcgis/rest/services
- https://geoportal.gcras.ru/arcgis/rest/services
- https://gisn.kgilc.ru:6443/arcgis/rest/services
- https://gisnao.ru/arcgis/rest/services/
- http://gis.rkomi.ru/arcgis/rest/services/
- https://karta.yanao.ru/arcgisserver/rest/services
- https://lgtgis.aari.ru/arcgis/rest/services
- http://map.govvrn.ru/arcgis/rest/services
- http://maps1.dvinaland.ru/arcgis/rest/services
- https://meteo-dv.ru/arcgis/rest/services/
- https://portal.shipsea.ru/arcgis/rest/services
У ArcGIS серверов нет указания на лицензии и право повторного использования данных, поэтому используйте на свой страх и риск. Большая часть этих порталов упомянуто в каталоге каталогов datacatalogs.ru и уже в расширённом объёме они будут в проекте Common Data Index
#opendata #datasets #geospatial #geodata #data #arcgis
По поводу российского государственного портала открытых данных data.gov.ru который недавно был закрыт Минэкономразвития [1] и как пишет Ольга Пархимович у себя в канале там ещё и чудеса с обратной связью с представителями этого министерства [2], так вот ещё до появления госпортала открытых данных мы командой Инфокультуры делали портал hubofdata.ru [3] куда загружали данные которые госорганы "забывали" опубликовать как открытые и который подзабросили когда российские госорганы начали создавать свои порталы открытых данных, поскольку было, какое-то время, впечатление что данные госорганы будут публиковать.
Так вот я большого секрета не открою сказав что сделать большой негосударственный портал открытых данных можно и даже не феноменально сложно. И если Минэкономразвития собирается запускать новую версию data.gov.ru на Гостехе и за 50 млн. руб, то без министерства и без Гостеха общественный проект с большим числом наборов данных и их объёмом можно сделать в 5 раз дешевле.
Больше того, поскольку мы кроме общественного портала Hubofdata делали ещё и полу-коммерческий Datacrafter [4] то заполнить такой общероссийский портал можно сразу данными большого объёма и в хорошем качестве. Кстати, Datacrafter никуда не исчез, может быть будет перезапущен в России, может быть мигрирован в другую страну и с другими акцентами. В любом случае значительная часть собранных там данных может быть перенесена в общественный проект.
В чем же сложность тогда? На самом деле ключевая сложность в России вот уже много лет в отсутствии доступных инвестиций/грантов/средств на цифровые гражданские проекты, особенно по доступности данных. Это министерства могут сжечь любое количество потратить 50 миллионов рублей в довесок к уже потраченным без гарантии результата. Объяснить из чего складывается разница? Из того что порталы открытых данных во всём мире делают на готовых опенсорс решениях, чаще всего на CKAN, реже на DKAN, uData, Dataverse, а для геоданных Geonetwork. Развертывание любого из них в разы дешевле и практичнее разработки с нуля, если только нет плана по созданию мегафич из-за которых опенсорс продукты не подходят. А разработка с нуля на Гостехе - это удовольствие не для слабонервных, учитывая что там никаких готовых решений. Нельзя вот так просто взять и развернуть готовое решение из коробки и неизвестно можно ли будет когда-либо. Например, Datacrafter делался не на CKAN'е потому что в нём внутри структурированное NoSQL хранилище, разметчик семантических типов данных и экспорт всех данных в parquet по умолчанию. CKAN этого не умеет, пока что.
Когда есть амбиции делать национальные порталы открытых данных, то стоит ли делать их в России? Поэтому я через какое-то время анонсирую общественный портал открытых данных, пока небольшой, создаваемый для другой страны и я уже рассказывал ранее про проект Common Data Index [5] который начинается с общего реестра каталогов и порталов открытых данных в мире, а продолжится поисковой системой по всем наборам данных в общедоступных каталогах данных.
Ссылки:
[1] /channel/begtin/4714
[2] /channel/ahminfin/541
[3] https://hubofdata.ru
[4] https://datacrafter.ru
[5] /channel/begtin/4764
#opendata #russia #opengov #dataportals
Вышел стенфордский доклад 2023 AI Index Report [1] о состоянии ИИ за 2022 год и немного за 2023, доклад подробный и интересный, я о его содержании ещё попозже напишу подробностей, а пока 14 графиков на основе этого доклада [2].
В основном про США, но не только.
Графики неплохо передают состояние развития технологий, но, конечно, текст доклада важнее.
На одном лишь я сделаю особый акцент. В США лишь 0.67% выпускников с PhD по ИИ работают на государство. А 65.4% на корпорации и 28.2% в исследовательских центрах.
Не только роль государства, но и и компетенции отсутствуют в системе госуправления, в данном случае США, но думаю что это справедливо для всех стран.
Ссылки:
[1] https://aiindex.stanford.edu/report/
[2] https://hai.stanford.edu/news/2023-state-ai-14-charts
#ai #reports
В рубрике интересных цифровых гуманитарных проектов The Atlas of Early Printing [1] Атлас ранней печати и то как она распространялась по Европе, вплоть до Кракова и Стамбула. Про не-европейские страны практически ничего, про европейские наглядная карта.
Как и многие проекты в области цифровой гуманитаристики, фокус внимания здесь на визуализации, а не на данных. Данных там немного и в виде набора данных команда проекта его не раздаёт, поскольку цель в создании наглядности.
Другой прекрасный проект MANTO [2] наглядное представление мест в греческих мифах. Здесь гораздо больше данных и они тщательно связывают источники, места, мифы, персонажей.
Ещё один яркий проект A vision of Britain through time [3] с наглядной визуализацией статистики и фактов о Великобритании сделанное с большой аккуратностью и наглядностью.
P.S. Я буду время от времени писать про проекты в области цифровой гуманитаристики, разбавляя поток текстов про технологи и государство. Эти тексты будут по тегу #digitalhumanities
Ссылки:
[1] http://atlas.lib.uiowa.edu/
[2] https://www.manto-myth.org
[3] https://www.visionofbritain.org.uk/
#digitalhumanities #data
В рубрике как это работает у них Research Resource Identifiers (RRIDs) [1] научный проект по систематизации общедоступных научных ресурсов изначально в области биоинформатики, а далее и для научных дисциплин. Создаётся FAIR Data Informatics Lab в рамках инициативы SciCrunch [2] организованной для повышения доступности ресурсов, баз данных, инструментов для исследователей в их дисциплинах.
В сентябре 2022 года объём RRID составил 500 тысяч записей [3] и включает не только реестры инструментов и данных, но и организмов, плазмидов и других объектов интегрированных из других баз данных. Этот проект как и проект Fairsharing можно сказать является экспансией из управления данными в мире биоинформатики в остальные научные дисциплины. Оба они изначально построены на банках данных в области наук о жизни (life sciences), но позиционируемые как универсальные.
Многие национальные порталы открытых данных также отмечены в RRIDs, например, это портал открытых данных США Data.gov с идентификатором RRID:SCR_004712 [4]. Кстати, портал открытых данных США один из немногих пока национальных порталов данных включённых именно в каталоги научных репозиториев, таких как Re3Data [5]. Таких порталов немного, к ним можно отнести ещё Data.gov.au в Австралии и data.gov.uk в Великобритании, в остальном же обычно национальные порталы скорее агрегируют часть данных из некоторых репозиториев исследовательских данных.
Кстати, если бы власти США решили бы закрыть свой портал открытых данных как это сделало Минэкономразвития в России, то именно учёные там отреагировали бы первыми массовыми запросами, потому что их портал является заметным инструментом распространения открытых данных научных исследований. А то есть перед чиновниками не стоит вопрос зачем он нужен, ответ тут очевиден.
RRID - это пример одного из десятков проектов по систематизации инструментов, результатов, процессов, баз данных и любых элементов научных исследований. Проект существует уже 10 лет, ссылки идентификаторы в нём присутствуют, например, в статьях в PubMed [6].
Ссылки:
[1] https://scicrunch.org/resources
[2] https://scicrunch.org/page/scicrunch
[3] https://scicrunch.org/scicrunch/about/blog/2486
[4] https://scicrunch.org/resources/data/record/nlx_144509-1/SCR_004712/resolver?q=data.gov&l=data.gov&i=rrid:scr_004712
[5] https://www.re3data.org/repository/r3d100010078
[6] https://pubmed.ncbi.nlm.nih.gov/36793799/
#opendata #openaccess #openscience
В рубрике как это устроено у них портал раскрытия данных о переписях в Индии Census Digital Library [1] создан на базе открытого ПО NADA для публикации микроданных, я писал о нём совсем недавно [2].
Этот портал включает более 29 тысяч наборов данных и охватывает данные переписей начиная с 1901 года. Это больше чем на российском госпортале открытых данных о его закрытия.
А это лишь один из порталов публикации открытых данных в Индии.
Например, на портале data.gov.in опубликовано более 600 тысяч ресурсов, большая часть в форме машиночитаемых данных под свободными лицензиями.
А портал раскрытия данных переписей интересен крайне подробными метаданными по каждому набору данных и существенной гранулярностью, данные переписи там представлены с детализацией до округов (districts) и на их основе можно анализировать и визуализировать данные на довольно детальном уровне.
Такой способ публикации данных тоже не идеален, ведь большая часть файлов на портале в Excel формате, там не менее масштаб раскрытия данных и их использование весьма значительны.
Ссылки:
[1] https://censusindia.gov.in/nada/index.php
[2] /channel/begtin/4710
#opendata #datasets #india
В рубрике как это устроено у них, 3 репозитория открытых научных данных созданные Варшавским университетом в 2017-2021 годах в рамках проекта Dziedzinowe Repozytoria Otwartych Danych Badawczych [1] переводится как Открытые репозитории доменных исследовательских данных.
В рамках проекта созданы репозитории:
- RepOD https://repod.icm.edu.pl - репозиторий открытых данных
- RDS https://rds.icm.edu.pl/ репозиторий социологических данных
- MX-RDR http://mxrdr.icm.edu.pl/ - репозиторий первичных данных в области макромолекулярной кристаллографии.
В общей сложности на них опубликовано около 1300 наборов данных. Данные в разных форматах: CSV, Excel, Nb, Ods, Tab и другие. Научные наборы данных также, часто отличаются тем что содержат первичные данные на которых проводилось исследование: тексты или изображения, например.
Общая стоимость проекта 4 998 889 злотых, по текущему курсу - это 95 миллионов рублей, всё это на 4 года.
Ссылки:
[1] https://drodb.icm.edu.pl/opis-projektu/
#opendata #openaccess #openscience #poland #eu #datasets
Возможно ИИ не так сильно угрожает рынку труда как многие говорят, но инвестиции в генеративный ИИ сейчас огромны. И взрывной их рост произошел всего за полгода.
#ai #startups
Где искать большие данные для исследований? Машинного обучения? Тренировки алгоритмов?
Источников много, я упомяну сейчас те о которых ранее не писал:
- Academic Torrents https://academictorrents.com/ - торрент-трекер для исследователей для публикации данных особо большого объёма. Более 14ТБ данных, большая часть для машинного обучения
- Archive.org datasets https://archive.org/details/datasets - наборы данных собранные в коллекции Интернет архива. Наборов данных более 9 тысяч и данные большого объёма
- Hyper.ai Datasets https://hyper.ai/datasets наборы данных китайской компании Hyper.AI. Тоже большого объёма и раздают данные через torrent'ы
- Toloka Datasets https://toloka.ai/datasets/ - открытые наборы данных компании Toloka, все про машинное обучение, варьируются от очень небольших, до десятков гигабайт
- The SpaceNet Datasets https://spacenet.ai/datasets/ - коллекция наборов данных проекта SpaceNet, открытые наборы данных от компании Maxar, поставщика данных спутникового мониторинга
- Granular Datasets https://granular.ai/datasets - много наборов данных для машинного обучения на данных спутниковых снимков и иных снимков
- Наборы данных Центра диагностики и телемедицины https://mosmed.ai/datasets/ - один из немногих открытых источников больших и открытых данных для машинного обучения в России, большая часть данных открыты или доступны по запросу. Публикуется профильным ГБУ при правительстве Москвы
#opendata #datasets #data #machinelearning
Когда пишешь про любое недокументированное API, неочевидные данные и тд. всегда есть риск что прочитают об этом ответственные за ту систему откуда это API или данные доступны и всё исчезнет. Поэтому я приведу несколько примеров недокументированных API и данных которые не очень жалко, но они иллюстративны.
В качестве примеров порталы геоданных:
- сайт Новые инвестиционные проекты от Минэкономразвития России работает на базе GeoServer [1] и экспортирует 25 слоёв геоданных. Удивительное дело, их не было на портале data.gov.ru, наверное потому что сотрудники Минэка России про него и не знают;)
- сайт Транспорт Москвы тоже на базе GeoServer [2], но московских данных там нет, только какие-то международные
- открытое и документированное API есть у геопортала Ульяновской области [3], но о том что оно есть надо знать, поскольку оно мало где упоминается, если вообще упоминается
Всё это вдогонку к огромному числу сайтов с CMS позволяющими экспортировать данные, геосерверам ArcGIS, сайтам с REST API и graphql на бэкэнде.
В этом смысле в России много данных просто потому что в создание этих информационных систем вбуханы огромные деньги. Если поискать по сайтам большей части среднеазиатских стран или Армении, то данных там гораздо меньше просто из-за меньших затрат на информатизацию.
Зато могу сказать что в Иране тоже есть общедоступные геоданные в рамках национальной инфраструктуры геопространственных данных и тоже на GeoServer [4]. От открытых данных эти данные отличаются только отсутствием свободных лицензий.
Ссылки:
[1] https://mnp.economy.gov.ru/geoserver
[2] https://transport.mos.ru/geoserver/
[3] http://geo.ulgov.ru/docs/developer/api
[4] https://iransdi.ncc.gov.ir/geoserver
#opendata #datasets #undocumentedapi #apis #russia #iran #geodata
Команда Meltano, ETL/ELT продукта вышедшего из инженерной команды Gitlab, преданонсировали запуск Meltano Cloud [1], облачной версии их продукта, пока без цен, что чуть ли не самое важное, так что ждём.
А также они полностью обновили интерфейс хаба коннекторов Meltano Hub [2] где можно подобрать коннектор для специфичных сервисов и подключить его в свой экземпляр Meltano.
Облачные продукты на базе open source довольно распространены, это чуть ли не основная бизнес модель сейчас для новых СУБД и инфраструктурных продуктов. В этом смысле Meltano один из продуктов за которыми я давно слежу, от активного использования их ETL лично меня сдерживают те же ограничения что у большинства ETL/ELT продуктов - это ориентация на модель SQL-only и преимущественно на работу с плоскими таблицами. Не для всех задач с которыми лично я сталкиваюсь это годится.
В остальном, Meltano один из продуктов и стартапов по работе с данными за которыми я лично наблюдаю. Как-нибудь сделаю список из всех о которых я писал и за которыми слежу. Они преимущественно с открытым кодом, таких дата продуктов немало.
Ссылки:
[1] https://meltano.com/cloud/
[2] https://hub.meltano.com/
#opensource #etl #startups #data #elt
Новости закрытия открытых данных в России
Портал открытых данных http://opendata25.primorsky.ru отключен, вместо него Администрация области запустила портал https://opendata.primorsky.ru. Впрочем если на первом публиковалось 7 наборов административных данных, то на новом не сильно больше, 13 наборов данных. Все про инфраструктуру, ничего существенного.
Портал открытых данных города Перми https://opendata.perm.ru более недоступен, ранее там публиковалось более 480 наборов данных. Вместо него власти города разместили одностраничный лендинг https://opendata.gorodperm.ru с двумя наборами данных: режим работы и телефонный справочник. Последнее выглядит как форменное издевательство если честно.
В остальном открытые данные не исчезают с российских госпорталов только по той причине что это довольно бессмысленные административные данные с общими сведениями об учреждениях, но даже они не обновляются, некоторые по 5-6, а некоторые и по 9 лет.
#opendata #closeddata #russia
Для тех кто ищет данные, в том числе не всегда документированные, оказывается у Роскосмоса есть точка подключения к геоданным [1] по спецификации STAC. Он внесён в STAC Index как ERS open data [3] и, похоже, нигде в русскоязычных/российских ресурсах и каталогах данных не упомянут.
Условия использования там проприетарные, тем не менее сам по себе этот факт интересен, о доступности подобных данных и в стандартизированных форматах удаётся узнать из международных инициатив, а не российских.
Причём, судя по метаданным, STAC каталог Роскосмоса добавили в глобальный в октябре 2022 года.
Ссылки:
[1] https://s3ext.gptl.ru/stac-web-free/catalog.json
[2] https://stacspec.org/
[3] https://stacindex.org/catalogs/ers-open-data#/
#opendata #roscosmos #datasets
Я тот кто думает таблицами
Я считаю таблицы, рисую таблицы, проектирую таблицы
Когда я пишу текст, я начинаю его с таблицы
Я превращаю в таблицы чужие тексты
Даже раздевая глазами красивых женщин я свожу все в таблицу в голове
Я хорош в своем деле
И только глубокими темными ночами я распеваю матерные частушки
Негромко