7027
I write about Open Data, Procurement, e-Government, Open Government, Budgets, Privacy and other govtech stuff Chat https://telegram.me/begtinchat Facebook - https://facebook.com/ibegtin Secure contacts ivan@begtin.tech
Можно ли использовать blockchain в защите персональных данных? Я лично сомневаюсь, а вот авторы проекта DECODE Project [1] пишут именно об этом в "Blockchain powers a personal data revolution" [2]
Ссылки:
[1] https://decodeproject.eu/
[2] https://decodeproject.eu/blog/blockchain-powers-personal-data-revolution
#personaldata
«Майнинг», «токен», «криптовалюта» и другие термины объясняются в проекте федерального закона «О цифровых финансовых активах», подготовленного Минфином России https://minfin.ru/ru/document/?id_4=121810
Читать полностью…
Друзья, уже по традиции, третий год подряд АНО «Информационная культура» проводит день открытых данных в начале марта. Как и в прошлый раз евент пройдёт в
OpenDataDay — лекции, мастер-классы, обсуждение и нетворкинг для всех кто интересуется темой открытых данных, использует или хотел бы использовать их.
Как и в прошлом году, я помогаю с секцией «Город» — тематическим блоком, раскрывающим тему использования открытых данных в контексте городской среды и идеей рассказывать о том, как открытые данные помогают улучшить наши города.
Как и в прошлом году, красивые картинки о том «как в других городах» вы можете посмотреть в этом канале или найти в интернете. Поэтому, было бы очень интересно показать пусть и не супер-масштабные проекты, а которые делают это здесь и сейчас.
!!!Друзья — open call спикеров!!!
Ищу всех желающих рассказать о своём проекте, о том, как вы работаете с открытыми данными или же создаёте открытые данные или программное обеспечение и о том, как эти данные могут помочь сделать город лучше. Это может быть и коммерческий проект и исследовательский, это может быть и просто идея, которую вы начали делать и готовы поделиться опытом, обсудить с аудиторией. Формат участия — рассказ на 20-30 минут про проект.
А во второй день, хотелось бы провести пару мастер-классов на тему аналитики и визуализации городских данных, на примере open data. Поэтому если есть желающие организовать мастер-класс на 1-1,5 часа — так же добро пожаловать с идеями.
Пишите, мне сюда или в почту — karma@urbica.co
До ~1 фев. принимаются любые заявки.
http://msk.opendataday.ru/
Очень положительная новость - API ГАС "Правосудие", для полного счастья нехватает только слепков баз данных для аналитической работы, но и это прекрасно
Читать полностью…
Немного о качестве государственных и муниципальных данных на примере муниципальных бюджетов
Читать полностью…
30 января в Роскомнадзоре состоится день открытых дверей который они хотят посвятить персональным данным [1]. Нет ощущения что услышым что-то новое, но зарегистрироваться можно у них на сайте по контактам [2]
Ссылки:
[1] https://rspectr.com/novosti/52718/rkn-posvyatit-zashite-personalnyh-dannyh-den-otkrytyh-dverej
[2] http://rkn.gov.ru/news/rsoc/news53904.htm
3-4 марта в Москве мы, Инфокультура, вместе с партнерами организуем Open Data Day (http://msk.opendataday.ru/) и скоро будем всех туда зазывать, опубликуем программу и тд.
Я понимаю что часто важна даже не тема, а люди и хочу задать всем вопрос.
Кого бы Вы хотели увидеть там в спикерах? Чьего выступления Вы ждете и жаждете?
Напишите мне на ibegtin@infoculture.ru или в чат /channel/begtinchat
Ничего не знаю про то кто будет следующим главой кабинета министров.
Но знаю что в ТЗ на 2018 год на сайт Правительства указана, в том числе, доработка сайта da-medvedev.ru
Или ТЗ потом поменяют, заключив доп. соглашение, или "или".
Ростелекому помощь не нужна.
Встреча В.В.Путина и Михаила Осеевского (глава Ростелекома). Откровений я не увидел, а вот подтверждение что для РТК приоритетом остаются ЦОДы и индустриальный интернет - это, по моему, уже было.
Open Banking: counting the steps towards a strong data infrastructure for the UK
http://theodi.org/blog/open-banking-counting-the-steps-towards-a-strong-data-infrastructure-for-the-uk
Совпадение или случайность, но через два дня после отправки через официальную форму обращений вопроса об отсутствии "открытых данных" в "приоритетных направлениях" Минфина России, они снова там появились ;-)
Читать полностью…
Tableau версии 10.5 получил интегрированный движок Hyper. Пока на линуксе и обещают в 5 улучшение скорости отработки запросов.
Подробнее в их блоге [1]
Ссылки:
[1] https://www.tableau.com/about/blog/2018/1/hyper-and-linux-arrive-tableau-105-80538
Сложная, лично мне непонятная, но несомненно красивая визуализация данных OddityViz как мемориал Дэвиду Боуи[1].
Ссылки:
[1] https://medium.muz.li/oddityviz-a-tribute-to-david-bowie-with-data-3566d3bd6bd8
#opendata #opengov
Свежий документ Минфина с классификацией субъектов федерации по тому насколько они зависят от федерального бюджета.
Приведу оттуда лишь 2 списка, остальные Вы можете посмотреть сами.
Регионы не получавшие субсидии на выравние бюджетной обеспеченности:
- Республика Татарстан (Татарстан)
- Ленинградская область
- Московская область
- Самарская область
- Сахалинская область
- Свердловская область
- Тюменская область
- город федерального значения Москва
- город федерального значения Санкт-Петербург
- Ненецкий автономный округ
- Ханты-Мансийский автономный округ - Югра
- Ямало-Ненецкий автономный округ
Регионы у которых дефицит бюджета превышал 40% последние 3 года.
- Республика Алтай
- Республика Дагестан
- Республика Ингушетия
- Республика Крым
- Республика Тыва
- Чеченская Республика
- Камчатский край
Никаких невероятных открытий в этих списках нет, важно просто помнить, в том числе, это говоря о том как устроена наша страна.
#opendata #opengov
Exclusive: Why 19 Pacific countries are building a single civil registration platform
http://govinsider.asia/innovation/jeff-montgomery-pacific-civil-registrars-network-new-zealand/
Interview with Jeff Montgomery, New Zealand’s Registrar-General and GM of
Births, Deaths, Marriages, Citizenship and Translations. Innovation
3-4 марта пройдет ежегодный и главный профессиональный праздник - День открытых данных. В этом году планируется работа нескольких направлений, одно из которых - государственные данные. Мы планируем собрать выступления и дискуссии о реальных кейсах по раскрытию данных, изменению внутренних бизнес-процессов внутри госорганов в процессе раскрытия данных, взаимодействию активистов с госорганами. Основная идея - включить в программу доклады, в которых будет не просто рассказано, какие сайты запущены или сколько массивов данных опубликовано, а будут раскрываться какие-то технические подробности, полезные для программистов или представителей госорганов. Если вы чувствуете, что вам есть чем поделиться, предлагайте темы своих выступлений (пишите на olya.parkhimovich@gmail.com).
Предварительно мы хотим рассмотреть инсайты по раскрытию данных от госорганов, открытость финансовых данных и данных о госзакупках, связанные данные, цифровую экономику и стандартизацию, инсайты по взаимодействию с госорганами. https://www.facebook.com/events/1781400145263541/
Обратите внимание на то что есть вот такие полезные брошюры из проекта Открытая полиция. Их еще много и мы готовы раздавать желающим.
Кстати, Открытая полиция - это наш самый "человечный проект", остальные куда больше про данные, а тут про граждан.
Потому что мы начинали его тоже про данные, но быстро поняли что главная проблема в том что граждане просто не знают как работает правоохранительная система _на самом деле_.
Даже когда эти брошюры закончатся, мы найдем способ их допечатать. И, тут, кстати, вопрос в том как они лучше должны быть поданы.
Сейчас это плакаты на стену, а может быть нужны вкладыши в паспорт или большой плакат A1.
Напишите Ваши идеи и мы все постараемся учесть когда очень скоро будем обновлять эти брошюры.
Подробнее на странице проекта в фэйсбуке [1]
Ссылки:
[1] https://www.facebook.com/OpenPolice.ru/photos/a.640194399381425.1073741829.572557332811799/1552966061437583/
#openpolice
Отличная новость для всех разработчиков LegalTech:
"API ГАС "Правосудие" – это официальный программный интерфейс, предназначенный для получения открытых данных ГАС "Правосудие" по судам общей юрисдикции.
С помощью API вы можете реализовать на своих сайтах или мобильных приложениях поиск и отображение открытых данных судов общей юрисдикции РФ, а также статистические и аналитические инструменты.
Документация к API находится в разделе "Документация к API".
Для работы с API необходимо пройти регистрацию на сайте и получить уникальный токен."
https://api.sudrf.ru/
О качестве муниципальных бюджетов.
На прошлых выходных прошел хакатон по связанным данным и исследованию данных по контрольно-надзорной деятельности. Готовила к нему презентацию, в которой обобщила ошибки в бюджетах муниципальных образований Санкт-Петербурга, встречавшиеся пару лет назад:
Во-первых, невнимательное отношение к использованию бюджетной классификации:
- Опечатки в ЦСР (код 7950100 в следующей строке превращается в код 7950101. Какой из них верный понять невозможно)
- Разные наименования в кодах одних и тех же видов расходов (моя гипотеза - использование разных версий одного и того же классификатора в одном файле, но может быть и что-то еще)
- Отсутствие наименований или кодов (например, в одном из бюджетов нет наименования для кода подраздела, и в этом же файле нет кода для одного из распорядителей бюджетных средств)
Во-вторых, неверное понимание бюджетной классификации. МО "Дворцовый" двум разным муниципальным образованиям присвоил один и тот же код ЦСР и упорно доказывал, что у него все правильно, а мне стоит почитать Бюджетный кодекс (об этом кейсе я напишу отдельно), но после консультаций с Комитетом финансов СПб муниципальное образование признало свою ошибку.
В-третьих, периодически в формулах встречаются ссылки на локальные (неопубликованные) файлы с компьютера "Марии" или "Ирины", то есть бюджет опубликован, но некоторых сумм в нем нет, и восстановить их невозможно.
В-четвертых, не все представители местных администраций знают, что "скрытые строки" и "скрытые столбцы" можно раскрыть. Иногда в них скрывается что-то интересное, вроде черновых записей или формул расчета сумм, а иногда они просто затрудняют работу парсера.
В-пятых, некоторые администрации считают, что пустые ячейки в "Лесенке Минфина" можно заполнить чем угодно - это могут быть нули (один или несколько), могут быть тире или другие символы. Все это мешает правильно восстанавливать муниципальные классификаторы, которые отдельно нигде не публикуются.
До сих пор не понимаю, как муниципальные образования могут основывать свою работу на финансовых документах с таким низким качеством. Если есть интерес к этой теме, могу написать об этом подробнее и системнее.
Всяческие напоминания, о том как можно помочь нашим проектом по открытым данным и открытым знаниям, а также начинать и продолжать свои.
Самый простой способ помощи - это волонтерство и открытый код.
В github'е есть несколько списков/каталогов полезных проектов, они называются awesome lists у нас такие тоже есть:
- Awesome opendata in Russian https://github.com/infoculture/awesome-opendata-rus о проектах по открытых данным на русском языке
- Awesome list for data journalists and future data journalists https://github.com/infoculture/awesome-datajournalism для тех кто интересуется дата-журналистикой
-Awesome openbudget list https://github.com/infoculture/awesome-openbudget для тех кто интересуется открытостью бюджетов
Все эти списки пополняются в открытую волонтерами прямо в github'е через механизм "pull request", для него достаточно открыть файл Readme.md в списке файлов и добавить то чего, на Ваш взгляд, нехватает.
При том что открытый код не является нашим основным направлением у Инфокультуры много открытого кода - https://github.com/infoculture, мы открываем его по всем проектам в которых у нас нет юридических ограничений.
Если Вам нравится только тема открытости, но и конкретно то что мы делаем в Инфокультуре, то простой способ помочь - это пожертвовать по кнопке "Поддержать нас" на нашем сайте https://www.infoculture.ru/ Неважно сколько Вы готовы пожертвовать 1 рубль или 1 тысячу рублей, важнее то что рублем Вы голосуете за то что мы делаем что-то по настоящему нужное.
Мы уже работаем над тем чтобы сделать специальную форму для поддержки.
Если Вы хотите поддержать наши мероприятия, такие как День открытых данных https://msk.opendataday.ru - выступив их спонсором, и взяв на себя, помощь в аренде помещения или оплату оплату поездки экспертов из других городов/стран или Вы заинтересованы организации мероприятия по открытым данным по теме которая Вам более близка, напишите мне на ibegtin@infoculture.ru.
По всем нашим проектам важной помощью является обратная связь - написать то что Вам бы хотелось увидеть на Открытой полиции, Госзатратах и иных проектах которыми Вы пользуетесь. Все они собраны у нас на сайте https://www.infoculture.ru/projects/
#opendata
Я просто оставлю это здесь https://gov.gosuslugi.ru/ может быть появился шанс что gov.ru наконец-то станет приличным и по содержанию и по дизайну.
Читать полностью…
Какое-то время назад я писал о том что открытость государства как термин не то что устарел, но перестроился.
Не только Gartner определяет Digital Government как развитие Open Government [1], но и такое явление как цифровая пятерка (Digital 5) [2] говорит о том же. Еще в 2014 году 5 стран подписали хартию цифровой пятерки где обозначили правила цифровизации в которых открытость государства (в части открытых данных) ключевым приоритетом.
Вот список принципов заложенный в хартии:
...
3.1. User needs
3.2. Open standards
3.3. Open source
3.4. Open markets
3.5. Open government (transparency)
3.6. Connectivity
3.7.Teach children to code
3.8. Assisted digital
3.9. Commitment to share and learn
...
Open Government становится лишь частью повестки Digital Government.
Это то что я ранее говорил. Открытые данные становятся частью "приличий", а не ключевым приоритетом развития. Предполагается что в развитом обществе нет необходимости об этом говорить лишний раз, речь идет не о том должны или не должны они публиковаться, а о том какой социальный и экономический эффект они создают.
В развитие этой мысли я сейчас вижу много публикацией где авторы делают акцент на использовании открытых данных в контексте AI powered government. То есть в контексте бесплатного топлива для разработки автоматизированных алгоритмов.
Я повторю свое предсказание для гартнеровской модели. Она меняется раз в несколько лет, обычно провоцируя или предсказывая изменения в публичной риторике и концепциях.
Следующая "глобальная" концепция будет вокруг AI в государстве. Я предсказываю одно из называний: AI government, AI powered government или cognitive government.
Россия пока существует скорее в собственной повестке чем в мировой. Предсказать как это будет в России я пока не берусь.
Ссылки:
[1] https://www.gartner.com/doc/3764382/introducing-gartner-digital-government-maturity
[2] https://www.ict.govt.nz/governance-and-leadership/international-leadership/d5-wellington-2018/
[3] https://www.ict.govt.nz/assets/Uploads/D5Charter-signed-accessible.pdf
#opendata #opengov #digitalgov
Встреча с президентом компании «Ростелеком» Михаилом Осеевским
http://kremlin.ru/events/president/news/56647
М.Осеевский информировал главу государства об итогах работы ПАО «Ростелеком» в
2017 году и приоритетных направлениях деятельности на 2018 год.
На выходных я вспомнил что программирование - это не профессия, а призвание и доделал, вернее, подготовил к публикации 3 библиотеки и утилиты:
- qddate - https://github.com/ivbeg/qddate Quick and dirty date processing. Библиотека очень быстрого парсинга дат для Питона
- docx2csv - https://github.com/ivbeg/docx2csv - библиотека и утилита извлечения таблиц из docx файлов
- lazyscraper - https://github.com/ivbeg/lazyscraper- ленивый скрейпинг HTML. утилита командной строки и библиотека для превращения HTML таблиц и xpath запросов в CSV
Последние 2 я ранее публиковал, но к ним не было, ни документации, ни пакета в PyPi, ни чистого кода.
А теперь все есть, пакеты в PyPi и код в ReadTheDocs.org - http://qddate.readthedocs.io/en/latest/
qddate - это библиотека которая используется внутри бота /channel/FeedRetranslatorBot который превращает HTML страницы в RSS. Собственно главной проблемой обработки огромного числа страниц всегда была обработка дат и qddate было заточено ровно под решение именно этой задачи - обработки сотен тысяч строк с датами в секунды.
Код очень старый, все время было потрачено, не на программирование, а на документирование.
Все это много лет использовалось для быстрого сбора и обработки данных в самых разных проектах связанных с обработкой данных и с открытыми данными.
Не могу обещать частой публикации кода, большая часть времени у меня сейчас в запуске и развитии больших проектов, но свой маленький вклад в open source обязательно должен быть
#opensource
В Великобритании начинает работать система "открытости банков" (Open Banking) которая обязывает банки предоставлять клиентам возможность подключать приложения других компаний к финансовым данным клиента в случае если клиент это разрешает. Подробнее об этом пишет BBC [1].
Это важное развитие банковского сектора - что не банку, а его клиенту принадлежать его финансовые данные. И клиент, а не банк имеет право на передачу этой информации третьим лицам.
Не буду загадывать возможно ли подобное в России, но изменение важное в части доступа малого и среднего бизнеса и стартапов к персональным данным.
Ссылки:
[1] http://www.bbc.com/news/business-42253051
#opendata #opengov #openbanking
Tableau Launches Hyper — a Data Engine that Gives Faster Insights
https://medium.com/martech-advisor/tableau-launches-hyper-a-data-engine-that-gives-faster-insights-6941e1723b1a?source=rss------data-5
Data visualization company Tableau Software is all set to try and give its
business a major boost with a new data engine acquired from a startup in
Germany, almost eighteen months ago.
The company announced the availability of its new data engine, Hyper, on
Wednesday. The company says that Hyper will help breakdown large volumes of
data in seconds thereby even improving the speed of querying and building
reports off large data
Пока мы работаем с, в общем-то, скучными данными, активисты создают Open Cannabis Project [1] для защиты малых производителей каннабиса от патентов и монополий.
Кроме всего прочего этот проект про данные, о чём они и пишут в своем блоге [2] о том что собирают базу, в первую очередь, патентов.
Ссылки:
[1] https://opencannabisproject.org
[2] https://medium.com/opencannabisproject/2018-the-year-of-the-database-a5701eb66d6b
#opendata
Приказ Минфина России от 15.11.2017 № 1029 «Об утверждении перечней субъектов Российской Федерации в соответствии с положениями пункта 5 статьи 130 Бюджетного кодекса Российской Федерации»
https://minfin.ru/ru/document/?id_4=121666
© Официальный сайт Минфина России
О сборе новостей и переносе сборщиков RSS в телеграм на английском языке в Medium [1].
Напомню что большие тексты на английском языке я буду писать именно в блоге на Medium, а на русском языке на Яндекс.Дзен [2]
Ссылки:
[1] ibegtin/how-i-find-opendata-and-opengov-news-and-create-newsfeeds-with-telegram-814bd953cae9" rel="nofollow">https://medium.com/@ibegtin/how-i-find-opendata-and-opengov-news-and-create-newsfeeds-with-telegram-814bd953cae9
[2] https://zen.yandex.ru/media/id/5a315e1300b3dd77beb64261
#opendata #opengov
19 тихоокеанских стран создают совместную единую платформу для учета граждан. В первую очередь это касается регистрации рождения и смерти, но этим не ограничивается и в будущем система будет использоваться и для других целей - таких как регистрация прав на недвижимость, digital identity. И вот здесь важным аспектом является соглашение об обмене данными на которое идут все участники. Подробнее в статье на GovInsider
Читать полностью…
