47341
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
Я себя сдерживаю с ссылками на AR-kit, но иногда это просто невозможно. По ссылке взрывающий мозг пример работы со звуком в дополненной реальности 🦄
https://twitter.com/zachlieberman/status/905414787550642176
Помните стартап который занимается нейро-копированием голоса lyrebird.ai?
Взяв все публичные речи Трампа и Обамы исследователи сделали их аватаров и заставили читать их любой текст, вот тут Андрей писал об этом подробнее:
/channel/brodetsky/886
Так вот, хорошие новости, Lyrebird открыли публичную бету и теперь каждый желающий может сделать своего аватара на английском, вот ссылка:
https://www.lyrebird.ai/
Ниже пример моего ужасного акцента цитирующего Форест Гампа (я трезвый, это всё нейронка).
Качество цитаты может быть лучше, я начитал алгоритму всего 30 предложений, для лучшего результата стоит начитать их около 300, что я попробую сделать, но позже.
Отдельно хочется отметить скорость генерации фраз, работает все очень быстро 🔥
По ссылке ниже, которую лучше открывать с компьютера, находится нейронная сеть которая генерирует музыку прямо у вас в браузере (то есть на стороне клиента):
https://tambien.github.io/deeplearnjs/demos/performance_rnn/
Для любителей заглянуть под капот, все это работает в связке библиотеки Deeplearn JS (https://pair-code.github.io/deeplearnjs/index.html#demos) и Magenta (https://magenta.tensorflow.org/) от Google, второй фреймворк как раз специализируется на midi-музыке (правда не только) и я о нем уже писал выше.
В свободное время, я пытаюсь по старой традиции этого канала сгенерировать Михаила Круга с помощью Magenta и пока я не слишком сильно преуспел, но я надеюсь, что скоро мне будет что вам показать, так как слова я уже сгенерировал в прошлом (/channel/denissexy/242) 💖
В общем, по ссылке самое настоящее «Эта музыка будет играть вечно».
🦄 NASA сейчас ведет прямую трансляцию солнечного затмения в США, не пропустите:
https://www.nasa.gov/eclipselive/#NASA+TV+Public+Channel
И на русском: https://youtu.be/nE9n3ciNH8s
Лучшее место в мире для учебы MIT (окей, я просто инженер) опубликовало в открытом доступе учебные программы по 21 дисциплине, включая Chemical Engineering, Civil and Environmental Engineering, Electrical Engineering and Computer Science (💖), Mechanical Engineering и тп, за 2016 год в открытый доступ.
Это значит, что вместо того, чтобы тратить 45000$ на год обучения, вы можете выучить все что вам нравится самостоятельно.
Ссылка которая сделает вас счастливым если вы любите учиться:
https://ocw.mit.edu/courses/
И если вам интересны курсы именно за 2016 год:
https://ocw.mit.edu/courses/new-courses/
В курсах есть все что нужно — видеоматериалы, презентации и задания, и все это само собой на английском.
Чтобы скачать какой-то курс нужно нажать кнопку как на скрине ниже — не за UX мы MIT любим.
В общем, успехов в науке 🦄
GAN конечно раз 100 уже упоминался на этом канале и карты он в стиле Google делал, и лица людей в HD генерировал, в общем никого уже не удивишь этим всем особо — но вот теперь по настоящему полезная ссылка — вы можете собрать аниме-девушку с теми параметрами которые вам кажутся интересными:
http://make.girls.moe/#/
Цвет глаз, волос, улыбка, очки и ленточки, в общем все это там можно конфигурировать под себя. Зачем это нужно я не знаю, зато примерно понятно, что лет через 10 никакой проблемы с внешним видом Siri или Google Now, или Kortana у человечества не будет — помощник будет выглядеть на ваш вкус.
Наконец-то ко мне пришел долгожданный ARM ноутбук за 100$, позже будет отчет о том, что это за зверь, а пока я покрасил его в Windows 95 и счастлив (Внутри Ubuntu 16.04 mate)
Читать полностью…
Продолжу доставать вас AR постами, простите 💖
По ссылке ниже эксперимент рендера в режиме реального времени с помощью iOS ARKit и Unity на iPhone 7.
То есть можно предположить, что кто-то достаточно талантливый в плане продакшена, сможет нас радовать фильмами в дополненной реальности с поддержкой геопозиционирования, и распознованием объектов, когда-нибудь.
https://www.youtube.com/watch?v=MyN2sPx-oy4
Сейчас, конечно, смотреть в телефон не очень удобно из-за небольших размеров экрана — но если бы это были очки, все было бы намного приятнее.
А вот что алгоритм подписал: "A man sitting on a bench next to a dog" ¯\_(ツ)_/¯
Читать полностью…
Многие пишут и спрашивают, забросил ли я канал (серьезно, человек 20 уже), нет не забросил, сейчас работы станет чуть поменьше и я выйду на привычное расписание, уже на следующей неделе 💖
https://vimeo.com/225331391
На видео ниже, вы можете посмотреть любопытный концепт фото-приложения в AR, то есть оно делает 2D снимки, привычные нам и оставляет их в том месте, где находилась камера в момент съемки.
Выходит довольно наглядно и во славу энтропии 👾
Любопытно было бы подвязать это к гео-данным и фоткам из инстаграма, чтобы посмотреть как выглядят все эти фото в реальном мире, и с каких ракурсов их фотографировали
Вы только представьте, через какое-то время, приложения по доставке еды обзаведутся такой AR фичей в рамках конкуренции между друг-другом:
https://www.youtube.com/watch?v=IjE1TnZ1S1c
Ох, скорее бы сентябрь, все это можно будет пощупать уже в продакшене. В целом и сейчас можно, но я искренне не люблю баги, поэтому решил не ставить новую версию iOS 11 раньше времени.
Это уже пятый пост про AR kit, я понимаю, что звучу как apple boy, но я все же о технологии, надеюсь Google допилит свой Tango на фоне таких успехов Apple с AR, и все в очередной раз изменится 🤖
И просто немного бытового применения AR
https://youtu.be/z7DYC_zbZCM
Вы наверное все слышали про то, что возможно телеграму достанется блокировка в РФ, а возможно и нет — я не знаю как там будет, про политику я не пишу принципиально, но пока мы вместе и никто нас не разлучил, я просто хочу сказать вам спасибо, за то, что так получилось, что вы читаете мой канал.
Веду я его где-то месяцев 6 уже и мне не всегда удается уделить ему достаточно времени, особенно в последние недели, но я даже и не думал, что хобби ковырять что-то в нейронках или делиться своими фантазиями о будущем, может кому-нибудь понравится настолько.
Спасибо, вам, вы такие сладкие что сахар горчит после вас!
(не удержался и сделал этот пост еще более мерзким)
И чтобы это сообщение несло хоть какую-то пользу, вот вам робот-картошка:
https://www.youtube.com/watch?v=oNjPHcIzQkM
А еще я зарегистрировал порнодомен где всегда есть актуальные копии постов с моего канала:
http://denissexy.com
💖 💖 💖
Посмотрел вчера выступление ребят на DEF CON 25 (2017) на тему использования машинного обучения для хакинга «Weaponizing Machine Learning», ссылка на лекцию ниже, а я приведу самое любопытное.
Суть выступления заключается в том, что ребята набросали алгоритм который «прощупывает» базы данных на определенные поля, причем, модель построена так, что ей без разницы с каким видом базы данных работает алгоритм, что-то вроде «брутфорс на стероидах». В данный момент хакинг и машинное обучение находятся в зачетке, это означает, что все еще нет публичных инструментов для аудита безопасности — но они постепенно появляются и в 2017-2018 уже точно будут использоваться, так что пока без скайнета, чуваки, передайте Маску. Но сама мысль, что можно обучить ML алгоритм аудировать системы безопасности довольно впечатляет и пугает одновременно — беспокойно будет лет через 5 на не обновленных серверах.
Еще ребята доступно рассказывают отличия между разработкой обычного ПО и ПО с машинным обучением — если коротко, то разрабатывая ПО в стандартном виде, вы пишите код, затем этот код компилируется в набор машинных инструкций, вы его запускаете и смотрите что получилось, если не получаете задуманного результата — то правите все эти бесконечные «Если X то делай, пожалуйста, Y, дорогая моя программа» и так по кругу.
В разработке ПО для машинного обучения, подход другой — по сути, помимо обычной части со строго заданной логикой, ваша задача тренировать модель которая обрабатывает набор данных поощряя или ругая эту модель за определенные действия. То есть вы не можете открыть исходный код и починить какое-то слабое место сказав, что именно нужно сделать, как в обычном ПО, вам нужно менять логику поощрений и наказаний, за определенные действия, потом заново переобучать модель и смотреть на результат, это если коротко, в видео об этом подробнее.
На эту же тему, я как-то ковырял алгоритм ML и Марио, и главным поощрением было на тот момент длительность жизни — спустя какое-то время алгоритм просто поставил игру на паузу, так как формально, по его мнению это было лучшим состоянием для длительности жизни Марио.
Отдельно ребята отмечают, что сейчас не ясно, что такое open source в мире машинного обучения — и Google и Facebook с радостью делятся своими алгоритмами и наработками, но никто из них не отдает свои датасеты, то есть у вас попросту нет данных, чтобы обучать свои модели, а данных нужно очень много, поэтому в мире ML царствует тот, у кого есть данные.
Лекция не скучная, с шутками, с доступным уровнем обсуждения и базовым английским — если интересуетесь ML, очень рекомендую 💖
Лекция:
https://www.youtube.com/watch?v=wbRx18VZlYA
Исходный код из примера в видео:
https://github.com/BishopFox/deephack
Этой новости уже пару дней, но не могу не поделиться — мне кажется настали времена когда быть нердом и ученым в области AI, и других направлениях настолько импозантная область, что тебя даже фотографирует Yves Saint Laurent на рекламу своих духов (ну окей, он еще и красив).
Я всячески поддерживаю этот тренд и считаю, что ученые давно вышли за пределы "скучных чуваков в очках", их нужно показывать, о них нужно рассказывать, чтобы молодые поколение знало на чьих плечах движется технический прогресс и стремилось к ним — так победим.
На фото выпускник стэнфордского университета Alexandre Robicquet — исследователь в области машинного зрения, который работает в лаборатории основателя Google X Sebastian Thrun.
Вот тут подробнее:
https://www.theverge.com/tldr/2017/8/31/16234342/ai-so-hot-right-now-ysl-alexandre-robicquet
Наконец-то дописал обзор на Pinebook, ноутбук за 100$
https://tjournal.ru/57921
TL:DR Если вы хотели бы заменить рабочий ноутбук этим, то это плохая идея. У ноутбука плохой экран и звук, но очень хорошая работа от батареи. Также плохая идея взять этот ноутбук, если вы не любите Linux и красные глаза. Батарея отличная, часов на 8-10 в зависимости от стиля вашей работы, клавиатура нормальная — если вы много пишите и путешествуете, это может вам подойти, ведь такой ноутбук не страшно потерять или забыть где-нибудь. Места он занимает мало и весит около килограмма.
Тот случай, когда наткнулся на устройство и оно не выходит у тебя из головы. Жители больших и серых городов знают, как этого не хватает, когда ты просыпаешься и будит тебя не будильник и затянутое небо, а солнечный свет который попадает в квартиру — с тенью листвы, не слишком яркий, чтобы как в детстве в общем.
Так вот, в видео ниже — пико проектор на шарнире, который меняет направление света в зависимости от времени суток. Это выглядит и странно, и круто, и уже кибербанк.
https://vimeo.com/222447061#t=20s
Судя по всему это прототип, я уже 4 письма отправил автору и моих денег никто брать не хочет, но общий вектор движения технологии — мне очень нравится.
Сайт проекта:
https://komorebi.studio/
#реклама
Внимание Ростов-на-Дону и соседи, 9 сентября, Google Developer group из Краснодара и Ростова-на-Дону организовывают South DevFest 2017 — событие, продолжающее серию конференций DevFest.
16 спикеров и 400 участников расскажут о своем опыте и обсудят Kotlin, IoT, Android, Go, Firebase, Angular, PWA, CI, AR/VR, TensorFlow, кроссплатформенную разработку и Game dev.
Я, как человек который больше всего хотел научиться программировать и всегда делал это хуже всех окружающих, искренне завидую тем кто все это умеет делать и достаточно интересуется технологиями выше, что поймет спикеров — организаторы обещают людей с огромным опытом, так что должно быть интересно 🦄
Регистрация доступна по ссылке: https://goo.gl/PUEUTA
Гифка выше, не просто случайный набор кадров испорченный нейронной сетью переноса стиля. Это ученые демонстрируют фотореалистичные достижения нейронной сети которые лучше по результату чем даже у pix2pix, полюбившейся многим.
Собственно в гифке, датасет улицы наложен на кадры из GTA V и если у вас достаточно сильное воображение, как у автора этого канала, вы можете представить куда это идет и сказать вслух HOLY SHI~
Вот этот же момент в видео:
https://youtu.be/0fhUJT21-bs?t=118
Научный документ и код доступны по ссылке:
https://github.com/CQFIO/PhotographicImageSynthesis
Очень странная мода появилась в Китае с этими ресницами-диодами. Я не берусь судить с точки зрения красоты, но всячески поддерживаю наступающий киберпанк с точки зрения фаната Гибсона.
Внутри этой штуки LED диоды и небольшие источники питания, стоит это все — 5$ долларов. По ссылке ниже, можно посмотреть как женщина на себя это цепляет, выглядит странно, но наверное как только источники питания станут еще меньше, такого рода устройства будут еще популярнее и на все части тела 🦄
https://youtu.be/23aBq1dIK3A
То что нейронный сети уже узнают на фотографиях что угодно, это всем уже понятно.
Наткнулся на место, где можно поиграться самому с одним из таких датасетов и посмотреть поймет нейронная сеть, что на фото которое вы ей загрузите, или нет:
http://demo.cs.adelaide.edu.au/
Помимо сегментации (Generate segmentation), как на примере ниже, нейронная сеть может попробовать подписать текст (Generate caption) и объекты на вашей картинке (Object detection).
Результаты как правило хорошие, особенно если на фото есть люди, например, за обеденным столом. Особенно радует тот факт, насколько хорошо алгоритм вырезает область человека из фото, это значит, что через какое-то время в Photoshop станет на один удобный инструмент больше (запомните этот твит).
P.S. Вот прошлый пост, на тему распознавания объектов:
/channel/denissexy/421
Если попросить нейронную сеть (GAN) делать лица и наложить музыку, то получится примерно такое.
Достойная визуализация слова "крипота" 💖
Теперь вы можете порисовать вместе с нейронной сетью:
https://magenta.tensorflow.org/assets/sketch_rnn_demo/index.html
После того, как вы начнете рисовать объект, sketch-rnn попытается его дорисовать, работает довольно клево, ниже гифка. Сверху можно выбрать какой именно объект вы рисуете с нейронкой.
С телефона осторожнее — один датасет-каракуль весит около 5 мб.
Описание проекта находится тут:
https://magenta.tensorflow.org/sketch-rnn-demo ( 💖 Tensorflow)
В середине марта (до WWDC) Bloomberg делал пост о планах Apple на тему AR — там много слухов, часть из которых в итоге подтвердилась и в конце статьи речь идет о очках, которые, вполне логично выпустить, если решена проблема с трекингом поверхностей.
Ну так вот, по моему мнению, она решена в iOS 11:
https://www.youtube.com/watch?v=TBtwElmFbLA
И это настолько хорошо выглядит, что даже страшно представить, что было-бы, если бы кто-то из корпораций выпустил бы нормальные очки или линзы, в общем, устройство которые можно было бы использовать постоянно. Подождем немного и непременно узнаем.
Я так понимаю, что то, что показано в видео, было записано в специальной комнате с датчиками со всех сторон — но как же клево это все смотрится в AR 👾
На DTF вышел совершенно фантастический пост о возможностях AR kit в iOS11, с примерами. Я вот проморгал во время презентации на WWDС, что вокруг объекта в AR kit можно ходить и просмотреть его со всех сторон.
Жду не дождусь запуска AR kit на массовый рынок, чтобы посмотреть то, на что способны студии и инди разработчики 💖
https://dtf.ru/7618
Если вам кажется, что вы все понимаете в индустрии VR и вас сложно удивить, то я принес вам ссылку:
https://youtu.be/S5jWuwx1cP4
Я примерно понимаю, что происходит в видео, но расписывать это не возьмусь.
Вот официальная копипаста:
«We present FaceDisplay, a multi-display mobile virtual reality (VR) head mounted display (HMD), designed to enable non-HMD users to perceive and interact with the virtual world of the HMD user»
Скажу лишь только, что такой шлем очень бы пошел группе Daft Punk, но скорее всего не VR-геймерам (Если только за дело не взялась бы Nintendo)