47341
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
https://www.youtube.com/embed/HaFhfDzChUk
Не так давно на arxiv.org вышел документ о том как с помощью нейронных сетей (GAN) можно генерировать текстуры каких-либо объектов. Сам документ находится по ссылке: https://arxiv.org/abs/1611.08207
Применений для этой технологий много – было бы здорово получить такой "clone stamp" в фотошопе.
А на видео бесконечная Барселона, вид сверху 👨🏻💃🏻
(Пока явно есть что улучшать, исходный код недоступен)
Генерацией объектов нейронной сетью уже полгода как никого не удивишь (Прошлый пост на эту тему http://bit.ly/2gXERV7, осторжно фейсбук) – потому что выглядит результат генерации – так себе. На arxiv.org документ, о StackGAN, о том как генерировать фотореалистичные объекты из текста – то есть вы задаете текстовое описание в стиле "У птицы желтая шея и живот, серая спина и черные крылья" и в результате вы получаете фотореалистичное изображение этой птицы.
Работает это в связке из нескольких нейронных сетей, как я понял – одна генерирует объект (как по ссылке выше), другая же, находит ближайшую по виду фотографию птицы (вам все еще нужен датасет с птицами) и пытается ее применить к уже сгенерированной картинке.
Результаты как по мне – очень впечатляющие, ниже – пара примеров.
С нетерпением жду, когда появится нейронка который ты Гарри Поттера скормил, а она тебе всех героев сама нарисует и основные сцены. Да что уж, пусть кино генерирует.
Ссылка на документ – https://arxiv.org/pdf/1612.03242v1.pdf
Исходный код недоступен.
P.S. А еще теперь можно генерировать фотореалистичное порно, нужно подключить эту фигню https://open_nsfw.gitlab.io/
P.P.S. Хочу сказать всем Спасибо, кто подписался на мой канал, а также каналу @CatalogChannels, который включил меня в свою подборку интересных каналов. Сап!
«Нейронное караоке» – вот как nvidia называет свой проект, который вы скорее всего видели. Насколько я понимаю, там используется несколько нейронок – одна для визуального распознания образов (image recognition), вторая для генерации текстов (story telling) и третья уже для генерации простенькой музыки. А музыку поет уже какой-то простенький вокодер – а еще на канале автора есть другие примеры.
В общем, как по мне – не хуже группы «Серебро» получилось, да еще и на рождественскую тематику 🤖💖🎄
https://vimeo.com/192711856
https://developers.googleblog.com/2016/12/start-building-actions-on-google.html
Сегодня большой день для всей Google Now платформы, теперь каждый разработчик может делать свои приложения для голосового помощника, а назвали они все это Google Actions. Примерно об этом я писал в своей статье выше (/channel/denissexy/56), это очень здорово с точки зрения расширений функций платформы, наверное вместо Alexa, я таки возьму Google Home.
Окей, home просто дешевле.
https://youtu.be/yJCjVvIY4dU
Нейронные сети неплохо справляются с задачей определения визуальных образов в видео и фото, и давно пора обратить внимание на звук как на дополнительный источник для классификации того, что происходит в видео – что и делает нейронная сеть: SoundNet.
Из видео понятно как она работает, можно даже себя проверить, и попробовать угадать сцену до того как уберется размытие. По моему мнению комбинация визуального и аудио анализа – это прекрасный способ повысить точность определения объектов.
Сеть натренированна на 2 000 000 видео, и вы даже можете скачать исходный код SoundNet, включая модель, по этой ссылке: https://github.com/cvondrick/soundnet
https://www.youtube.com/watch?v=xvIk39rkkiU
Помните стильного робота на воздушных шарах (/channel/denissexy/64)? Ну так вот у него теперь есть прыгающий друг – робот Salto (Saltatorial Locomotion On Terrain Obstacles).
Salto весит около 100 грамм, может прыгать на метр, а самое главное он способен отталкиваться от поверхностей со скоростью 1.75 метров в секунду, причем находясь уже в воздухе.
Так и вижу, включаешь дома свет когда с работы пришел, а они давай скакать по всей квартире, прятаться 🤓
Утром разбирал Google Analytics и наткнулся там на трафик с motherboard.vice.com – в итоге оказалось, что это спам, да еще и не от Vice – а месть. В общем забавно, но можно и забить, и не читать если вы не пользуетесь Google Analytics.
http://shir-man.com/trafik-s-motherboard-vice-com-ili-spam-iz-rf-za-trampa-2/
Если вам вдруг интересно, что сейчас алгоритмы машинного зрения могут понять о фотографии, то примерно это могут ⬆️
Читать полностью…
Шоппинг нормального человека, это когда ты входишь, берешь что хочешь и выходишь. И вместо охраны и полиции, ты получаешь чек о успешном списании средств.
В общем Amazon go, о котором вы скорее всего слышали, именно так и работает – там используются технологии как в автономном вождении: множество сенсоров в магазине строят 3d карту павильона, а алгоритмы компьютерного обучения позволяет понять где сейчас находится товар.
Сейчас магазин работает в бете и для сотрудников Амазона, а в 2017 году его откроют уже для всех.
А вообще я где-то видел продуктовый, где на каждом товаре дешевая радио-метка и все что нужно сделать, это проехать мимо сканера и сразу оплатить в терминале, ума не приложу где, если вы что-то такое знаете, напишите пожалуйста мне 🤓
Видео:
https://m.youtube.com/watch?v=NrmMk1Myrxc
Вот скриншот, так сказать пруф того что он есть
Читать полностью…
Любопытный факт, "Responsive Design" понемногу исчезает как отдельная концепция, так как он перешел в категорию стандарта веб разработки – в 2011 году о нем писали все ui/ux блоги, в 2017 уже никто про это не хвастает.
На картинке скриншот популярности фразы в поиске гугла.
И если вам кажется, что "ой, да у роботов же нет души, что там может быть красивого" или "раньше ИИ выступал лучше, а сейчас опопсел", то вот композиция написанная роботом, но сыгранная человеком от тех же чуваков выше: https://m.soundcloud.com/jukedeck/today
Пишет им музыку уже другая нейронная сеть.
Я понимаю что это уже третий пост за день, но он клевый, честно и я один день молчал!
Я очень верю в такое направление VR индустрии как «воспроизведение катастрофы» (http://bit.ly/2gNwZrZ), это когда вы запускаете игру и у вас всего 2 часа 40 минут, пока вы не доберетесь с нижней палубы Титаника до шлюпки спасения. Геймплей таких игр подразумевает пересечение хронологии катастрофы и действий игрока, и мне кажется в плане наглядности и обучения – это прекрасное дополнение к сухому учебнику.
По сути – любая битва, любая катастрофа, любой прорыв в науке – может быть «пережит» с учетом тех данных что нам известны и все это в VR.
И вот музей «The Newseum» в Вашигтоне запустил VR симулятор «Перл Харбора» (http://wapo.st/2fS9usW) – музей даже пригласили ветерана–очевидца который подтвердил, что все очень похоже и точно передает атмосферу событий 1941 года.
Вот еще пару проектов которые я встречал на эту тему:
Инди проект про Титаник, пока без людей, но зато с моделью 1 в 1.
https://www.youtube.com/watch?v=aAl22fZFbcg
Повторение миссии Apollo 11 в VR как раз в аттаче к этому посту.
Сап, телеграм. Это пост без ссылки (и даже не реклама), так как он короткий и интересен только тем кто пользуется Uber в Москве (как я) – 25MSK25 промо-код на скидку 25%, на 25 поездок, до 15 декабря. Я не знаю подойдет ли он всем, нужен ли он вам, но как фанат облачного такси и чувак без прав, я доволен.
#оффтоп
Очень клевый документ на arxiv.org (http://bit.ly/2gj6ZnI) – в документе авторы предлагают neural style алгоритм, но адаптированный исключительно под шрифты. Это позволяет им сделать такое как ниже и это фантастика – это как Word Art нормального человека.
То есть иными словами – чтобы нарисовать какую-то надпись, в каком-то стиле, то вам нужен всего лишь сам шрифт, знания фотошопа вам для этого не нужны.
Сам алгоритм умеет комбинировать разные стили neural art под разные "слои" изображения. А значит, что этот алгоритм уже можно адаптировать под любую векторную графику – вдохнуть жизнь во flash Масяню и svg иконки, так сказать.
По ссылке только формулы и описание, исходный код пока недоступен.
Стилизацию фотографий под картины мы уже прошли (/channel/denissexy/59), все что нужно для реализации – алгоритм, стиль который берем за основу и фото которое будем обрабатывать.
Теперь пришло время стилизовать аудио – Дмитрий Ульянов и Вадим Лебедев вчера выложили у себя в блоге исходный код под Torch, TensorFlow, Lasagne для стилизации аудио в различные стили. Мне сложно передать восторг, просто посмотрите короткий ролик где футурама стилизована под имперский марш, а Абрахам Линкольн читает Эминема (хоть это и не сам Линкольн).
Тут есть еще больше примеров и описание как это работает:
http://dmitryulyanov.github.io/audio-texture-synthesis-and-style-transfer/
А я, пожалуй, знаю чем займусь на выходные 😍😍😍😍😍
Хорошие новости для людей которые продюсируют поп-группы и которых очевидно нет на этом канале.
Встречайте - ALYSIA, система автоматического синтеза музыки, на основе уже написанного текста.
Как утверждают авторы – это вообще большая проблема, написать под уже написанный текст музыку, поэтому их алгоритм натренированный на попсе, может сильно упростить процесс создания простеньких композиций.
От себя скажу – что ждал этой фигни всю жизнь, так как лучшая шутка – это джингл (на самом деле нет).
По ссылке три примера, не пугайтесь вокала, его синтезировал человек (так себе синтезировал), но музыка получилась не хуже другой попсы точно:
http://www.cs.sjsu.edu/~ackerman/ALYSIA_songs.html
Документ на arxiv.org:
https://arxiv.org/pdf/1612.01058v1.pdf
Исходный код недоступен.
Искусство с помощью технологий получает новые инструменты самореализации – вот к примеру как выглядит «бесконечный холст» созданный художником Горо Фуджиту с помощью приложения для VR Шлема. Рисовалось все это с помощью контроллеров «Oculus Touch VR»
Я в восторге 🐿
https://vimeo.com/194697431
💖💝💖💝💖💝💖💝
Если вы хотели бы сделать своего робота, который отвечал бы вам на вопросы гифками, звуком и двигался, то вам просто необходима эта ссылка: http://imgur.com/a/ue4Ax (по ссылке код и инструкция)
Читать полностью…
Ну и раз мы о роботах – Boston Dynamics демонстрирует своего робота на NIPS 2016. Посмотрите видео, разве мы уже не в будущем?
🤖💖🐕
https://t.co/WpuXPITI65
Если с вами вдруг так случалось, что вы открыли сайт на 10 минут и потратили на него случайно 5 часов жизни, и все это вместо работы, и вы в целом морально сильный человек, но вам нужна помощь, хотя бы изредка, то у меня для вас ссылка:
http://www.takeafive.com/
Работает без плагинов, сразу из браузера – вводите адрес сайта и выбираете кол-во минут которое можете себе позволить потупить. Ну или используйте IE – там функция автозакрытия вкладок с 6 версии (шучу, шучу).
https://youtu.be/NE_brdljjFA
Вот вас тут 234 достойных людей – и вот перед всеми вами я должен пообещать себе, что преодолею свою лень и тоже построю дома себе умное зеркало как на видео, и подключу к нему Alexa или Google Home. И я обязательно выведу туда связку команд – "– Алекса, а что на ужин?", "– Господи, жену спроси, я же робот, отстань".
Потому, что тут есть инструкция и каждый может сделать такое зеркало домой:
https://chrisuehlinger.com/blog/2016/08/20/voice-controlled-smart-mirror/
Ну, если победит лень.
https://youtu.be/qX8AIRsFmTA
Наткнулся на любопытный документ на arxiv.org для game-dev и VR индустрии.
Вы даете нейронной сети фотографию лица человека в низком качестве, потом немного нейронной магии и на выходе вы получаете файл с 3D моделью лица, с текстурой кожи в высоком разрешении.
Немного нейронной магии – это подготовленный заранее датасет, который содержит тысячи лиц с помощью которого и дорисовывают текстуру высокого разрешения, и самое главное 3d маску лица. Дальше уже магия заканчивается, так как рендер картинки происходит в обычном 3d пакете типа Cinema 4d.
В общем – в этом видео, на 1:28 3d-лицо Мухаммеда Али сделанное по мелкой фотографии.
Ссылка на документ: https://arxiv.org/abs/1612.00523
Исходный код пока недоступен.
https://youtu.be/ePUlJMtclcY
Я уже как-то писал про то, как нейронные сети генерируют образы на основе тех датасетов на которых их обучили (http://bit.ly/2gXERV7). Генерация таких изображений, да еще и в высоком разрешении, и без артефактов – одна из сложнейших задач которую пытаются решить ученые – и каждый шаг в этой области мне кажется будет даваться очень тяжело.
Но уже сейчас мы можем вырезать «часть» картинки, и просить нейронную сеть дорисовать ее, это делает Adobe research, я об этом напишу как-нибудь позже.
В видео к посту 10 классов изображений сгенерированных на основе 10 разных датасетов, каждый класс обучен на 1000 изображений одного типа. На выходе ученым удалось получить изображения 227x227 которые они и собрали в такое видео.
Если вам интересны детали того, как это работает, то вот ссылка на документ:
http://www.evolvingai.org/files/nguyen2016ppgn_v1.pdf
Как вы себе представляли битву магов? Вспышки света, огненные шары, Авада Кедавра, вот это все? Или как в той серии South Park?
На самом деле маги воюют с помощью юристов и не против других магов, а против магического пиратства – торрент трекера где находятся обучающие видео различным фокусам.
По ссылке интересная статья про «Art of Misdirection» – один из самых закрытых торрент трекеров мира, там всего 600 человек, доступ строго по инвайтам и на основе голосования за нового участника. На «Art of Misdirection» выкладывают пиратские материалы объясняющие как работает тот или иной фокус. Причем речь идет не о монетке из уха, речь идет о распиливании людей, левитации Коперфильда, освобождении от цепей в аквариуме и тп.
В общем если коротко – магическая индустрия также страдает от пиратства как и любая другая, лишая магов денег.
Я не знаю хорошо это или плохо, но нахожу очень смешным борьбу магов в интернете друг с другом. Они же маги, пусть отключат 53 порт по всему миру!
Вот статья на английском:
http://www.businessinsider.com/inside-art-of-misdirection-ultra-exclusive-private-torrent-tracker-magical-pirates-invites-2016-11
Сап телеграм. Этим утром я принес вам пост про приложение «Тлен» – про которое вы вполне могли слышать пару лет назад, так как о нём говорили даже на радио, и много еще где. В общем это поучительная история, где я и партнер по инди-студии почти заработали 1000 долларов на чб фотографиях.
(Мы конечно лошки, можно было бы и больше, но это уже другая поучительная история)
http://shir-man.com/prilozhieniie-tlien-ili-882-i-89-tysiach-skachiek-na-ghrusti-2/
Чуваки из Jukedeck попросили написанную ими нейронную сеть "сыграть" музыку определённой длинны и в определенном стиле. И вот что получилось: https://m.soundcloud.com/jukedeck/upright-piano-audio-synthesis
Я не знаю как вы, но я впечатлен и уже готов идти на концерт нейронной сети (на самом деле давно).
А еще интересно как будет трансформироваться индустрия музыки – когда каждый желающий сможет сделать датасет на Beatles и стилизовать под них свои домашние концерты. Что-то мне подсказывает, что индустрии лицензирования контента нейронные сети не нравятся ☺️
Я большой фанат железа 💖. То есть если говорить начистоту – то мой лучший альбом написала не Земфира, а Ардуино. В общем – если у вас есть дома осциллограф, вы немного представляете зачем он нужен и что такое demo сцена – то вы можете совершенно легально вывести на него такую красоту:
http://bit.ly/2gfB1pz
Все изображения которые выводятся на экран выводятся исключительно с помощью аудио-файла. То есть автор смог совместить и музыку, и образы, за что получает премию "👑 Sexy IT" ноября которую я только что выдумал.
Детали как автор проекта это сделал, можно почитать тут: http://oscilloscopemusic.com
Кстати, очень много инди проектов собрано на этом сайте, очень рекомендую: hackaday.com, это как dirty, но про железо.
Посмотрите музыку в общем.
Ну и раз мы про дизайн и дизайнеров – вот сайт http://logojoy.com – который с помощью не хитрого алгоритма помогает каждому желающему сделать логотип и фирменный стиль. Это не просто концепция, это рабочий сервис который приносит 15000 долларов в месяц и которым пользуются 50 тысяч человек в месяц.
Алгоритм комбинирует вещи которые вам нравится, с вещами которые нравятся дизайнерам (там есть уже собранные дизайнерами палитры и написания), в итоге получается полноценный фирменный стиль.
Кстати, как мне кажется, векторные иконки сервис берет отсюда (я не уверен) – https://thenounproject.com.
Если вам когда-нибудь была нужна SVG иконка, то скорее всего она там есть.
Ниже мой тестовый пример – пора открывать бутик "ебаное ничего", бутик где ничего не происходит, но с вывеской!
Нейронные сети говорили они, автономное вождение автомобиля говорили они, посмотрите какая новая и перспективная технология говорили они.
Встречайте – ALVINN (Autonomous Land Vehicle In a Neural Network), роботизированный автомобиль 1989 года в работе которого используются 4 нейронных сети параллельно.
В первой версии из-за технических ограничений ALVINN мог двигаться со скоростью 5.5 километров час, так как мощности его железа хватало на обработку 12 фотографий в секунду.
Кстати об оборудовании – ALVINN использовал CPU в 10 раз "слабее" чем CPU в Apple iWatch, требовал 5000 Ватт, а само вычислительное оборудование было размером с холодильник.
Я очень рекомендую посмотреть этот ролик, в нем рассказывают о том каким же образом работал алгоритм вождения.
Особенно мило запускался автопилот – большой центральной хардверной кнопкой.
https://youtu.be/ilP4aPDTBPE
А тут по ссылке детали текстом:
olivercameron/meet-alvin-the-self-driving-car-from-1989-f0e40492a354" rel="nofollow">https://medium.com/@olivercameron/meet-alvin-the-self-driving-car-from-1989-f0e40492a354