80002
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
Новое обновление про полезные локальные модели:
Вчера вышла версия llama-3-8b с контекстным окном в 1 миллион токенов (!). Это значит, что задачи анализа большого количества текста можно теперь делать локально (точно на английском, с другими языками я это не тестил), до этого я ходил в Claude 3 Opus 200k.
Зачем это нужно?
Расскажу на живом примере: мы готовим новый продукт к анонсу, это что-то вроде AI фото студии но на вход мы берем всего одно фото пользователя, не 10-20; что сильно дешевле чем файнтюн модели дримбудкой, а значит, мы можем снизить цену на продукт для юзеров.
У продукта уже есть конкуренты — это классно, потому что это значит, что в нише есть выручка. Конкуренты уже успели обрасти органическим трафиком – это мы и учитываем при запуске нового продукта:
Я выгрузил из SEO анализатора органический трафик по которому находят наших конкурентов в гугле, скормил все это в контекстное окно как часть промпта и запросил у LLM популярные стили генераций, по которым пользователи ищут наших конкурентов.
В итоге, на запуске, мы получили топ-10 стилей которые точно востребованы в интернете.
Ради теста я сравнил результаты своего анализа между Claude 3 Opus 200k и Llama-3-8B-Instruct-Gradient-1048k, и могу сказать что локальная модель отлично справилась для своего размера и действительно смогла написать важные стили, похожие на то что выдал Opus. Так что теперь вы можете делать анализ больших корпусов текста дома.
Сама модель тут (gguf версия для адептов llama.cpp)
P.S. Для этой задачи важно ставить температуру 0, а то напридумывает деталей моделька. Указывая контекстное окно в 100k+ будьте готовы что памяти компа вам не хватит.
P.P.S. Как водится, делюсь промптом который специально собрал для llama3 формат под эту задачу, там видно куда нужно поместить большой объем текста.
#пропродукт
Когда мне говорят «Денис, держи себя в руках»
(Готовим новый AI тул к анонсу)
В Абу-Даби прошла первая в мире гонка болидов-беспилотников.
Самое интересное происходило на квалификации, когда машины делали тестовые заезды, чтобы «познакомиться» с трассой. Машины вылетали с трасс, разворачивались, влетали в отбойники. Одним словом делали то, за что мы любим беспилотники.
Принёс вам прекрасное. Стартап из Индии Swaayatt Robots делает беспилотник для местных дорог.
Им приходится работать с коровами на дорогах, машинами на встречке, мотороллерами и тук-туками, которые пытаются попасть под колёса, полным отсутствием разметки и знаков (да и дорог тоже).
Это вам не по идеальным улицам Калифорнии тестировать беспилотник.
#промо
Сейчас появляется все больше каналов про ИИ, но толковых, где автор делится своими мыслями, наблюдениями, инсайтами и экспериментами — их действительно мало.
Канал @ppprompt — это авторский подбор топовых промптов и GPTшек, нетривиальных новостей из мира AI, разборов и ляпов нейронок, AI-мемов, опросов и бенчмарков.
Автор канала — Алексей Иванов, любит эксперименты с AI в областях саморазвития и обучения, и активно встраивает LLM в свою коучинговую практику. Возможно вы его встречали по проекту PonchikNews.
Вот интересные посты:
🔶 Необычные / неочевидные кейсы, в которых удалось неожиданно круто пообщаться с LLM
🔶 Claude 3 Opus vs GPT 4 Updated: чем пользоваться?
🔶 Фото-стоки во время AI-лихорадки: любопытный кейс Shutterstock
🔶 Ego Development Theory: думай как стратег, пиз$&и как алхимик
🔶 10 GPT, которые приносят реальную пользу
Обязательно подписывайтесь, канал очень близок по духу каналу Дениса: /channel/ppprompt
#текстприслан
(От меня: подтверждаю и сам почитываю 👍)
Эпоха скама конечно великая. Известный в широких кругах rabbit r1 (это оранжевая штука, которую дизайнили Teenage Engineering), который был с очень здравыми идеями про Large Action Model и т.д., оказался на деле всего лишь несколькими скриптами для автоматизации четырех приложений: Spotify, Midjourney, Doordash и UberEats. Может конечно всё ещё изменится в будущем, но пока вот так.
Теперь хейтеры занимаются сливом их сорцов. Началось все в треде на HackerNews. В интересное время живём.
Пройдут годы и роботы припомнят нам условия в которых они трудились ☕️
Читать полностью…
С каждым днем мы становимся все дальше от бога 🥲
Читать полностью…
👨💻
Я уже не пишу сюда когда очередная опенсорсная модель бьет все метрики и приближается к GPT4, потому что этот рейтинг меняется буквально каждую неделю (и вы быстро устанете от моих восторгов), но одна новая модель мне сильно понравилась — она подойдет для программистов и тех кто учится:
CodeQwen1.5-7B-Chat (gguf)
Модель небольшая, всего 7B параметров, но она сейчас находится на втором месте по качеству генерации кода среди всех опенсорсных моделей.
CodeQwen1.5-7B все еще хуже GPT4, но она:
1) Классно пишет код для небольших задач, этот код можно с ней же дебажить;
2) Работает на любом тостере;
3) Поддерживает 32K контекстного окна (то есть вы можете как часть промпта скармливать свой код и с ней его анализировать);
4) Очень быстрая из-за того что маленькая;
5) Поддерживает все эти прелести опенсорсных моделей, такие как негативный промпт, Lora и тп.
Если вы давно хотели поставить что-то локальное, а ChatGPT вам нельзя использовать из-за корпоративной политики, очень рекомендую рассмотреть.
В Видео CodeQwen1.5 сначала пишет код для HTML страницы с эффектом из матрицы (скорость реальная на моем ноуте), а во втором видео — эффект и код, что получился.
P.S. Маленькие модели наиболее подвержены правильному промптингу, поэтому делюсь своим промптом агента программиста и негативным промптом который вы можете передать с --cfg-negative-prompt (негативный промпт не обязателен, но помгает улучшить качество — насколько, я не замерял пока что).
P.P.S. Запуская я все классически тут — llama.cpp
👩💻👩💻👩💻
Microsoft показал нейронку 🏺VASA:
Даете ей на вход фото и аудио дорожку, а на выходе получаете слишком реалистичное видео, которое в очередной раз перепугает половину интернета ☕️
Кода пока нет, больше примеров тут:
https://www.microsoft.com/en-us/research/project/vasa-1/
#промo
Стартап Exactly.ai ищет Full Stack разработчика
Exactly.ai это маркетплейс, который позовляет художникам тренировать ML-модели на своих иллюстрациях и давать брендам свои модели в аренду. Бренды могут создавать иллюстрации для маркетинговых кампаний с помощью моделей лучших художников.
Exactly - самый большой хаб персональных моделей, созданных профессиональными художниками и иллюстраторами. В сентябре Google включил Exacly.ai в топ-15 лучших стартапов 2023 года. Компания привлекла Seed Round, хочет расширяться и сейчас ищет лид-бекенд инженера.
Если вам интересно, отправьте ваше резюме и сопроводительное письмо на адрес hr@exactly.ai
Подробнее о вакансии:
https://exactly.ai/resources/career/full-stack-developer-fnZRGuns
#текстприслан
Boston Dynamics опубликовали видео «Farewell to HD Atlas»
Atlas — это тот самый робот, которого вы долгие годы видели в демонстрациях: его пинали, били, клюшкой выбивали предметы из рук, заставляли бегать и делать сальто.
Вероятнее всего, нас ждёт анонс новой платформы (может быть гуманоидной, а может быть и нет) — будем следить. Этот год должен стать большим для робототехники (даже первые посты в канале в январе — про роботов!), тема очень горячая.
В самом же видео показываются моменты неудач, взлёты падения и падения — можно посмотреть, посмеяться, приговаривая «ха-ха тупая железка»
🍓
Эм, не буду постить сюда это видео, чтобы случайно кто-то не включил звуки стонов языковой модели в неудобном месте – по ссылке ниже чувак подключает языковую модель к «электровагине» (секс игрушке), чтобы она звуки и текст синтезировала в зависимости от «интенсивности» действий пользователя
В видео чувак тестирует все пальцами, так что можете спокойно посмотреть:
https://orifice.ai/testing-123/
Короче языковые модели это новый блютус – их встроят всюду
P.S. Скажите же, что «электровагина» идеальное название для панк группы??
Небольшое обновление по грядущей GPT 4.5:
— Вчера, на одной арене для теста разных LLM, появилась новая модель которая называется «gpt2chat» (там лимиты чтобы ее потрогать, так что уже быстро не получить доступ)
— Она слишком хороша по сравнению с другими моделями, потому что следует инструкциям как никто другой — на это сразу обратили внимание в сообществе
— Я добрался до модели, и немного помучал ее — модель правда сильно отличалась от всего что я видел
— А потом я решил передать ей своей подготовленный промпт разработчика из этого поста, и я офигел от качества и деатальности ответа: модель с третьего раза написала мне визуализатор моего ДНК, да еще и ускорила так чтобы я мог повертеть это все в 3D без задержки в 3 секунды на поворот (данных ДНК ~15 Мб)
— Так она еще и написала как это все читать, и что делать с этими данными
– Ну и Сэм Альтман троллит немного, намекая что gpt2 «близкая ему штука»
Следующие пару недель будут опять «This is changes everything» и с кучей паники от АИ-фобов, готовьтесь 👍
Мне нравится как ревьюверы девайса Rabbit r1 по нему проходятся – правда я его не купил по другой причине: потому что боюсь, что через год-два сервера выключат и у меня останется только красная коробочка без подключения к серверу, а я не настолько хорош в тайпскрипте ☕️
Читать полностью…
Симпсоны, если бы их сняли в виде фильма в 1950-е
Автор
Наткнулся на интересный UX того, как генерация картинок в теории и должна работать в SciFi: вы просто сидите у компьютера, называете случайные фразы, whisper.cpp их переводит в текст, а SD генерирует бесконечно картинки, плавно подмешивая новые концепты в старые (не просто на уровне промпта, а на уровне внутреннего пространства сети), пока вам какая-то генерация не понравится
Ну или просто, сидишь, смотришь и фантазируешь вместе с нейронкой – хороший тул для вдохновления.
Кода пока нет, но автор обещал выложить.
P.S. Лица психонавтов и биохакеров представили 🌈
В Иране нашли письмо написанное между 224 – 651 годами нашей эры, в нем брат просит сестру вернуть лечебное (?) масло и мне кажется оно очень клевым языком написано:
Марвайд, дорогая сестра, пусть боги сделают тебя еще счастливее. Пусть всякое счастье будет твоим.
Из-за невзгод я отправил тебе бутылку масла. Напиши мне о твоем здоровье и уюте, а также о Фаррохзаде. И будь спокойна за мое и детей моих благополучие.
Поспеши отправить масло обратно.
Люди:
Хаха глупая нейронка, галлюцинирует и придумывает детали 😂
Тоже люди:
Смотрите, красная банка!
Робот Thermonator, которого в прошлом году представила компания Throwflame, поступил в продажу.
Этот робопёс умеет пускать огненную струю на расстояние до 9 метров. Throwflame управляется по Wi-Fi/Bluetooth и работает от зарядки всего час.
Thermonator продаётся за $9420 на сайте компании.
@zavtracast
В этот раз хотел сделать какую-то простенькую песню без слов, но с женским вокалом и добиться от нее гармонического эффекта — так как раз у нас роботы могут петь любые звуки теперь, то нужно попробовать их извлечь — что довольно непросто как оказалось, но кажется я справился.
Сначала сделал в Suno длинный трек, а потом нанял на Fiverr звукорежиссера из Иордана который за $25 убрал шумы и сделал эту магию со звуком, что роботы пока не могут.
В общем, вот что получилось.
Прошлые треки:
Nordic I
Nordic II
P.S. Бальдр — бог весны и света из скандинавской мифологии, его убил его брат и это песнь их матери, Фригги.
P.P.S. Почему я продолжаю делать норвежские песни?
Потому что у меня есть план: когда у меня будет 30 минут песен, я закажу себе аудио-кассету с записями нейронных песен, куплю кассетный Sony Walkman и поеду хайкать в Норвегию слушая нейронную музыку. Потому что планы должны быть такими, чтобы люди думали что я поехавший если спросят что я тут делаю 🚶♂️
Продолжаю играться с Suno:
В этот раз за основу взял жанры той же грустной песни норвежского фолка, но в каждом кусочке генерации просил сделать его грустнее чем предыдущий — вышло неплохо как по мне, я человек простой, послушал нейронной норвежской хтони и доволен 👍
Кстати, промпт из поста выше можно использовать и для больших моделей типа Claude 3 Opus / GPT4:
В первом видео – я попросил сделать эффект из матрицы без своего промпта, во втором с ним.
Правильный промптинг наглядно делает лучше 🔄
#промo
Стартап Exactly.ai ищет Full Stack разработчика
Exactly.ai это маркетплейс, который позовляет художникам тренировать ML-модели на своих иллюстрациях и давать брендам свои модели в аренду. Бренды могут создавать иллюстрации для маркетинговых кампаний с помощью моделей лучших художников.
Exactly - самый большой хаб персональных моделей, созданных профессиональными художниками и иллюстраторами. В сентябре Google включил Exacly.ai в топ-15 лучших стартапов 2023 года. Компания привлекла Seed Round и хочет расширяться, и теперь ищет лид-бекенд инженера.
Если вам интересно, отправьте ваше резюме и сопроводительное письмо на адрес hr@exactly.ai
Подробнее о вакансии:
https://exactly.ai/career/full-stack-developer-fnZRGuns
#текстприслан
Новый Atlas от Boston Dynamics
Только вчера они прощались с классической моделью Атласа, над которым как только не измывались, а сегодня уже показывают его замену. В отличие от прошлых, гидравлических, поколений, новое поколение Atlas - полностью электрическое, что делает его сильнее и ловче.
Выглядит прикольно - дизайном напоминает фантастику 50-х. Мелкой моторики Optimus мы тут, конечно же, не увидим, но двигается он гораздо живее. И, самое важное, его возможно будет купить после бета-тестирования клиентами (пока что это только Hyundai). Но, смотря на цену Spot (да-да, та самая робо-собачка) в $75k, страшно и представить сколько попросят за гуманоидного робота.
@ai_newz
Ну хоть в чем-то чатгпт от гугла права когда блокирует тему для обсуждения☕️
Читать полностью…
Чтож, снова мне придется доказывать почему видео из 1890 года могут смотреть все 🥲
Это уже блокировка не видео про поезд, а просто прогулки по Парижу.
Меня больше всего забавляет как я в эту ситуацию попал – я не жил с мыслью, что я выросту и стану бороться за права публикации исторических видео в интернете, я просто попал в эту ситуацию после публикации своих нейро-тестов на ютуб из-за этого ТГ канала 👍 все еще не жалею, но жесть же