Сергей Булаев AI 🤖

24 October 2024 08:08

Не был в интернете почти 3 дня, занимался решением личных дел, из-за которых пришлось прилететь в Ульяновск. Произошло столько всего интересного. Вот краткий обзор для тех, кто может быть случайно не в курсе.

- Anthropic удивил всех, выпустив обновленные версии Sonnet-3.5 и Haiku 3.5 (вместо давно ожидаемого Opus).
- Так же представлен новый API, позволяющий Клоду использовать компьютер (типа с браузерами работать и т.п.). Вот тут Саша пробует.
- На основе этого API уже появился agent.exe - хороший пример у Дениса.
- ComfyUI выпустили десктопное приложение, хорошо написано у Игоря.
- ElevenLabs запустили генерацию голосов для персонажей по текстовым описаниям (тоже у Игоря).
- Midjourney зарелизил редактирование картинок (как я и обещал).
- Runway представил Act One - новый способ генерации анимации персонажей в Gen-3 Alpha, используя одно видео и изображение персонажа, без motion capture.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

21 October 2024 13:35

Qwen-2.5-Coder 1.5B - внутрибраузерный кодер и интерпретатор способный работать оффлайн! К тому же ещё и опенсорсный. Использует WebLLM.
Можно попробовать тут, или установить себе с гитхаба.

Он работает и кодит, но проблема в том, что стоит ему написать что то хоть чуть чуть сложное - он сразу падает при попытки это всё исполнить. Поэтому я сделал собственную версию с возможностью отключать автоматическое исполнение кода.

Сергей Булаев AI 🤖 - об использовании ИИ для разработки и не только

Сергей Булаев AI 🤖

20 October 2024 10:23

Уровень GPT-4 достигнут уже 9-ю компаниями. Такая жёсткая конкуренция на нашем рынке очень позитивна. Все толкаются как никогда развивая ИИ для нас.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

19 October 2024 12:54

theInformation выпустил интересный материал о Греге Брокмане, президенте OpenAI, ушедшем в саббатикал до конца года. Время идёт, и уже скоро, ему придётся возвращаться в сильно изменившуюся за его отсутвие компанию, где Сэм Альтман фактически стал единоличным правителем.

Оказывается его уход в продолжительный отпуск был в том числе связан с его частами конфликтами с разработчиками. Грег очень много кодил самостоятельно, вмешивался в чужую работу и не следовал стандартам по документированию.

Вот вам несколько фактов из статьи:

- Грег Брокман, соучредитель и президент OpenAI, ожидается вернется в компанию после двухмесячного отпуска, что вызывает вопросы о его будущих отношениях с CEO Сэмом Альтманом.
- Брокман известен своими выдающимися техническими навыками и продолжает активно заниматься программированием, несмотря на высокую должность президента компании.
- Он работал над многими успешными продуктами OpenAI, включая модели GPT-4 и Strawberry, и описывается как "самый трудолюбивый человек в OpenAI".
- Некоторые исследователи OpenAI жалуются на работу с Брокманом из-за его стиля программирования, который часто лишен документации и может быть трудным для понимания и интеграции.
- Брокман славится вмешательством в код проектов без консультаций с другими и бывает переписывает чужую работу, если считает свой подход лучше, что вызывает трения в команде.
- Сам Брокман признавал, что его стиль работы может быть сложным для коллег, говоря: "Недостатком моего способа работы может быть то, что люди чувствуют себя измотанными".
- Мира Мурати, бывший технический директор OpenAI, часто выступала посредником между Брокманом и недовольными исследователями и инженерами, сглаживая конфликты.
- За время отсутствия Брокмана Сэм Альтман укрепил свою власть в OpenAI, фактически взяв под контроль технические команды компании, что может создать напряженность по возвращении Брокмана.
- Брокман описывает себя как трудоголика, работающего 60-100 часов в неделю, что отражает его высокую преданность компании.
- Жена Брокмана, Анна, стала постоянным участником офиса OpenAI в Сан-Франциско, посещая встречи и действуя как своего рода начальник штаба своего мужа, что некоторые сотрудники считают необычным.
- Брокман и Анна поженились в 2019 году в гражданской церемонии в офисах OpenAI, которую провел сооснователь компании Илья Суцкевер, что показывает тесное переплетение личной и профессиональной жизни Брокмана.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

19 October 2024 10:48

В рубрике #КриповаяСуббота у нас сегодня страшные лесные сказки от @doopiidoop. Берёзки, все дела.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

19 October 2024 09:50

OpenAI выложили мастеркласс по решению сложных задач с помощью моделей OpenAI o. Рассказывают как модели рассуждения o1 могут помочь в таких областях, как программирование, стратегия и исследования. Перевёл с Elevenlabs.

Есть версия на YouTube.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

18 October 2024 17:42

На моём iPhone новые обои ;) Красиво, оригинальный файл в коментах выложу

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

18 October 2024 12:50

Дженсен Хуанг, CEO nVidea в подкасте Bg2 об Илоне Маске:

Илон уникален в своем понимании инженерии, строительства и крупных систем, а также в умении мобилизовать ресурсы. Это невероятно. И, конечно же, его инженерная команда необычайна. Команда разработчиков программного обеспечения великолепна, сетевая команда великолепна, инфраструктурная команда великолепна. Илон глубоко понимает всё это.

Сергей Булаев AI 🤖

18 October 2024 10:39

Тем временем конкуренты Optimus не дремлют. Готовятся к серьёзной конкурентной борьбе.

Boston Dynamics и Toyota Research Institute договорились о совместной работе над совершенствованием человекоподобных роботов, фокусируясь больше на фундаментальном развитии, а не коммерческом применении.

Atlas (первое видео) от Boston Dynamics показывает отличные физические возможности, а Toyota Research поможет с ИИ-экспертизой, чтобы улучшить процесс его обучения.

А Unitree G1 вообще уже можно заказать от $16 тыс., хотя по слухам продукт супер сырой и не готов ещё к масс-маркету.

Сергей Булаев AI 🤖 - об AI и роботах

Сергей Булаев AI 🤖

18 October 2024 08:45

в мой любимый NotebookLM добавили фичу "передай записку подкастерам".

Теперь пользователи могут давать инструкции перед созданием подкаста. Это позволит сосредоточить внимание на конкретных темах или настроить уровень экспертизы в соответствии с нужной аудиторией.

Пользователи также могут слушать аудиообзоры, продолжая работать в NotebookLM. Это означает, что они могут делать запросы по своим источникам, получать цитаты и изучать соответствующие цитаты, не прерывая аудио.

Так же нам рассказали про NotebookLM Business - это новая версия, доступная через Google Workspace с расширенными функциями для бизнеса, университетов и организаций. Конфиденциальность и безопасность данных являются главными приоритетами. Более 80 000 организаций уже используют NotebookLM.

Что бы получить доступ, нужно подать заявку на участие в пилотной программе NotebookLM Business. Дополнительная информация о общедоступности и ценах на NotebookLM Business будет предоставлена позже в этом году.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

18 October 2024 06:46

После неоднозначных новостей о том, что на презентации роботов полностью контролировали люди, Tesla выпустила апдейт по Optimus-ам.

Новые возможности:
- Автономно исследовать новые пространства.
- Самостоятельно находить зарядную станцию и подключаться к ней.
- Поднимать тяжелые предметы (до 11 кг).
- Несколько роботов могут работать вместе для понимания окружающей обстановки.
- Подниматься по лестнице.
- Взаимодействовать с людьми.
- Использовать собственные аккумуляторные элементы Tesla 4680.

Многие новые навыки осваиваются с помощью единой нейронной сети, работающей в реальном времени на компьютере робота.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

17 October 2024 14:57

Стало известно, что Amazon вложила $500 млн в разработку ядерных реакторов X-energy, сообщает The Information. Этот шаг направлен на обеспечение энергией дата-центров, которые будут поддерживать работу ИИ.

Google и Microsoft не отстают: обе компании заключили соглашения с ядерными стартапами, такими как Kairos Power и Constellation, с целью получения надёжных источников энергии.

Эти проекты демонстрируют растущий дефицит традиционных энергетических ресурсов для поддержки работы ИИ. В ближайшие годы ядерная энергия может стать ключевым звеном в технологической инфраструктуре.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

17 October 2024 02:30

А помните, да, как пирамиды 5000 лет назад в Египте строили? Тут архивные съёмки всплыли....

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

16 October 2024 18:15

Тем временем theInformation нам сообщает (да, я сломался и подписался наконец, слишком много интересного публикуют, буду с вами делиться теперь).

В этом году OpenAI столкнулась с более жесткой конкуренцией в области найма и удержания исследователей искусственного интеллекта. Эта ситуация усугубилась после ухода бывшего технического директора компании, Миры Мурати. Мурати, чей последний рабочий день был 4 октября, теперь является советником компании. Однако она уже начала общаться с сотрудниками OpenAI о возможности присоединения к ее следующему проекту. Хотя она не раскрывает деталей этого предприятия, по словам двух осведомленных источников, ее действия вызывают интерес.

Неизвестно, присоединится ли Мурати к бывшему вице-президенту OpenAI Баррету Цофу в его новом стартапе, создаст ли собственную компанию или же присоединится к уже существующему разработчику ИИ. Тем не менее, ее предложения могут быть привлекательны для многих исследователей. После назначения Лиама Федуса на должность руководителя пост-тренировочных процессов, исследовательская организация OpenAI переживает период нестабильности. Три осведомленных источника сообщают, что несколько исследователей выразили желание сменить команды, что не является редкостью в подобных ситуациях.

Федус фактически занял позицию, ранее принадлежавшую Цофу, который неожиданно объявил о своем уходе 25 сентября одновременно с Мурати и руководителем исследований Бобом МакГрю. В знак продолжающихся последствий, Люк Мец, работавший вместе с Федусом и Цофом в команде ИИ Google и перешедший с ними в OpenAI в 2022 году для разработки ChatGPT, также объявил о своем уходе на прошлой неделе. Как и другие, Мец ушел перед предстоящим выкупом акций, в рамках которого OpenAI планирует выкупить акции у сотрудников.

Как сообщалось ранее после ухода Мурати, финансовая команда OpenAI прилагает значительные усилия для противодействия предложениям конкурентов, включая новый стартап от Ильи Сутскевера, сооснователя OpenAI и бывшего главного научного сотрудника. Учитывая солидарность, которую исследователи, такие как Цоф и МакГрю, проявили после отставки Мурати, ее попытки привлечь таланты могут стать серьезным испытанием для навыков управления персоналом генерального директора Сэма Альтмана.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

16 October 2024 16:19

Open Canvas - это опенсорсное приложение для совместной работы с агентами для упрощения написания различных документов от LongChain. Создано под впечатлением от Canvas OpenAI, но отличается:

- Открытый исходный код
- Встроенная память
- Возможность работы с существующими документами

Открытый исходный код: Весь код, от фронтенда до агента генерации контента и агента рефлексии, имеет открытый исходный код и лицензирован под MIT.

Встроенная память: Open Canvas поставляется с агентом рефлексии, который хранит правила стиля и пользовательские инсайты в общем хранилище памяти. Это позволяет Open Canvas запоминать факты о вас между сеансами.

Начало работы с существующими документами: Open Canvas позволяет пользователям начинать работу не только с пустого текста или редактора кода на выбранном языке, но и даёт возможность начать сеанс с уже имеющегося контента.

Ребята считают, что это ключевая фича, так как часто у нас уже есть какой-то контент для начала работы, и хочется работать с ним.

Попробовать можно здесь. ну или репозиторий с кодом.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

24 October 2024 07:33

Посмотрел отличное интервью с Йхоэй Накадзимой, создателем BabyAGI

Йохэй Накадзима ведёт двойную жизнь: днём он партнёр в Untapped Capital, а по ночам - весьма активный разработчик проектов с ИИ.

В марте 2023 года он создал BabyAGI - опенсорсного автономного агента, способного придумывать и выполнять задачи без вмешательства человека. С тех пор он уже выпустил семь версий этого проекта, агента-программиста Ditto, а недавно - BabyAGI 2o, самообучающегося автономного агента.

Ключевые моменты его философии и подхода:
- Находит время для разработки между повседневными делами, используя мобильные версии ChatGPT и Replit
- Рассматривает ИИ-инструменты как продолжение себя, что помогает ему расширять свои возможности
- Стремится к простоте в разработке (BabyAGI содержит всего 100 строк кода)

Его взгляд на будущее ИИ:
- Персонализированные модели, которые учатся на основе предпочтений пользователя
- Модульный подход к разработке, позволяющий решать текущие проблемы клиентов и адаптироваться к будущим вызовам
- Баланс между эффективностью и способностью сосредоточиться, так как увеличение производительности может привести к информационной перегрузке

Йохэй считает, что создание ИИ-инструментов - это не только увеличение производительности, но и процесс самопознания, где каждое решение проблемы становится возможностью для обучения как человека, так и машины.

Внимание! Поскольку BabyAGI 2o сам устанавливает пакеты и выполняет код под руководством языковых моделей, пожалуйста, запускайте его в безопасной среде и будьте внимательны к типам запросов, которые вы делаете. Автор использует Replit для тестирования, и вы можете сделать YoheiNakajima/babyagi-2o?v=1">форк версии Replit здесь.

Сергей Булаев AI 🤖

20 October 2024 10:47

Наконец установил Ollama - Llama 3.2, Phi 3, Mistral, Gemma 2 и вообще любые модели с HuggingFace на вашем компьютере локально (Mac/Windows/Linux). Установка занимает пару минут. Просто зайти на сайт и скачать приложение.

Можно пользоваться моделями без цензуры. Что бы поделючить модели с HF нужно использовать следующий формат:

ollama run hf. co/{username}/{reponame}:latest

например:

ollama run hf. co/bartowski/Llama-3.2-1B-Instruct-GGUF:latest

также можно указать определённый Quant:

ollama run hf. co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q8_0

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

20 October 2024 08:32

Книга или телефон? nijijourney -> Runway Gen-3 alpha

Тем временем Midjourney анонсировали появление нового редактора изображений в веб-версии в начале следующей недели.

- Редактировать любые загруженные / веб-изображения с помощью Midjourney.
- Изменять текстуру изображений (через контролнет глубины), что означает сохранение формы сцены / объекта, но перерисовку всех текстур/цветов/деталей в соответствии с вашим запросом.

Развертывание будет происходить постепенно. Непонимаю почему MJ всё это ограничивают.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

19 October 2024 11:30

Сэм Альтман о понимания того на сколько модели изменятся в ближайшее время и как важно это учитывать при создании новых проектов сегодня. Из выступления для Harvard Business School.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

19 October 2024 09:55

Hallo2 - опенсорсный аниматор портретов с контролем эмоций в 4к. На видео речь Уинстона Черчилля. Требования:

Для исходного изображения:
- Оно должно быть обрезано до квадратной формы.
- Лицо должно быть основным фокусом, занимая 50%-70% изображения.
- Лицо должно быть обращено вперед, с углом поворота менее 30° (без боковых профилей).

Для управляющего аудио:
- Оно должно быть в формате WAV.
- Оно должно быть на английском языке, так как наши обучающие наборы данных только на этом языке.
- Убедитесь, что вокал четкий; фоновая музыка допустима.

Пейпер.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

19 October 2024 09:19

Coraline, красивый мультфильм полностью созданный с помощью ИИ. Автор - Джулиан Кано. Удивительная стабильность.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

18 October 2024 13:22

Очередной хороший пример генераций Runway по первому и последнему кадру от Рори. Вот тут мои эксперементы на эту тему.

С помощью Midjourney и Photoshop.

Процесс:
1. Создал базовую картинку в MJ
2. Сделал ремикс/отредактировал для трансформации
3. Подчистил в фотошопе

Промт базовой картинки для MJ:

editorial photo, closeup shot, front view of a 20 year old man walking towards us in old Cappadocia, dirty blonde hair and beard, warm fall colors, epic architecture, high contrast, high precision photography --ar 16:9 --p --stylize 50 --v 6.1

editorial photo, closeup shot, front view of a 50 year old man walking towards us in old Cappadocia, dirty blonde hair and beard, warm fall colors, epic architecture, high contrast, high precision photography --ar 16:9 --p --stylize 50 --v 6.1

the scene starts with a young man walking towards the camera as he seamlessly transforms into an older man

Сергей Булаев AI 🤖

18 October 2024 11:40

Flux 1.1 неплохо справляется с политической сатирой. Фабиан, создатель gliff.app, платформы для генеративных nocode минаппов, fab1an/glifs/cm2bjmqgj0000u418u11byshg">запилил приложение, которое с помощью Gemini генерит идею рисунка, а Flux 1.1. - отрисовывает. Зачастую получается смешно, а опечатки увеличивают виральность.

Кроме того на gliff полно различных генераторов селфи, аватаров, комиксов, мемасов и даже коротких видео и гифов. Бесплатно доступно 20 генераций в день. Пользуйтесь.

А есть ли какие то картиночно-генеративные модели, которые бы нормально на русском писать могли? Никто не слышал?

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

18 October 2024 08:48

Whisper Turbo MLX - лёгкая имплементация Whisper через MLX (на маках). Всего 250 строчек кода.

Установка:

Copybrew install ffmpeg
git clone https://github.com/JosefAlbers/whisper-turbo-mlx.git
cd whisper-turbo-mlx
pip install -e .

wtm test.wav

>>> from whisper_turbo import transcribe
>>> transcribe('test.wav', any_lang=True)

Сергей Булаев AI 🤖

18 October 2024 07:25

Perplexity представили внутренний поиск по знаниям для бизнес клиентов. Теперь пользователи смогут одновременно искать информацию как в файлах своей организации, так и в интернете.

Кроме того, компания запускает Spaces (не только для бизнеса) - ИИ хабы для совместной работы, которые можно настроить под конкретные нужды команды, будь то исследовательский проект, подготовка коммерческих предложений или создание учебных материалов.

Новые возможности:
- Загружать и хранить файлы (поддерживаются форматы pdf, txt, csv, xlsx, pptx, docx)
- Искать информацию в файлах и в интернете
- Выбирать предпочтительную модель ИИ
- Задавать собственные инструкции для получения нужных ответов
- Приглашать других пользователей для совместной работы

Для корпоративных клиентов Perplexity обещает высокий уровень безопасности и конфиденциальности данных. В ближайшем будущем планируется добавить интеграцию с Crunchbase и FactSet для клиентов Enterprise Pro.

Сергей Булаев AI 🤖 - об AI и роботах

Сергей Булаев AI 🤖

17 October 2024 15:45

Хочу поделиться с вами, что у меня первое видео на моём экспериментальном YouTube канале "залетело". Видео про то, как ловили SuperHeavy. Может, конечно, это громко сказано, просто у него уже больше 5к просмотров (пока я дальше пары сотен не поднимался) и я прошёл 100 подписчиков.

Эксперименты с YouTube в ленивом формате начались менее чем месяц назад. Весь контент создаётся автоматически. Я признаю полностью ламерское, топорное оформление видео. Смешные скриншоты, недоделанность итп. Может, среди моих подписчиков есть кто-то, кто проконсультирует или поможет настроить какие-то базовые штуки. Также, никак не доходят руки до оформления канала на ВК. Знаю, что надо сделать, а некогда.

Сергей Булаев AI 🤖 - об AI и новом контенте

Сергей Булаев AI 🤖

17 October 2024 12:31

Мы, сегодня, улетели на Пхукет, что бы одну, «отпускную» ночь провести в отеле, а завтра — лететь аэрофлотом в Россию на неделю. Прошу прощения у всех, кому сейчас не отвечаю. В субботу точно всем отвечу.

Продолжаю наслаждаться недавно купленным безлимитным доступом к Runway. Зачастую, получается, как я раньше и говорил, далеко не с первого раза.

Кстати, коллега Сергей, выпустил мини сравнение лидирующих сервисов ИИ видео генерации. Но моё ❤️ (и деньги) с Runway.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

16 October 2024 18:45

И опять про вчерашнюю тему.

Кто в теме - ставьте лайк. Я в теме. Фанат и просто обожаю. Несмотря на всю критику.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

16 October 2024 16:42

Вчера поймал себя на том, что постоянно пытаюсь объяснять людям, что такое Embeddings, и даётся это всегда с большим трудом. Пришла в голову мысль - а что если наглядно показать, как свойства одних слов соответствуют другим.

Моментально в моей голове родился проект волшебных эмбеддингов. Взял массив из 50 сказочных слов, добавил к ним 20 ещё не сказочных, вычислил эмбеддинги через OpenAI, и сделал наглядную демонстрацию вместе с моим любимым Framer Motion.

Далее решил попробовать сделать на других языках, и так проект стал мультиязычным (научился, как делаются мультиязычные проекты).

Потом захотелось оптимизировать его по SEO, и я проработал тему. Ещё хотелось выложить на Cloudflare Pages (считаю перспективной темой в паре внутренних проектов и хотелось изучить). Но там споткнулся - не смог создать API-ключ с нужными правами доступа (не смог подобрать набор необходимых прав, и инструкцию не смог найти!). Если у кого-то есть опыт с этими страницами - помогите, пожалуйста.

Надеюсь, завтра всё же сумею выложить. Клёвый домен embeddings.fyi уже ждёт!

P.S. Саундтрэк, как обычно Suno, звуковые эффекты - Elevenlans.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

16 October 2024 15:01

У меня получилось увеличить длину видео с помощью AI Generative Extend в Adobe Premiere Pro 🙌

Добавляет по 2 секунды. Видео получается не очень живым (в моем случае), но может быть полезно, когда, например, сделана раскадровка по сценарию, и не хватает буквально пары секунд в некоторых местах.

Из минусов — нет возможности указать через промпт, как именно нужно продолжить видео. В некоторых местах есть мелкие ux недоработки. Но это бета, так что не удивительно.

А еще, наконец из бета-версии вышли и добавлены в обычный Photoshop функции Generative Fill и Remove (это как Generative Fill, но с автоматическим промптом, который удаляет объект и заменяет фон на подходящий под окружение).

Честно говоря, это единственное, ради чего я вообще открываю Photoshop. Думаю, не только я, и Adobe вынесла их в отдельный веб-интерфейс Firefly —> Generative Fill. Можно убрать ненужные объекты, добавить нужные и изменить размер изображения с автоматическим заполнением свободного пространства.

Работает не идеально. Например, если убрать лицо с портрета, высока вероятность, что Adobe просто заменит его на что-то другое. Да и вообще с крупными элементами редко получается хорошо с первого раза. Но по-мелочи править очень удобно 💛.

@wealldesigners