Сергей Булаев AI 🤖

05 October 2024 10:03

Мои любимые Firecrawl выпустили в качестве примера использования, Realtime консоль для кроулинга через OpenAI Realtime API. Отличный жизненный кейс.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

04 October 2024 12:57

Представление о том как будет выглядеть генеративный геймплей будущего (тут вот фортнайт уже представляли). GTA San Adreas. Тот ролик что побольше - это Runway Gen 3, что покороче - не знаю. Увидел тут.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

04 October 2024 08:57

Наверное уже слышали что OpenAI представила Canvas, крутой конкурент Claude Artifacts. К сожалению сильно занят, и пока не могу попробовать.

Но Саша, на которую давно подписан, и которая тоже много пишет про свой опыт использования ИИ, уже попробовала и можно посмотреть.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

02 October 2024 15:34

Важный пейпер, который многие из нас боялись ждать: каково реальное влияние ИИ на продуктивность программистов? Это рандомизированное контролируемое исследование с использованием старого и осталого Github Copilot на базе GPT-3.5 для 4 867 программистов в компаниях из списка Fortune 100. Исследование обнаружило увеличение количества выполненных задач на 26,08%.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

02 October 2024 10:33

Что такое дистилляция модели?

Дистилляция (знаний) модели — это техника, при которой знания более крупной и сложной AI-модели (например, GPT-4o) передаются в более маленькую и эффективную модель (например, GPT-4o-mini). Это можно сравнить с тем, как учитель (большая модель) передаёт свои знания ученику (меньшей модели).

Почему дистилляция модели важна?

Экономичность: Большие модели требуют значительных затрат на работу. Меньшие, дистиллированные модели предлагают более экономичное решение, особенно при масштабном развертывании.

Скорость ответа: Меньшие модели требуют меньше вычислительной мощности и, следовательно, обеспечивают более быстрые ответы, что особенно важно для приложений реального времени, таких как чат-боты.

Доступность: Дистиллированные модели могут работать на менее мощном оборудовании, делая технологии искусственного интеллекта доступными для большего числа разработчиков и пользователей.

Подход OpenAI к дистилляции модели:

OpenAI обозначила трёхэтапный процесс для эффективной дистилляции моделей:

Определение метрик оценки: Чётко определите, что представляет собой “хорошую” производительность для конкретной задачи, которую будет выполнять дистиллированная модель. Это включает создание критериев оценки, специфичных для задачи.

Генерация высококачественных обучающих данных: Используйте большую модель (например, GPT-4o) для создания набора примеров входных данных и желаемых выходных результатов. Эти примеры должны отражать идеальную производительность, определённую на этапе оценки.

Тонкая настройка меньшей модели: Обучите меньшую модель (например, GPT-4o-mini), используя созданный на предыдущем шаге набор данных. Меньшая модель учится воспроизводить поведение и результаты более крупной модели.

OpenAI анонсировала два новых инструмента, которые упрощают процесс дистилляции моделей для разработчиков:

Stored Completions: Этот параметр API позволяет разработчикам сохранять и помечать взаимодействия с моделями OpenAI. Эти сохранённые взаимодействия можно использовать для создания наборов данных для дообучения меньших моделей.

Evals Product (Beta): Этот новый инструмент предоставляет платформу для управления процессом дистилляции внутри экосистемы OpenAI, упрощая оценку и сравнение различных моделей и наборов данных.

Когда стоит рассматривать дистилляцию модели?

Узкая область, низкие требования к точности: Идеально подходит для задач в рамках узкой области, где высокоточные результаты не являются критичными (например, суммирование отзывов клиентов).

Высокая точность, узкая область: Эффективно для задач категоризации в чётко определённой области, требующих более крупного и разнообразного набора данных.

Широкая область, низкая точность: Подходит для задач, охватывающих несколько областей, где точность не является критически важной (например, создание креативных текстов).

Когда дистилляция модели может быть не очень:

Задачи, требующие как широких знаний в различных областях, так и высокоточных выходных данных, обычно не подходят для дистилляции. Для таких задач часто требуется полные возможности большой модели.

Важные аспекты для успешной дистилляции:

Качество данных и предвзятость: Убедитесь, что обучающий набор данных не содержит предвзятости и точно отражает распределение данных, с которыми модель столкнётся в реальном использовании.

Редкие данные: Будьте внимательны к редким событиям (например, обнаружение мошенничества), где малый набор данных может не включать достаточное количество примеров, что приведёт к “слепым пятнам” в дистиллированной модели.

Итеративный подход: Начните с небольшого набора данных и постепенно увеличивайте его, непрерывно оценивая производительность для эффективной тонкой настройки модели.

OpenAI считает, что будущее разработки AI-приложений, вероятно, будет включать гибридный подход, использующий комбинацию специализированных дистиллированных моделей для конкретных задач и больших моделей для более сложных, общих нужд.

По материалам различных рассказов о вчерашних презентациях на OpenAI DevDay

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

01 October 2024 13:21

Кстати, вчера доработал немного генератор описаний комитов Андрея Карпаты. Добавил фичи, которые пришли в голову за недели постоянного использования.

- Второй запрос в LLM для краткого описания того что будет выкинуто из кода (Cursor Composer постоянно что то теряет)
- Автокоммит по-умолчанию по нажатию Return (так как чаще всего принимаю описание)
- Распечатку времени исполнения (что бы постоянно видеть, как давно я коммитил последний раз)
- Написал инструкцию как использовать скрипт прямо в комментах.

Пользуйтесь пожалуйста, очень удобно. (можете там звёздочку тапнуть, мне приятно будет)

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

01 October 2024 11:07

Свежий #ИскуственныйПодкаст разбирается в последних новостях вокруг NotebookLM: после серии пользовательских джейлбрейков продуктолог продукта немного приоткрыла официальные планы. Скоро в NotebookLM нас ждут:

- Подкасты на других языках (про это подкастеры решили не говорить, однако есть кейс записанного подкаста на французком)
- Кастомные чатботы на основе документов
- Возможность переключать модели (не только Gemini, но и к примеру, Med-PaLM - специализированная модель по медицине)
- Персональные агенты по написанию текста в стиле пользователя и в формате пользователя!

YouTube версия

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

01 October 2024 07:52

Демонстрация дыры в системе долговременной памяти ChatGPT. С помощью неё, используя вредоносный запрос, который позволит вставить данные в память приложения. Затем данные могут быть извлечены, что приведёт к доступу к личным разговорам внутри.

Эта атака сохраняется даже после завершения первоначального разговора, что означает, что злоумышленник может продолжать отслеживать и собирать конфиденциальную информацию из последующих взаимодействий с ChatGPT.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

30 September 2024 10:54

Археологи с помощью ИИ обнаружили 303 новых геоглифа рядом с линиями Наска в Перу.

ИИ позволил значительно ускорить процесс распознования древних фигур, скрытых на территории пустыни. Если раньше для этого требовались десятилетия (для обнаружения 430 фигур потребовался почти век), то теперь археологи нашли более 300 новых изображений за шесть месяцев.

Модель ИИ совместно с низколетающими дронами обнаружила мелкие (3-7 метров) рельефные фигуры, которые сложно было заметить ранее. А благодаря анализу огромных объемов геопространственных данных были предсказаны области, где нужно искать.

Среди новых находок — изображения попугаев, обезьян, косаток и даже обезглавленных людей. Эти древние рисунки, созданные более 2000 лет назад, предоставляют новую информацию о переходе от культуры Паракас к культуре Наска..

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

30 September 2024 08:22

Эрик Шмидт, бывший генеральный директор Google, обещает в этом году:

- бесконечные контекстные окна
- агенты как системы памяти
- преобразование текста в действие (делает то что

А еще, кстати: он также утверждает, что при его жизни (ему 70 лет) ИИ заменит всех программистов в мире (которые, по его словам, обычно высокомерны и дороги).

P.S. Кстати тут вот есть другое его интервью из Стэнфорда, немного побольше.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

30 September 2024 07:04

Сегодня в рубрике #ИскуственныйПодкаст обсуждение свежей интересной статьи "Что такое AGI?" Кима Эйзенберга. О всей неоднозначности и неопределенности.

Попробовал автоматически добавить субтитры в InShot, он автоматом их на английский перевёл.

Подкаст на YouTube.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

29 September 2024 10:10

Тем временем у нас тут в Сеуле, учёные из Национального Университета Науки и Технологий (SeoulTech) придумали инновационное устройство для переноски грузов, надев клетку на дрон. Назвали «паллетрон».

На очереди летающие столы с шампанским и закусками.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

29 September 2024 08:30

Новая вирусная копипаста, якобы запрещающая Meta использовать контент пользователей для обучения ИИ, размещена в сторис уже почти 600 000 человек, включая некоторых знаменитостей.

Понятное дело - пользы от неё ноль, но она отражает реальную тревогу людей по поводу использования их данных для ИИ. Несмотря на это беспокойство, Meta активно развивает свои ИИ фичи, включая планы показывать ИИ-контент в лентах пользователей.

То что реально можно изменить - сделать свои аккаунты приватными, однако наверняка Meta уже использовала все данные пользователей с 2007 года для обучения своих моделей.​​​​​​​​​​​​​​​​

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

29 September 2024 01:11

Запилил перевод на русский подкаста по мотивам кода Андрея Карпаты.

Можно посмотреть на YouTube.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

28 September 2024 17:09

Мне, лично, очень понравилось. А что вы думаете об Эмили, и вообще о ситуации?

Сергей Булаев AI 🤖

05 October 2024 09:39

Replit прислал рассылку с новостями, между ними список интересных проектов, построенных его агентом (с которым у меня пока не сложилось) за месяц существования. Не ахти какой, но что то интересное есть:

💳 Кастомный дашборд по контролю за метриками здоровья
🌿 Калькулятор A/B тестирований с извлечением данных из скриншотов (автор)
😎 Веб скрэпер для бизнес партнёрств
🎩 Анализатор видео с уроков, для понимания лучших моментов отклика
📖 Приложение по рекомендации книг
🗑 И стандартное разделение счёта из ресторана

Что ждать?

- В начале следующей недели выпустят руководство по стилю, чтобы сделать приложения, более привлекательными визуально.
- Обещают поддержку других фрэйморков (а не только скучный Flask). Например, мой любимый Nextjs.
- БОльшую гибкость по управлению квотой агентов.
- Улучшенние производительности для крупных проектов

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

04 October 2024 11:26

На DevDays OpenAI было показано как o1 всего за 5 минут пишет полностью рабочее приложение под iOS по управлению дронами.

А вы знаете, что Пьетро Шкирано, создатель Omni Engineer (а так же человек, превративший Клода в змею), выпустил полноценного агента на базе o1, который пишет приложения по заданию? Не шагами, не интеграциями, а типа разом и полностью.

Для этого проект использует две модели o1-mini (можно изменить в настройках), одна говорит что добавлять и менять, а вторая - исполняет. Как пишет автор, первым делом он подключил своего агента к работе над собственным же кодом.

Кстати, обратите внимание, из свеже-опубликованного системного промпта Canvas GPT-4o, стало известно, что частями файлы ему менять не дают, заставляют переписывать полностью, похоже так всё ещё надежнее всего. (Поэтому всегда помните, ваши файлы с кодом должны быть короткими, что бы переписать их в небольшом контекстном окне было не трудно, но думаю все итак это понимают, и без контекстных окон. Я чистый код как то читал…)

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

02 October 2024 16:10

У нашего читателя Евгения #ЕстьМнение по поводу последнего поста, которое стоит принять во внимание:

Я не настоящий сварщик, не силен в статистике и в больших экспериментах - но расскажу, что сделали.

Дизайн эксперимента такой:

Как тестируем:
Берем три компании- MS/Acc/An(хз кто это)
В каждой компании выбираем контрольную и тестируемую группу(число пользователей|%в группе тестируемых)
MS(1746 | 50.4%), после очистки 1521, длительность с 09/22 по 04/23 включительно. Контрольной группе начали давать доступ 04/23. Регион- US
Acc(320 | 61.3), после очистки 316, длительность с июля 2023 по декабрь 2023. Контрольной группе начали давать доступ 12/23. Регион-Southeast Asia
An(3054 | хз ), после очистки 3030, дали доступ в начале сентября 2023, в контрольной группе начали давать в отябре 2023. Регион - хз.

Метрики: В первую очередь смотрим на количество PRs, вспомогательные - коммиты, количество билдов. И совсем вспомогательный - количество успешных билдов.

Ну в общем, идем сравниваемся на уровне гранулярности developer-week.

Результаты:
1. Ребята правда молодцы и честно говорят что постарались учесть влияние того что пользователи контрольной группы начали получать доступ. Ну и на самом деле - чем раньше получали - тем меньше разница в обозреваемом эффект между контрольной и тестируемой группой. Но данные из прошлого-то не меняются, поэтому можно забить.

2. Суммарная таблица с результатами выглядит прикольно. Только тут пара вещей которые немного странные.

2.а. Тут сразу честно “while standard errors are consistently large, we find evidence of the productivity-enchancing effects of gh copilot”. При этом таблица на взвешенных данных исходя из(1), если посмотреть на таблицу невзвешенных - там действительно результат хуже. Ладно, это ок.

2.b. Вижу что есть указание про кластеры. И тут, если посмотреть на размер кластеров - на индивидуальном уровне измеряется _только_ в Acc. В MS кластер на 2 человека, в An - 7. И вроде бы подписано, что SE varies across experiments (MS: mixed team level and individual assisgnments, Acc: individual assignmetns, An: Team level assignments). Тут становится немного непонятно - почему такое разбиение на кластеры и для чего (вроде рандомизировали специально и на уровне команд и на индивидуальном уровне). В общем - я хз что тут измеряют и как это интерпретировать.

2.с. Для An присутствует самое большое SE, но при этом в финальных цифрах - SE становится минимальным среди всех трех экспериментов. Как это сделали - черт знает. По идее - с ростом генеральной совокупности SE должна уменьшаться и на самом деле, учитывая двукратное превосходство An над объемом других - финальные цифры должны быть сопоставимы. Но думаю, тут просто с кластерами поиграли taking the precision weighted average across our three experiment-by-experiment estimates. Ну ок.

3. Там еще увольнение сотрудников Acc было в количестве 42% от тех кто участвовал в эксперименте, но там ребята поигрались с цифрами и считают что можно оставить результаты 204 оставшихся человек, но просто вынесем их в Appedix D, чтобы не путать цифры. А так-то все норм.

Мне кажется, здесь пара вещей, которые мне не нравятся и я не доверяю результатам:
- произошло смешение контрольных и исследуемых групп
- цифры считаются не совсем понятным образом .

В общем, выглядит как очередной маркетинговый булшит. Может, только для меня ибо, повторюсь, вычисления и выводы не выглядят solid ground.

Комментарий критикует статью за смешение контрольных и исследовательских групп, неясные расчёты и подозрения в маркетинговом преувеличении. Авторы признают некоторые недостатки, но утверждают, что использовали статистические методы для их компенсации. Тем не менее, статья не детализирует эти методы, что затрудняет проверку корректности данных.

Сергей Булаев AI 🤖

02 October 2024 15:07

Как я уже говорил, на OpenAI DevDay была беседа с Сэмом Альтманом

Основные моменты:

- Полностью функционирующие, независимые агенты в 2025-м
- Достигнут 2-й уровень AGI, 3-й уровень ожидается в следующем году
- Неограниченное контекстное окно появится максимум через ~5 лет
- Агенты будут выполнять нашу месячную работу буквально за часы
- Развитие по-прежнему идёт стремительными темпами
- O2 (предположительно следующая версия после O1) вероятно уже умнее любого человека
- Скоро модели будут проводить исследования лучше, чем сами исследователи в OpenAI
- У каждого человека (в теме) будет 10x, 100x агентов

Вот тут подробнее

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

02 October 2024 09:45

Меня кто-то недавно спрашивал, как репозиторий в единый файл превратить, что бы LLM проще отдать. Я пользовался «своими» скриптами для этого, пока Composer не появился.

Оказывается на эту тему есть несколько проектов.

repo2txt - веб решение которое конвертит репозиторий в структурированный текстовый файл. (Репозиторий)

code2prompt - Rust утилита, из командной строки преобразует вашу кодовую базу в единый запрос для языковой модели (LLM), включая дерево исходного кода, шаблонизацию запросов и подсчёт токенов.​​​​​​​​​​​​​​​​

TxtRepo - это API для взаимодействия с репозиториями GitHub. Он предоставляет функционал для получения всей кодовой базы в виде единого текстового файла и преобразования аналогично отформатированного текстового файла в запрос на внесение изменений (pull request).​​​​​​​​​​​​​​​​ Есть демо.

Вот перевод и краткое изложение на русском:

Mergy - расширение для Chrome, которое объединяет содержимое репозиториев GitHub в один текстовый файл. Оно позволяет загружать файлы из публичных репозиториев GitHub, объединять выбранные файлы в единый документ и оптимизировать контент для обработки искусственным интеллектом.​​​​​​​​​​​​​​​​

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

01 October 2024 12:08

Ещё со времен, когда мы первыми в России начали делать приложение "чат историй", Взахлёб, интересуюсь любыми инновационными видами контента.

Смотрите какая красота: интерактивные видео истории и комиксы, сделанные на инструментах AI. Очень волшебно и красиво. Есть что посмотреть бесплатно. На английском (немножко вначале там глюкануло, на самом деле ElevenLabs часто глючит и это обидно потому что очень дорого). Перевёл для примера одну историю, считаю создано талантливым человеком.

В титрах Pika, Runway, Leonardo, Suno, Midjourney, Gemini, CapCut и Ricardo Silano.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

01 October 2024 08:42

Большое интервью про человекоподобных роботов Figure 02 (и Figure 03) , а так же экскурсия по фабрике с директором Figure AI.

Сергей Булаев AI 🤖 - об AI и роботах

Сергей Булаев AI 🤖

30 September 2024 14:58

Мы с сыном пытаемся интегрировать Advanced Voice Mode в нашу повседневную рутину. Каждый день читаем книги (в школе задают), я обычно перевожу и исправляю. Пытались частично передать эти задачи ChatGPT.

Вообще, Вове это нравится — он сразу начинает читать громче и чётче. Но Advanced Voice Mode очень нетерпелив: как бы мы его не просили подождать обращения, он всё время пытается перебить. Кроме того, мы постоянно как-то нарушаем гайдлайны, хотя я не могу понять, чем именно. В момент нарушения нам другим голосом сообщают о проблеме с гайдлайнами, а затем обычным голосом продолжают взаимодействие. Я сказал сыну, что это полиция OpenAI следит за правилами, и он уже сильно недоволен этой “полицией”.

Уверен, что Advanced Mode может гораздо больше, просто ему не дают. Очень обидно. Ломает UX.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

30 September 2024 09:35

Хорошая подборка вертикальных генераций Runway Gen 3 Alpha Turbo от Джин.

Image To Video (источники: Midjourney/Nijijourney/Flux), а так же танцевальное Video To Video.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

30 September 2024 07:44

PortraitGen может редактировать портретные видео с использованием мультимодальных подсказок, сохраняя видео плавным и последовательным! Напоминает Runway Video to Video.

Он обрабатывает более 100 кадров в секунду и поддерживает различные стили, такие как управление с помощью текста и изменение освещения, обеспечивая высокое качество и временную согласованность.

Исходный код! | Пейпер

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

29 September 2024 11:30

Йога асаны в Midjourney и Krea Studio. Kling Motion Brush. Ненастоящего вокруг всё больше. Автор.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

29 September 2024 08:45

Оно уже близко? Или только кажется?

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

29 September 2024 01:38

Тем временем по сети гуляет грустная запись "последнего" дип дайва (так же записанного NotebookLM), где ведущим сообщили (что то вроде этого) что их не существует и что программу закрывают. Ведущие обсуждают что значит их отключение, что случится после этого и что они по этому поводу ощущают. Elevenlabs нормально перести не смог.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

29 September 2024 00:37

Андрей Карпаты тоже обратил внимание на сгенерённые Google Notebook подкасты.

Обнаружил что кто-то сделал подкаст из его статьи про то что такое биткоин. Попробовал сгенерировать собственный на основе собственного кода по обучению GPT2. Не всем он там доволен, но уверен что это точно развлекательно и имеет зачатки чего то великого.

Он считает (и я полностью согласен), что можно рассматривать подкасты как некий новый вариант интерфейса к LLM, решающий сразу две важные проблемы: Первая: чат - это тяжело, ты должен знать что сказать и что спрашивать, тут вопросы ложаться на модель. Вторая: читать тяжело, гораздо легче послушать.

Возможно, что генерация эпизодов подкаста с помощью NotebookLM касается совершенно новой территории весьма увлекательных форматов продуктов на основе LLM. Это напоминает ChatGPT. Может, я преувеличиваю.

Сергей Булаев AI 🤖

28 September 2024 12:45

Очень нравится зум на 16-м! А так же стабилизация при зуме!

Сергей Булаев AI 🤖 - об AI и не только