эйай ньюз

27 May 2024 14:34

Маск привлёк в XAI инвестиций на $6 млрд в раунде B!

Деньги нужны явно на GPU - если Grok-2, для тренировки, нужно 20 тысяч H100, то для Grok-3 нужно будет уже 100 тысяч. Маск думает что AGI будет доступен в течении двух лет и пытается включиться в гонку, но эстимейты Илона никогда не были особо надёжными.

Ещё хочу сказать, что прошло меньше года с момента создания XAI в июле 2023, и они все это время неплохо двигаются и выкидывают модели в опенсорс.

Правда, Grok-1.5V так и не релизнули. Ждём!

@ai_newz

эйай ньюз

26 May 2024 21:10

Кажется, я в правом верхнем сегменте. Делитесь в комментах, в каком вы.

эйай ньюз

26 May 2024 17:52

Яндекс впервые проведет Young Con — фестиваль про карьеру в IT и современные технологии

6000 участников
Более 10 часов нетворкинга и интерактивных активностей
9 тематических «миров», которые погрузят участников в разные сервисы компании
30 руководителей Яндекса, которые расскажут, как создаются технологии, а также поделятся опытом и советами, как начать карьеру в Яндексе

Фестиваль в стиле гик-приключения понравится тем, кто интересуются технологиями и хочет узнать больше про работу и возможности для развития в крупных IT-компаниях.
Young Con состоится 27 июня на Live Arena.

На фестивале станет известен победитель масштабного студенческого турнира по спортивному программированию «Баттл вузов». Участники команды-победителя разделят между собой призовой фонд в 1 млн рублей.

А в конце фестиваля выступят группы The Hatters и Хлеб.

Young Con пройдет в онлайн- и офлайн-формате. Чтобы попасть на фестиваль, нужно заполнить форму на сайте. У начинающих айтишников также будет возможность пройти экспресс-собеседование прямо во время ивента, чтобы в будущем получить приглашение на стажировку в Яндекс.

Регистрация уже открыта.
#промо

эйай ньюз

26 May 2024 13:46

На 4chan зачем-то слили Stable Audio 1.0

Я скачал, запустил и качество там не очень. И не удивительно: даже вторая версия модели отстаёт от конкурентов, а эта, по ощущениям, отстаёт даже от MusicGen годовой давности.

Веса тут (как и со всеми утечками, ни в коем случае не трогайте ckpt, только safetensors)
Код

Лучше бы слили SD3

@ai_newz

эйай ньюз

24 May 2024 16:01

У /r/LocalLlama новое развлечение

В сабреддите начали байтить компании на релиз моделей. Началось всё с Phi-3 - очень скоро после поста на реддите о том что как-то долго не релизят веса вышли обещанные Small и Medium размеры.

Но вдобавок к ним шли сюрпризы – Phi-3 Vision и подробнейший гайд, о том как пользоваться моделями семейства на любой кофеварке.

Сразу за этим этого вышло развести Mistral на релиз Mistral-7B-0.3 вместе с Mixtral-8x22B-0.3 (base. instruct), после чего на Reddit почувствовали вкус крови и начали последовательно пинговать разные компании и просить релизы.

Таким образом у Cohere, авторов Command R, выпросили Aya - многоязычные Instruct версии их моделей. Идут в размерах 8B (base версию, кстати, не релизили) и 35B, хорошо понимает 23 языка - бьёт на многоязычных бенчмарках Gemma и Mistral 7B/Mixtral 8x7B. Ждём Aya 104B, на базе Command R+ .

Прямо сейчас сабреддит ещё раз байтит Microsoft, просят веса BitNet 1.58 Bit.

Даже если это новый вид маркетинга, релиз новых моделей всё равно радует

@ai_newz

эйай ньюз

24 May 2024 11:41

Конечно же, первое, что пришло людям в голову, когда они получили в руки GPT-4o — это заставить их говорить друг с другом (даже OpenAI не удержались). Ну такое всегда с голосовыми ассистентами.

Вот, пожалуй, мой любимый вариант 😂

Орнул с того, как в конце они, как настоящие кожаные, начали просто ругаться, вообще игнорируя друг друга...

What a time to be alive!

Ориг

@ai_newz

эйай ньюз

23 May 2024 14:44

Я с очередным гайдом — про Llama3

Вот шикарный гитхаб, на котором можно самому, словно Лего, собрать Llama 3. Причём там всё максимально пошагово и весь необходимый код прилагается, так что реально такое собрать даже если совсем не разбираешься. А если интересна теория, то можно спросить у нового чат GPT или Gemini.

За основу берутся веса лламы с официального сайта, ну а потом вся вот эта дребедень: трансформеры, эмбединги, матрицы, токенайзеры — всё ручками. Так что, как известно, лучший способ что-то понять — построить самостоятельно.

Ну а вишенка на торте — всё очень мило показывает аниме персонаж.

Делитесь потом результатами, если кто вдруг возьмётся.

Пора бы уже самому новые гайды какие-нибудь написать. Подкиньте идеи для гайдов и ликбезов в комментарии😉

Гайд на гитхабе

#туториал #ликбез
@ai_newz

эйай ньюз

23 May 2024 01:09

Небольшой апдейт по истории: Vox получили доступ к договору, который вынуждали подписывать экс-сотрудников, и ряду других внутренних документов OpenAI. В этих документах есть чудесный пункт о возможностях компании обнулить акции любого экс-сотрудника вообще без повода. На всех этих прекрасных документах либо подписи COO и VP of People либо лично Альтмана. Как, после таких откровений, звучат заявления о том что "руководство ничего не знало" - решайте сами.

not consistently candid in his communications with the board звучит всё понятнее и понятнее

@ai_newz

эйай ньюз

22 May 2024 19:41

Data Fest 2024

Приглашаем принять участие в Data Fest 2024, который состоится 25 мая в Москве, в гостях у VK. Событие обещает быть интересным и полезным для всех, кто работает с данными и аналитикой.

Место проведения – БЦ «Скайлайт», расположенный по адресу: Ленинградский проспект, 39. Начало мероприятия запланировано на 11:00.

В течение всего дня в трех залах будут выступать более 30 спикеров. Вы сможете выбрать интересующую вас секцию: RecSys, DS Career, NLP, Advanced LLM, CV, Speech, ML in Physics, Data Strategy или Open Source.

Участие в конференции возможно в офлайн- и онлайн-формате. Для регистрации необходимо зарегистрироваться по ссылке: https://ods.ai/events/fest2024-vk

#промо

эйай ньюз

21 May 2024 21:13

Что-то на OpenAI в последнее время посыпалась череда скандалов

Введу вас в курс дела:

↪️Нашёлся (и сразу покинул компанию) Илья Суцкевер, с ним ушёл Ян Лейке, из-за этого тиму супералайнмента, которую возглавляли эти двое, расформировали. Ситуация предсказуемая, ведь именно Илья возглавлял прошлогодний переворот в OpenAI. Похоже на новый раскол а-ля Anthropic, интересно сколько сотрудников уйдёт за ними.

↪️Вскрылась история с NDA, которые давали подписать сотрудникам OpenAI на выходе, а вместе с ними пожизненный запрет критиковать OpenAI. У неподписавших отбирали пакет акций заработанный за время работы, обычно речь шла о миллионах долларов. После публикации статьи Сэм пошёл в твиттер рассказывать что "не знал" об этой ситуации и пообещал всё исправить. Звучит сомнительно, но я, лично, не знаю какой вариант тут лучше: что он врёт или что он действительно не знал.

↪️ Вчера между Скарлетт Йоханссон и OpenAI разгорается конфликт: её пытались два раза нанять как голос ChatGPT, она оба раза отказала. После чего она услышала голос Sky, который звучал подозрительно похоже на её (путали как и обычные пользователи, так и близкие Йоханссон). Произошедшее "шокировало и разозлило" актрису, которая начала требовать объяснений у компании и параллельно готовить иск. Sky, после таких мувов, вчера всё таки убрали из ChatGPT "из уважения к ней", при этом сказав, что не хотели делать голос настолько похожим. Но от иска их это, видимо, уже не спасёт. Добавляет огоньку в ситуацию то, что Сэм активно проводил параллели между GPT-4o и фильмом Her, где у Йоханссон роль ИИ, в которую влюбляется протагонист. В прошлом Йоханссон успешно засудила Disney, так что у OpenAI есть неплохие шансы проиграть.

↪️Да, ещё к этому всему Сэм Альтман на днях начал ругать эстетику Google I/O, приправив это комментарием о том "как ему всё равно на конкурентов" (наверное из-за этого последние полтора года они ставили свой анонс перед каждым крупным анонсом гугла).

Просто удивительные истории 👀
Что вы думаете, господа, про это?

@ai_newz

эйай ньюз

20 May 2024 20:05

Блокчейн TON ищет талантливых разработчиков!

Стартует масштабный хакатон “The Open League Hackathon” с призовым пулом $2,000,000 от команды блокчейна TON.

В поддержку хакатона все Web3-энтузиасты приглашаются на трёхдневные оффлайн встречи для нетворкинга в 13 городах мира:

📍Прага, Берлин, Киев, Варшава, Тбилиси, Белград, Сеул, Тайбэй (Тайвань), Гуруграм (Индия), Гонг-Конг, Минск, Москва и Санкт-Петербург.

Первые встречи начнутся уже 24 мая. Ищи свой город и регистрируйся здесь 👈 тык

Что вас ждет:

— 3 дня нетворка, лекций, конкурсов и работы над собственными проектами с поддержкой представителей TON Foundation и команд экосистемы TON

— Призовые $5.000 для трех лучших проектов в каждом городе + много мерча и других бонусов

Не упусти возможность представить свое приложение 900 миллионам активных пользователей Telegram вместе с TON.

Регистрируйся — https://society.ton.org/activities/open-league

#промо

эйай ньюз

20 May 2024 00:20

Нейродайджест за неделю (#18)

1. Презентации и релизы
- OpenAI показали GPT-4o (omni). Новая модель GPT-4o понимает звук, видео, может петь и теперь с приложением для MacOS. Новый токенизатор снижает расходы на 3.5 раза для русского языка.
- Прикольный юзкейс GPT-4o. GPT-4o можно использовать как переводчик в поездках по Азии, значительно превосходя Google Translate тут не соперник.
- Google I/O. Моё мнение о презентации. Скукота, но гулг все-равно на коне.
- Саммари Google I/O. Ссылки на все новинки, представленные на Google I/O, включая Gemini 1.5 Pro, Imagen 3 и новые аппаратные разработки.
- Смешные токены в новом токенизаторе GPT-4o. Туда попали спам и что еще похуже, в дайджест писать не буду)

2. Гайды
- Курс по квантизации. Эндрю Ын и Hugging Face дропнули курс по квантизации. Учимся сжимать модели до 2 бит без значительных потерь в качестве.
- Как запустить LLM на ноутбуке. Пошаговый гайд по запуску LLAMA 3 8B на стареньком ноуте.

3. Разработки
- ThunderKittens - GPUs Go Brrr. Стенфорд представил фреймворк упрощающий взаимодействие с тензорными ядрами. Тестили на FlashAttention и случайно обогнали его вторую версию.
- CAT3D: Create Anything in 3D. Моделька для генерации 3D сцен из фотографий. Процесс на Latent Diffusion занимает около минуты. Здесь же о том, как оно работает.


> Читать дайджест #17

#дайджест
@ai_newz

эйай ньюз

17 May 2024 13:45

CAT3D: Как это работает?

1. Имея любое количество исходных изображений и набор целевых новых ракурсов, диффузия генерирует согласованные новые виды сцены.
2. Эти сгенерированные виды затем используются в качестве входных данных для тренирвоки NeRF.
3. В результате получается 3D-представление, которое можно рендерить с любого ракурса в реальном времени.

В качестве диффузии, тут взяли Latent Diffusion и сперва натренили ее генерить 2d картинки в 512x512 по тексту. Все внутри Гугла, они не использовали публичные Stable Diffusion. А затем дотюнили модель на генерацию сразу серии консистентных видов по нескольких входным фото. Консистентность здесь - это ключ к хорошему результату.

Весь процесс, включая генерацию новых видов и 3D-реконструкцию, занимает всего около минуты. Это значительно быстрее существующих методов создания 3D по одному изображению или небольшому набору ракурсов.

@ai_newz

эйай ньюз

16 May 2024 15:51

ThunderKittens - GPUs Go Brrr

Парни из Стенфорда сделали фреймворк, упрощающий взаимодействие с тензорными ядрами. И показали его мощь на FlashAttention в сотне строк, который работает быстрее оригинального FlashAttention 2!

Почему так быстро?🥵

➖ Для ThunderKittens придумали новые абстракции поверх тензорных ядер, что дало удобный доступ к ~95% мощности H100
➖ На полную задействуется новый ускоритель доступа к памяти (TMA)
➖ Подобрав незадокументированные лейауты памяти, вышло задействовать новые асинхронные инструкции для работы с тензорными ядрами
➖ FlashAttention-1 оптимизировал доступ к HBM. FlashAttention-2 – использование тензорных ядер на A100. А тут пошли ещё дальше: начали оптимизировать доступ к разделяемой памяти (shared memory)
➖ Всё это полили соусом из мелких улучшений

FlashAttention – всего лишь первая демка фреймворка, и другие кернелы на нём уже активно пишутся. А тем временем этот проект благословил Tri Dao – мега крутой мужик, автор FlashAttention.

Если хотите, чтобы я рассказал как работает FlashAttention - ставьте 🦄

Блогпост
Гитхаб

@ai_newz

эйай ньюз

15 May 2024 02:02

Gemini Nano встроят в следующую версию Chrome

Кроме того, что зарелизили мультимодальную супер-легковесную Gemini Nano, предназначенную бегать на Edge девайсах, ее теперь еще и встраивают в Chrome!

Запускаться будет прямо на девайсе (!), что даст очень хороший автокомплит всюду в браузере. Но главное - разработчикам сайтов дадут доступ к модельке, в том числе через специальные упрощенные API (пока обещают перевод, суммирование текста, транскрибирование аудио). Сайтам теперь не нужно будет платить за дорогие облачные LLM, всё будет на клиенте.

Кажется, это может стать киллер-фичей для Хрома.

Работать это всё пока будет через WebGPU, но вроде обещают в будущем запускать модельку на NPU. Как и всё на Google I/O, эта фича ещё в превью. Но релиз будет уже в Chrome 126, который выходит 5 июня.

Теперь Хром ещё больше полюбит оперативку

Блогпост
Податься на превью можно тут

@ai_newz

эйай ньюз

27 May 2024 10:37

Теперь погружаться в кроличью нору знаний можно не только с википедией, но и с GPT. Я потыкался немного, так очень классно учить новые концепты, надеюсь такое интерфейсное решение приживётся.

Интерфейс подсвечивает ключевые слова, на которые можно нажать и попросить LLM подробнее про них рассказать в контектсе текущей темы.

Попробовать можно тут. Только аккуратно – эта штука может конкретно затянуть!

@ai_newz

эйай ньюз

26 May 2024 19:59

Есть такая настолькня RPG – DnD (Dungeon and Dragons). Но я как-то особо не видел чтобы говорили о возможности не просто ролплея с ЛЛМ, а полноценной игры с неограниченными возможностями и бесконечным количеством сюжетных линий, как в DnD.

Вот вам пример, который неведанно залетел в топ в gpt store. Там на выбор даже несколько сюжетов/сеттингов. Но можно и свой задать - я выбрал фентези.

Меня GPT запихнул в какой-то дремучий лес. Там я встретил какого-то подозрительного эльфа, и я ожидал, что сломаю сюжет, когда скажу, что посылаю на хрен этого старого подозрительного деда, но нет, игра продолжилась. Я пошёл дальше по лесу, и затем gpt-шка подкинула мне пару интересных испытаний: сначала на меня напал какой-то защитник леса. Я отправил его в ущелье (по сюжету я стоял на краю ущелья и на меня напал этот перепес недооборотень), потом я пробрался через поле, где летали каменные горгульи. Причём я отвлёк их небольшим костром, здесь прям подумать пишлось тк я не хотел ломать рп, говоря что я могу на изи забороть волшебных монстров. После добрался до какого-то замка, и там тоже было довольно интересно, и тд.

Если у вас есть премиумная подписка на GPT, то он еще по ходу игры будет и картинки генерить (в аттаче). Вот бы он еще и видео в риалтайме генерил, да еще и в 3D для Quest! 🎮 Ладно, что-то я замечтался - не все сразу.

Эта тема напоминает мне игру для тестирования из фильма "Игра Эндера" (ещё помните такой?). Как такое реализовать в современных тайтлах? Поговаривают, новый Baldur's Gate очень в этом преуспел, но самому проверить некогда🥲

Вот ссылка на эту игрушку, можно даже и без подписки потестить (с лимитом сообщений).

Я попытался экстрактнуть кастомный промпт, и он на удивление очень простой. Просто базовые инструкции и как начать диалог - всё. Я ожидал какой-то заготовленной истории или что-то типа того, чтобы хоть как-то запустить сюжет, но нет, гпт сам всё придумывает. Что удивительно, ведь сюжет реально неплохой.

Ставьте 🦄, если интересно про экстракшен промптов из кастомных gpt ; )

@ai_newz

эйай ньюз

26 May 2024 15:50

Апдейт по слитым веcам: архитектурно это всё таки Stable Audio 2.0 с DiT трансформером, но в качестве текстового энкодера у неё T5, не CLAP, как у финальной модели. Конфиг модели для интересующихся: model_config.json. Может какая-то бета-версия?

А Stable Audio 1.0 была основана на Unet, а не на DiT.

@ai_newz

эйай ньюз

25 May 2024 13:56

Ну че, парни и дамы, мы?

@ai_newz

эйай ньюз

24 May 2024 15:00

Yandex Cloud проводит конфу по ML в бизнесе 29 мая. Говорить будут прошаренные ребята из разных индустрий о применении AI в их работе/бизнесе.

Если конкретно, то поделятся своими экспериментами, внедрением генеративок и других ML-моделей. В общем, если интересно посмотреть на реальные юзкейсы этих ваших ллм и прочих нейронок, то вам сюда.

Все бесплатно, но билеты не бесконечные, так что регистрацию лучше пройти прямо сейчас.

#промо

эйай ньюз

23 May 2024 22:39

Мы наблюдаем невероятные гонки на ChatBot Arena в этом году. На графике показано, как менялся коэффициент Эло моделей от разных компаний. Коэффициент Эло - это метод для оценки рейтинга индивидуальных игроков, он изначально был использован в Шахматах, и его же применяют на Чатбот Арене.

Интересно, что из традиционных Биг-Техов в топах рейтинга есть только Google и Мета. Никакими Майкрософтами, Эплами и прочими нетфликсами тут не пахнет – хотя каждый из них вытается обучать свои модели.

Хоть недавняя преза у Гугла и была скучновата, нельзя отрицать, что они довольно быстро выбились в топ. И сейчас Gemini 1.5 Pro занимает второе место после GPT-4! А это прям классный результат, учитывая как сильно Гугл отставал все это время.

Еще в этом месяце появился довольно сильный игрок из Китая - 01.ai со своей Yi-Large-preview (ее в open-source нет). Но об этой модели я напишу позже.

@ai_newz

эйай ньюз

23 May 2024 01:41

Мистраль новую 7B модель выкатили: Mistral-7B-v0.3

Что нового, по сравнению с v0.2:

- Расширеный словарь токенизатора с 32000 to 32768
- Поддержка вызова функий
- Apache 2.0 лицензия

А результатов бенчмарков нет. Видимо этот релиз больше про добавление возможности Function Calling, нежели улучшения общего перфоманса.

Base
Instruct

@ai_newz

эйай ньюз

22 May 2024 20:47

🚨Новый Калифорнийский законопроект может убить будущее опенсорс моделей

TL;DR: На большие AI модели будет наложено очень много ограничений. Возможно, это задушит многих, кто тренирует большие LLM в США (пока только в Калифорнии), а также облачных провайдеров, предоставляющих GPU.

Сенат Калифорнии принял законопроект SB-1047, сильно ограничивающий тренинг домашних моделей. Они хотят заставить разработчиков получать разрешение (как на строительство дома) на трейн моделей, плюс фактически сделать опенсорсинг моделей лучше GPT-4 нелегальным. Надеюсь этот бред не сумеет пройти через врата ассамблеи и губернатора. Против законопроекта выступает AI Alliance, в который входят такие компании как Meta, IBM, Intel и AMD, так что шансы есть.

Я его прочитал, вот краткое содержание законопроекта:

➖Создаётся специальный отдел по надзору за продвинутым ИИ, который должен сертифицировать модели и которому должны отчитываться разработчики

➖Создаётся публичный кластер, CalCompute для исследования "безопасного деплоймента больших моделей"

➖Устанавливается контроль за моделями натренированным на 1e26 FLOP (чуть больше оценочного компьюта LLaMa 3 405B - по оценке Карпатого там 4e25 FLOP) или аналогичным к ним по мощности (аналогичность устанавливается на непонятных "стандартных бенчмарках")

➖Разработчики модели, попадающей под критерии, должны иметь возможность отключить все инстансы модели по требованию регулятора

➖Разработчики моделей, которые могут попасть под ограничения, должны отчитываться и получать добро от регулятора перед началом трейнинга

➖Разработчики моделей, которые подпадают под ограничения, ответственны не только за опасные действия самих моделей, но и за действия любых их файнтюнов (!)

➖Операторов компьют кластеров мощностью в 10^20 FLOPS или больше обязуют репортить когда кто-то тренирует ллмки и заниматься енфорсментом закона

➖Разработчики моделей, которые могут попасть под ограничение, обязаны ввести меры кибербезопасности которые защищают веса от утечки

➖Возможны исключения, которые может делать регулятор, но для них нужно доказать безопасность модели и её всех возможных файнтюнов

Судя по тексту, авторы законопроекта плохо понимают, как работают LLM. В текущем виде он фактически запрещает калифорнийским стартапам и другим небольшим организациям проводить большие трейнинг раны (если лицензию на постройку дома можно получать годами, то что уж говорить о лицензии на трейнинг ран).

Опенсорсу тоже будет несладко – из-за расплывчатости определений, потенциально, регулятор может наложить ограничения на любую модель, даже не 1e26 FLOP класса. Из-за этого, а также из-за сложности получения исключения, публиковать новые опенсорс модели может стать просто невозможно.

Закону ещё нужно пройти сквозь ассамблею штата (нижнюю палату парламента), так что тут ещё возможны поправки. Подписчики канала из Калифорнии могут высказать мнение о законопроекте своему представителю.

Вспоминаю ситуацию с криптографией в 90-х, надеюсь в этот раз отбиться от таких жёстких регуляций тоже выйдет.

Хотя, в Европе отбиться пока не вышло. В Европе в прошлом году предложили похожий драконовский закон – European AI Act (я о нем писал в декабре), и вчера его окончательно принял Европарламент. Он уже вступит в силу в 2025 году. Ох, как щемить будут нашу область 😭. Скоро появятся AI-офшоры, где все втихаря будут тренировать свои большие модели.

@ai_newz

эйай ньюз

22 May 2024 07:05

У Юргена вышла интересная статейка про ускорение диффузии с помощью кеширования результатов Cross-Attention слоев, где он процитировал нашу статью Cache Me if You Can.

Теперь официально - меня процитировал сам мегачад Шмидхубер 💪

@ai_newz

эйай ньюз

20 May 2024 22:07

Наткнулся на часовой гайд по созданию RAG архитектуры на открытых LLM-ках. Все супер подробно. Можно брать и повторять каждый его шаг. Видео сделано специально для новичков максимально подробным, так что если вы когда-либо хотели скормить всю свою или личную (или вдруг корпоративную) базу, то вот самое время.

RAG или Retrieval-Augmented Generation — это способ рассказать нейронке о ваших данных. Причем они могут быть не слишком хорошо отсортированы, так как часть, названная Retrieval, по сути, поисковик. Так можно без дополнительного дорогого тюнинга дополнить базу знаний LLM своими файлами, что позволяет использовать такую ллм в роли например консультанта продавца или техподдержки.

Сам видос тут. Если интересно еще узнать про RAG, то можно ещё послушать интервью с моей знакомой, инженером из Cohere, которая пилит RAG для моделей Command-R+ – я писал об этом пост. И вот ещё в придачу пост на хабре про RAG.

#ликбез
@ai_newz

эйай ньюз

20 May 2024 19:48

KV-cache для больших промптов в Gemini

Гигантский контекст Gemini 1.5 в 2 миллиона токенов имеет уйму применений, но цена и скорость таких огромных промптов оставляет желать лучшего. Даже со всеми современными оптимизациями, на обработку запроса, использующего все 2m контекста, нужны десятки секунд и несколько долларов ($1.4 Flash/$14 Pro), даже если нужно всего несколько предложений аутпута. Инпут токены хоть и дешевле, но с таким размером контекста их обычно в разы больше чем аутпут токенов.

Google обещает решить эту проблему новой фичей, context caching, которая разрешает переиспользование KV кэшей для больших промптов. Если кэшировать промпты, то задержка обработки запросов уменьшается в десятки раз, а инпут токены становятся в два раза дешевле. Хранение кэша будет платным, с почасовой оплатой, но даже с ней это стаёт выгоднее начиная с трёх запросов к промпту в час.

Кстати, если вы ещё не пробовали Gemini 1.5 - обязательно попробуйте (щедрые лимиты, но нужен VPN), возможность закинуть всю кодбазу в контекст и задавать о ней вопросы ощущается магической.

Неплохо было бы иметь такую фичу в API GPT-4o и Claude.

@ai_newz

эйай ньюз

18 May 2024 21:45

ох чего не сделаешь ради nsfw или Как запустить ЛЛМ на ноутбуке.

Не знаю почему, но как-то по ощущениям ЛЛМ-ки народ меньше запускает локально, как, например, тот же стэйбл диффьюжн. Хотя я за локальные ллм очень топлю – не люблю свои данные в клауд опенаи отправлять. То ли проблема в том, что нормальных открытых моделей до недавнего не было, то ли в том, что модельки эти просят 40 GB VRAM.

Но ведь у нас теперь есть LLAMA 3 8B! Мне удалось запустить квантизированную версию на ноуте с GTX 1650 Ti c 4 GB VRAM без особой нагрузки. (Оно и неудивительно, ведь Ламу и на мобиле уже запускают.)

Короче, вот вам гайд, как за пару тыков поставить эту кударявую лошадку себе на домашний компьютер:

1) Заходим на сайт LM Studio , качаем под свою систему сетап.
2) В поиске находим QuantFactory/Meta-Llama-3-8B-Instruct-GGUF, берем версию под себя. Там несколько квантизаций с разным уровнем сжатия. Ну или выбираем любую другую модель.
3) Заходим в окно чата, подгружаем модель и радуемся.

После того как освоились с этим, можно и поизвращаться)

Вот вам еще моя копипаста - небольшая подборка постов, про локальнные LLM:
- LLaMa с text-retrieval плагином: тык-1, тык-2
- LLama-7B на на макбуке: тык
- LLaMa-30B на макбуке (4-bit + mmap): тык
- llama2.c или Карпатый запускает LLaMa-2-7B на рисоварке: тык; а вот реализация на часах: тык
- Falcon 180B дома на маке M2 Ultra: тык

LM Studio

#туториал
@ai_newz

эйай ньюз

17 May 2024 13:31

🔥CAT3D: Create Anything in 3D with Multi-View Diffusion Models

Ухх! Кажется, диффузия все-таки доехала до полноценного 3D. Джон Барон из Гугла, монстр Нерфов (писал о нем тут), постарался.

На вход одна или несколько фоток -> на выходе 3D сцена в виде NeRF. Заметьте, как хорошо он генерит объекты даже сзади, где не было фоток на входе.

Кода нет, и не думаю, что будет.

Сайт проекта
Статья

@ai_newz

эйай ньюз

15 May 2024 07:01

Для всех, кто пропустил. Я собрал для вас саммари всего самого интересного, что было на Google I/O вчера, со ссылками на посты:

1️⃣Gemini 1.5 Pro /channel/ai_newz/2698

2️⃣Gemini 1.5 Flash /channel/ai_newz/2699

3️⃣Imagen 3 новая text2image модель /channel/ai_newz/2700

4️⃣Модель для генерации видо - Veo /channel/ai_newz/2703

5️⃣Gems - кастомные версии Gemini /channel/ai_newz/2707

6️⃣Gemini Nano - мультимодальная легковесная LLM для Android https://blog.google/products/android/google-ai-android-update-io-2024/

7️⃣ Gemini Nano встраивают в Chrome - будет бегать прямо на клиенте /channel/ai_newz/2711

8️⃣Опенсорс Gemma 2 и PaliGemma (Vision-Language Model) /channel/ai_newz/2708

9️⃣Новое железо: Trillium TPU + Arm-based Axion CPU /channel/ai_newz/2702

1️⃣0️⃣Music AI Sandbox - music2music модель и тулза для музыкантов /channel/ai_newz/2709

И в заключение – мое мнение обо всей этой движухе (осторожно, пост-ирония).

Пишите в комментах, если я что-то забыл.

@ai_newz

эйай ньюз

14 May 2024 23:15

Провел гугл свою презентацию Google I/O

Смотреть стало скучно спустя 0 секунд, начиная с речи ни о чем от Сундара Пичалька. Фото из зрительского зала прикрепляю.

Показали свою новую Сору, а еще поржали сами над собой, посчитав, что сказали "AI" 121 раз. Ну это кроме Gemini 1.5 Pro, которую открыли для пользователей Advanced.

Почти все презентованное будет доступно... когда-то...

В целом, это был рассказ о том, как Google видит свое будущее в AI или AI будущее в себе. Gemini запихнули ну куда только можно, о чем директор каждого отдела с большой гордостью отчитался. Такое ощущение, что у них там устроили конкурс, кто больше придумает юзкейсов и интеграций в интерфейсы своих приложух. Ну а в итоге, все говорили об одном и том же.

Акции GOOGL немножко приподнялись в моменте, думаю в этом и была цель — закинуть удочку на будущее для инвесторов.

При всем при этом вот что я думаю:
Gemini со всеми этими приколюхами может стать go-to нейронкой для обывателей, так как он торчит из всех щелей, бесплатный и бесшовно встраивается в существующие привычки пользователей. Я говорю о том, что в Chrome ты так и так зайдешь, а вот сайт OpenAI не каждый обыватель специально откроет.

@ai_newz