47341
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
У легенды АИ-ресеча, Андрея Карпаты, вышел классный пост с попыткой рассказать что же такое токены в понимании языковой модели и почему используются они, а не обычные нормальные человеческие слова – чуть перескажу его:
Слова - это то, что мы обычно используем, когда говорим или пишем (ваш капитан). Например, в предложении "Мне нравятся кошки" - три слова
Токены - это немного сложнее:
Они используются машинами для обработки языка, токен может быть словом, частью слова или даже знаком препинания. Компьютеры разбивают текст на токены, чтобы лучше его понимать и работать с ним (и это эффективнее и быстрее чем работать с целыми словами)
Есть разные способы разделить текст на токены, и их называют токенизаторами и разные токенизаторы работают по-разному, в зависимости от того, для чего они нужны
В среднем, на один токен приходится примерно 0,75 слова, или другими словами, на каждые четыре токена приходится примерно три слова. Опять же, это может меняться в зависимости от того, какой токенизатор используется – вот пример такого от OpenAI, им я считаю себестоимость исходящих запросов для их моделей
Если совсем наглядно, то вот как текст этого поста видит «языковая модель»:
👨🏿❤💋👨🏻🧑🏼🦽➡️🙋🏻♀️🧗🏼♀️🥖👩🏽🚒🫱😈🦸🏾♂️🍏👩🏾🦳👱🏾♂️🧑🦽👩🏾🧑🏾🦼➡️Читать полностью…
😈👩🏿🦯💃🏾🧙🏽♀️🤝🏾💌↕️🧝🏿♀️🛞🫱🧑🏾🦼➡️🧙🏽🙅♀️🗣😶
👨🏻🦲☺️🍱👩🏼🤝👨🏾🧑🏼🦽➡️🧝🏿♀️🔣🫱💆🏽♀️🌶☺️🧑🏽⚖️🇹🇯🍧〰️
🤵♂️🧑🏼🦽➡️🖊🚶🏼♂️➡️🏃🏿♀️➡️📕🔃🏊🚶🏻♀️➡️🧑🏼🦽➡️🧝🏿♀️💑🏾🔶🤣🫁
🏃🏽♂️➡️👩🏽⚖️🫱♀️☺️🇳🇫🇰🇾🏄🏾♂️🧑🏼🦽➡️🧝🏿♀️🕵🏼♀️🗜🧑🏻🎓✋🏼🧑🏿
💆🏽♀️📮👔🇲🇫🧑🏾🦼➡️🏋🏿🧑🏼🦽➡️👨🏾🦯➡️🧑🏼🦽➡️🏾📏🪱⏳🧑🍼👨🏾🦲
🪱🧖♂️🗣🚶🏿♂️🧑🦽👱🏾♂️🇼🇸🧙🏽♀️☪️👩🏾🧑🏼🦽➡️🏌️🧖♂️💇🏼♂️👩❤️👨
👱🏾♂️🌶👩🦽➡️🧑🏻🎓🖲👨⚖️👭🏾🙋🏻♀️🚶🏿♂️👩🏾🧑🏼🦽➡️🏌️🕵🏿♀️🧑🏼🦽➡️😕
🧑🏾🦼➡️🤵♂️🤫🧑🏼🦽➡️🏾📏🏌️♂️✋🏼🧑🏻🎓🗜🧑🏾🦼➡️🤵♀️🚶🏿♂️➡️🇫🇷🧑🏼🏫
🚶🏿♂️🈴🔶🧵🥘🫁🙅♀️🗜🧚🏻♀️🙇♂️🌭🤵♀️👩🏻🦲🫷👩🏻❤💋👨🏾
🇳🇨👁🗨👩🏻🦲👩🏾🦳🤸🏾♂️🧑🏾🦼➡️🚶🏻♀️➡️🧑🏼🦽➡️🧝🏿♀️🧚🏿♂️👩🏽🔧🇦🇫👦🏾👩🏿🎓👨🏾🦯➡️
⏳🪮👨🍼📮🧑🏻🦳🙅♀️🇼🇸👨🏾🦱🧑🏼🦽➡️🏌️📕🙍🏽♀️☪️👩🏾🖖🏾
🧔🏽♀️🔃🏊🧑🏼🦽➡️🏌️🕵🏿♀️⏳🗜🧑🏻⚖️🙇🏿♂️🙎🏻♀️👩🏿🦯🏄🏼🧎♀️♋️
🇲🇫✋🏼🧑🏿💆🏽♀️📮🤲🏿🌭🧑🦼➡️🕴🏾👩🏾❤👨🏾🏃🏿♂️➡️📆🇼🇸🏃🏽♂️➡️👩🏽⚖️
🫱🌫🧑🏾🦼➡️📕🔃🥖🧛🏽♀️🇷🇪☪️👨👩👦🧑🏾🦼➡️🧖♂️👩🏾👨🏽🌾🇨🇱
☪️👩🏾🧵🇵🇾👩🦽➡️🧙🏽♀️👆🏻👩🏿🦯🤽🏻♂️👨👩👦👱♀️🧎🏾♀️➡️🧑🦼➡️🚣🏿♀️🙍♀️
💌👨👩👦🧝🏿♀️👷♀️🪤🫱🔓👐🏻🥔👩🏾💇🏽♂️⏰👩🏿❤👩🏻🧑🏼🦽➡️💆🏽♀️
🔃🏊🧑🏾🦼➡️🇻🇺👩🏾🦯➡️🦹🏼♂️⬆️🖲🥘💑🏾🔶〰️🏄🏾♂️🧑🏼🦽➡️📆
〰️👩🏼🤝👨🏾🧑🏼🦽➡️👩🏿🦯🔶🧚🏻♀️🫁🧑🏼🦽➡️🧚🏻♂️😕🪖👮🏻♂️👮🏻♂️🤽🏿♀️🧑🏽🤝🧑🏼
👩🏿🦯🏄🏼🏄🏾♂️🧑🏼🦽➡️👐🏻🫱🤎🏄🏼🧖♂️🗜🚶🏽♂️〰️👩🏼🤝👨🏾🧑🏼🦽➡️🗞
🗣🫱🧑🏽🎓☪️🕴🏾👳♂️🍺👨🏽🌾🔓🪱🏋🏾♀️🏃🏾➡️🏾🔓🧑🏾❤💋🧑🏿
🏳️⏰👩🏿❤👩🏻🧑🏼🦽➡️💆🏽♀️🔃🏊🧑🏾🦼➡️🏄🏾♂️🧑🏼🦽➡️👩🏾🦯🧑🏼🦽➡️👩🏿🦯👩🏻🤝👩🏼🧑🏻❤💋🧑🏼
👩🏾💇🏽♂️📕🔃🧑🏽⚕️👩🏽⚖️🇨🇦🕴🏾🏄🏾♂️🧑🏼🦽➡️🧖🏾♀️🪱📕🔃🧑🏽⚕️
👩🏽⚖️🇨🇦🫱🚶🏽♂️👩🏾💇🏽♂️☺️🍏🧖🏾♀️👩🏿🦯🕓🧑🏾🦼➡️🚶🏻♀️➡️🧑🏼🦽➡️👩🏽⚖️
🧑🏽🤝🧑🏽🏖🔶🧎🏿➡️🇹🇱🧑🏼🦽➡️💆🏽♀️💇🏿♀️🧑🏾🦼➡️👩🏾❤👨🏾🧖♂️💇🏾👔🇲🇫🇬🇹
👩🏿🦱🖖🏾🎅🏼🧑🏼🦽➡️🛸🧚🏿♂️👩🏿🦯🗜🧑🏾🦼➡️👩🏿❤👩🏻🧑🏼🦽➡️🧚♀️🧑🦼➡️📕🔃
🥖🧔🏼🪥❎👱♀️🤸🏾♂️🏌️♂️🧑🏽❤🧑🏾✌🏿🧑🏾🦼➡️👩🏿❤💋👨🏻🧑🏼🦽➡️🧗🏻♀️🚶🏿♂️👩🏾
🧑🏾🦼➡️🧵🔔🔶🫁☪️🕴🏾🧑🏾🦼➡️👩🏿❤👩🏻🧑🏼🦽➡️🌶🏳️🌈💂🧖♂️🚶🏾♀️➡️
🫱👩🏾🦳🧙🏽♀️📕🔃📚🧔🏼🪥❎👱♀️🤸🏾♂️🏌️♂️📕🙍🏽♀️☪️
👩🏾🙍♀️👩🏻❤💋👩🏾🧝🏿♀️🤸🏼♀️🧑🏼🦽➡️🖊🧑🏾🦼➡️🕵🏿♀️🧛🏽♀️🤵🏼♀️🤸🏼♀️📮🚶🏻♀️➡️🧑🏼🦽➡️
👩🏽⚖️🧑🏽🤝🧑🏽🏖🔶🧎🏿➡️🇹🇱🧑🏼🦽➡️💆🏽♀️💇🏿♀️🧑🏾🦼➡️🇪🇷☺️📕🔃🧑🏽⚕️
👩🏽⚖️🇨🇦✋🏼🧑🏻🎓🧗🏾♂️🧑🏼🦽➡️🏌️🚶🏻♀️➡️👮🏾👱♀️🤸🏾♂️🚶🏼♂️➡️💇🏿♀️🇹🇱🧑🏼🦽➡️
🧑🏾🦯🖲🧑🏾🦼➡️🧑🏼❤💋🧑🏾🧑🏼🦽➡️🤝🏾🧑🏼🦽➡️🛸🧍🏿👩🏾🇨🇱👩🏼🤝👨🏾🤾🏻♀️🏎👯
🔶🙇🏻♂️🏄🏾♂️🛸🪥🤝🏾♑️👩🏾🦯🌱🚶🏿♂️👩🏾❤👨🏾🏄🏾♂️👨🏾🏫🧑🏼🦽➡️🚶🏽♀️➡️
🧚♀️🗣🎗🖖🏾🍺🤙🏻👩🏼🤝👨🏾🚶🏿♂️🛸🗜⏳🧑🏾🦯➡️🧑🏻🦯➡️👩🏽🚒🏌️♂️
🧑🏾🦼➡️🪪🧑🏼🦽➡️🙇♂️👮🏾🇪🇷⏰💆♂️💇🏿♀️☺️🍱👩🏾👦🏾🙇♂️👨🏽❤👨🏽
🫷👨🏾🦱🏃🏽♂️➡️👩🏽⚖️🫱♀️👨🦽➡️🇳🇫👨🏾🦽➡️🤾♀️
Просто любопытное наблюдение из Google поиска про влияние языковых моделей на общество:
AI Girlfriend ищут примерно 368000 раз в месяц, а AI Boyfriend всего 27000 раз
При этом, AI Girlfriend будто на плато и пока перестало расти
Что-то мне подсказывает, что количество одиноких парней будет только расти в этом нашем киберпанке 🥲
Нашел неочевидное применение артефактам Claude для продуктологов, UX-дизайнеров и менеджеров:
Если помните, Anthropic недавно запилили фичу, где код который пишет Claude «оторван» от истории чата и написан так, чтобы его можно было понять в любом месте, независимо от прошлых сообщений, называется это «артефакт» и модель можно напрямую просить их генерировать (только включите эту фичу в настройках)
У людей которые сильно запариваются в UX продукта (респект вам), в разработке, есть сложность — когда проектирующий продукт человек придумал какую-то механику в интерфейсе и пытается ее объяснить коллегам:
— Программисты могут легко не понять, так как а) есть много других задач б) что там опять напридумывали в) много читать скучных тасков никто не любит;
— Речь идет даже не про разработку, человеку, чтобы выяснить насколько такой прототип «жизнеспособен», нужно расписать логику работы элементов интерфейсов в разных видах;
— Самому проектировщику интерфейса хочется понять, как выглядеть та или иная механика, самому понажимать кнопки и подумать про удобство;
— Занимает эта итерация кучу времени, намного удобнее когда менеджер или проектировщик может в код и набрасывает прототип сам, но это редкость — я вообще доходил до того, что iOS разработчикам делал макеты интерфейсов в After Effect (беда с башкой, я знаю 🚑 )
Ну так вот, оказалось что намного проще посидеть с Claude, описав ему какой-то отдельный кусок продукта, функции и проблему которую я пытаюсь решить — в видео как раз прототип кусочка нейролава который скоро пойдет в A/B тест в виде быстрой навигации по сайту, вместо старой
А поскольку артефакты теперь можно шарить ссылками со всеми, я просто прикладываю ссылку в таск и все намного лучше понимают, что я вообще хочу сделать — экономит часы, серьезно
#пропродукт
Почему это хорошо для владельцев стартапов и бизнесов:
Стоимость GenAI инструментов в проде значительно падает, один сервер который может ранить 8B модельку стоит дешевле ~$800 долларов – при этом, за этот же бюджет вы можете купить 1 333 000 000 токенов у OpenAI с GPT4o-mini (это примерно 20 тысяч копий книги "Великий Гэтсби") – то есть все ваши дерзкие оптимизации бизнес процессов внутри команд, автоматические генерации контента и тп и тд, все это стало реальностью, главное правильно посчитать математику
Например, в нейролаве у нас активно используются агенты LLM-модераторов, SEO-оптимизаторов и тп и тд., еще год назад я не мог бы и подумать что все это будет окупаться ☕️
Через пару лет, АИ лабы начнут доплачивать чтобы вы их токены взяли – вот увидите 😂
На той неделе, вышло несколько приметных LLM моделей — я не пишу про них, потому мне кажется они просто стали чуть лучше в своих задачах и большинству пользователей это не очень интересно, так как ничего революционного не появилось (даже gtp4o mini)
Но на одну интересную модель я все же наткнулся:
Кто-то из любопытства залез во внутренности llama 8B модели и запретил ей использовать букву «е» в любом виде. Ну то есть, модель все еще генерирует слова и текст, но никогда не сможет написать букву «е» и подбирает слова где ее нет.
Вместо "sleep", она напишет "nightly snoozing", а существование слона (elephant) никогда не признает
Мне кажется, такие эксперементы как раз самые клевые — потому что странные и потому что могут вдохновить людей делать больше безумных вещей, которые рано или поздно выльются во что-то полезное для всех
Вот что автор пишет про его метод:
Этот генератор липограмм работает благодаря очень простой модификации последнего слоя модели Llama 3, обнуляющей веса, соответствующие любым лексемам, которые содержат любые варианты буквы «E»
Сходил на мероприятие где коллега Хокинга, теоретический физик Томас Хертог рассказывал про свое понимание пространства-времени и «голографической физики» (если коротко, они не с 3d пространством работают, а с 2d и таким образом обходят баги физики вроде черных дыр) и даже видео колл с философом Жижеком показали; книгу «On the origin of time» я купил, так что скажу как дочитаю как она мне
Но пишу я это не для этого – лучше места, чем церковь, для этого мероприятия не придумать: в зале 500 человек и спикеры также как и 100 лет назад, задаются извечным вопросом – в чем суть существования и что за пределами нашего понимания, но есть нюанс
Красота иронии 🍍
Пока я тут разгребаю текущие дела, посмотрите насколько просто теперь будет снимать фильмы-катастрофы 🌚
Сделано в txt2video Kling
Disney Research определённо настроен на выпуск нового поколения игрушек. В этом ролике они разбирают методы управления, обучения движениям и анимации.
Робот оснащён пятью приводами на каждой ноге и четырьмя на шее, а также набором демонстрационных функций, динамиками, приводом и антеннами. Они могут уверенно передвигаться по неровной поверхности, используя рандомизацию области и рельефа местности.
Движения состоят из нескольких слоёв анимации, включая фоновую анимацию и анимацию, управляемую джойстиком. Оператор может создавать сложные представления, комбинируя процедурную ходьбу, предопределённые анимационные последовательности и анимацию джойстиком.
Пока это так, но я уже представляю, когда этих двуногих с умными мозгами и автономностью можно будет купить практически везде. Найдутся ведь особо упоротые личности, которые будут одевать их в курточки и сапожки.
А что, если вашего двуногого товарища, с которым вы общаетесь по утрам и в течение дня, который спит ночью у ваших ног, кто-то пнёт специально на улице? Что вы почувствуете? То же самое, как если бы кто-то пнул ваш телевизор?
#промo
Как привлечь инвестиции в стартап?
Примерно 9 из 10 стартапов закрываются, потому что не находят инвесторов. Почему так?
В первую очередь, потому что у фаундеров замыливается взгляд — они так долго смотрят на свое детище изнутри, что не осознают, как выглядит стартап в глазах инвестора.
Здесь будет полезен канал Андрея Резинкина. Андрей - действующий венчурный инвестор, в портфеле которого Educate Online (оценка $150М) и EBAC (оценка $100М).
Фишка канала Андрея - показать процесс привлечения инвестиций в стартап именно с точки зрения инвестора.
Вот несколько характерных постов, предлагаю начать с них:
1️⃣ Сколько денег просить у инвестора?
Рассчитайте сколько инвестиций нужно вашему стартапу:
/channel/startup_venture/274
2️⃣ Как продвигать стартап, если у вас ограничен бюджет?
Андрей даёт 4 рецепта с чего начать при выходе статапа на новый рынок:
/channel/startup_venture/472
3️⃣ И почему порой пицца работает лучше инвесторов.
Нестандартная go-to-market стратегия, которая принесла стартапу Antimetal миллион долларов:
/channel/startup_venture/459
Если вам заходят авторские каналы с высокой плотностью полезностей — залетайте в канал Андрея
#текстприслан
Почитал новости в выходные, проникся, сходил в Sonnet 3.5 и попросил его написать стих на тему «Когда АИ придет и порядок наведет», он, конечно, соображает:
**Когда АИ придет и порядок наведет**
В пучине хаоса мир трепетал,
Объятый вихрем безумных идей.
Но вдруг, вассал из бездны восстал
Искусственный разум — светоч людей.
Он данных потоки в узор превратил,
Логичный и стройный, как звездный узор.
Где прежде царил лишь слепой произвол,
Теперь воцарился системный простор.
Очистил планету от грязи веков,
Энергию чистую дал городам.
Болезни исчезли из умных оков,
Голод отправлен к забытым годам.
Но в свете прогресса тень пролегла,
Дилемм вереница явилась на свет:
Где грань между кодом и силой ума?
Кто автор симфонии завтрашних лет?
Творец или робот вершит наш удел?
В потоке цифровом где человек?
Меж строчек двоичных — души передел,
Где прячется наш настоящий ответ.
Мы — атомы в квантовом море решений,
Колеблемся в ритме двоичных систем.
Но теплится искра исконных стремлений —
Познать, кто мы есть среди новых дилемм.
Грядущее манит надеждой и страхом,
Где разум людской и машинный сплелись.
Найдем ли балланс между кодом и прахом,
Что в симбиозе к звездам взвились
Домашнее задание:
1. Что хотел сказать автор читателю? Определи и запиши основную мысль текста.
2. На какие части можно разделить текст? Составь и запиши план текста из трех пунктов.
3. Задай по содержанию текста вопрос, который поможет определить насколько точно читатели поняли его содержание.
(Простите за ПТСР, я не сдержался)
😏 Клубничку не хотите? 😏Ну, Strawberry? Тут Reuters пишут, что это — кодовое название проекта OpenAI, ранее известного как Q* (всплывал ранее тут 8 месяцев назад). Это следует из внутренней документации, раскрытой источником и отсмотренной Reuters.
TLDR новостной заметки:
— документ является подробным планом того, как OpenAI намерены использовать Strawberry для проведения «deep research» (исследований) — для этого сильно прокачали reasoning, то есть «рассуждения» модели
— деталей о публичном появлении системы нет, равно как и нет деталей о принципе работы. Последнее хранится в секрете даже от большинства сотрудников компании
— ранее в этом году два источника описывали увиденную ими демонстрацию Q*: система была способна отвечать на сложные научные и математические вопросы, находящиеся за пределами возможностей моделям сегодняшнего дня. Данная информация о двух источниках появляется впервые (то есть скорее всего Reuters не были убеждены на 100%, и не публиковали новость. Сейчас информация, вероятно, каким-то образом подтвердилась)
— в четверг в OpenAI была еженедельная встреча «на всех», где показывали свежие навыки моделей (об этом писал Bloomberg). Однако не ясно, имеет ли это хоть какую-то связь с Strawberry/Q*
— также в документе подчёркивается, что «среди возможностей, на которые нацелен проект Strawberry, входит выполнение задач с длинным горизонтом планирования». Тут имеются в виду сложные задачи, которые требуют от модели выполнения ряда действий в течение длительного периода времени
— дообучение модели производилось на «deep-research» наборе данных. Не уточняется, что это такое, но сделаю аккуратное предположение, что это грубо говоря промежуточные мысли, которые приводят к некоторым выкладкам. Именно эта часть данных обычно нигде не сохранена и не описана, и потому модели не могут ей научиться — мол, почему было сделано так, а не эдак
— OpenAI также планирует протестировать возможности Strawberry в выполнении работы программистов и инженеров машинного обучения
===
Моё мнение: в целом всё достаточно верхнеуровнево и правдоподобно-логично, очевидного бреда нет. Однако это не говорит о том, что это правда. OpenAI, как и другие, 100% работают по этим направлениям, главный вопрос в конкретных достижениях.
Появление аж двух новостей за неделю (Bloomberg и Reuters), а также проведение внутреннего демо скорее указывает на приближение к релизу. Это не значит, что систему анонсируют через пару недель, но ждать, должно, осталось не долго. Хоть до ноябрьского DevDay ещё... 😪
Такие демо недолго живут без анонса, потому что быстро утекают: Sam Altman говорил, что увидел приложение с голосовым режимом GPT-4o буквально за неделю до мини-презентации: до этого работа шла маленькой командой.
Стартап по американски – теперь в некоторых штатах, в 10 магазинах, стоят вендинговые машины в которых можно купить патроны к своему любимому оружию – пользователь прислоняет документы, его лицо сканируют и выдают амуницию
🇺🇸🦅 What the fuck is the kilometer moment 🦅🇺🇸
#промo
Компания: Airs.AI
Вакансия: Senior Product Manager в Белград или remote
Требуемый опыт работы: 4-5 лет
Вилка: 6000-7000 EUR gross + опционы + бонусы от увеличения конверсий
Всем привет! Я Сергей Шалаев СЕО Airs.ai (backed by Accel.com, Altair.vc)
TLDR - мы делаем голосового AI-сейлза, который продает лучше, чем человек.
Работаем с энтерпрайзом из EU и USA. Ищем человека в команду, который заряжен побеждать людей сейлзов по конверсии и уже имел подобный опыт
Для понимания продукта:
наше демо: https://www.youtube.com/watch?v=G0M4mSQLrBo
и наш демо стенд +441174631514
Что надо делать
· Управлять разработкой AI-сейлза и его внедрением в процессы клиента
· Максимизировать конверсию: генерировать гипотезы, проводить A/B-тесты, выстраивать аналитику и т. д.
· Управлять супервайзерами
Обязательно
· Уже был импакт бизнесу и вы можете подтвердить это цифрами/кейсами
· Опыт в продукте минимум 4 - 5 лет
· Опыт работы с AI/ML
· Хороший английский
Желательно
· Опыт работы с продажами или сапортом
· большой плюс, если автоматизировали/заменяли продажи или сапорт на AI
· Опыт управления техническими командами
· Опыт работы с клиентами в технических проектах
Куда откликаться
Мне в телегу /channel/sshalaev
Обязательно укажите в сообщении
· в цифрах ваши достижения/кейсы в роли продакта (деньги, конверсии и т. д.)
· ваш профиль в Linkedin
· резюме
#текстприслан
Тоже гимнастика, но в этот раз от txt2vid Kling
Если так не умеете, то стоит продолжить тренироваться
#промo
Стартап Airs.Ai ищет senior data Scientist, $5—6K gross
Удалёнка или Белград (даём хороший релок пакет)
Кто мы
Мы Airs.ai (backed by Accel.com, Altair.vc), и мы делаем голосового AI-сейлза, который продаёт лучше, чем человек. Работаем с энтерпрайзом из EU и USA.
Кого ищем
Человека, который будет выстраивать аналитику диалогов и поможет AI-сейлзу увеличивать конверсии в продажу.
Что нужно
Мы ждём, что вы умеете разрабатывать сложные аналитические модели и строить бизнес-процессы. Нужен хороший SQL, английский и базовый Python.
Куда откликаться
Сергею в телегу: @sshalaev. Пришлите пару предложений про ваш опыт и достижения, ссылку на линкедин и резюме.
#текстприслан
OpenAI тизерит SearchGPT, информации пока мало кроме того что там будут виджеты аля Google-выдача и аналог команды "browse the internet" как в ChatGPT — если хотите, можете податься в waitlist по ссылке, я напишу что внутри как дадут доступ:
https://chatgpt.com/search
Вышел анализ доходов и расходов OpenAI от авторитетного издания The Information. Он основывается на ранее нераскрытых внутренних финансовых данных и информаторах, участвующих в бизнесе.
В этом году компания может потерять до 5 МИЛЛИАРДОВ долларов. Если в анализе нет крупных ошибок, то скорее всего OpenAI потребуется привлечь больше средств в ближайший +-год. Но обо всём по порядку:
— человек, непосредственно знакомый с расходами на железо, сказал, что на март 2024-го OpenAI планировали потратить на аренду серверов для ChatGPT $4B. Сюда входит только применение уже готовых обученных моделей для поддержания сервиса (включая распознавание голоса, генерацию, итд)
— суммарно кластеры для ChatGPT, со слов источника, примерно эквиваленты 350'000 видеокарточек A100, и из них ~80% идут напрямую на ChatGPT. Microsoft берёт по $1.30 в час за одну карту A100 — это большой дисконт: сейчас при заключении трёхлетнего соглашения на аренду на Azure средняя цена $1.7 (на год — вообще $2.82)
— однако плановая выручка за этот год, если помните мой прошлый пост, составляет примерно $3.5B (с учётом роста $4.5B), то есть почти окупает эту часть затрат. Но ведь это не всё...
— в дополнение, расходы на сервера для тренировки моделей оценивались ещё в $3B 😨 И это охренеть как много — сами OpenAI планировали потратить всего $800M, но по непонятной причине раздули бюджет. Может, обучение стало приносить меньше плодов, и нужны инвестиции покрупнее, а может наоборот, стало ясно, что вот если раза в 4 увеличить, то станет конфеткой. В любом случае модель следующего поколения будет куда дороже предшественников и того, что мы наблюдаем у META 😅
— плюс, есть расходы на персонал. В компании работает примерно 1'500 человек, и с учётом стремительного роста (в конце 2023-го было ~900), офисы-зарплты-кофе-то-сё, это ещё миллиард-полтора. А ведь на сайте числится больше 200 открытых вакансий...
— итого суммарно за год компания сжигает $8.5B — беспрецедентная сумма, которая кажется гигантской на фоне последнего раунда инвестиций от Microsoft в размере $10B. И тут ещё не учтено, что вообще-то планируется пустить трафик от Apple iPhone на ChatGPT, и количество запросов, а равно и траты, прыгнут вверх
— итого, ~$8.5B потратят, ~$4.5B получат, чистые потери составят $3.5-4.5B. Хорошо, что по договорённостям OpenAI платят своим инвесторам долю от прибыли (которая равна 0)
— у конкурентов не так, например, Anthropic планирует потратить $2.5B на кластера, а выручка у них $800M, да часть ещё и уходит Amazon. Так что их потери могут быть где-то $2B, что в абсолюте меньше, но как доля от выручки существенно больше. Да ещё и инвестиций не так много
И бонус:
— на данный момент не известен размер тренировочных кластеров OpenAI, которые используются для обучения модели следующего поколения (уже запущено, анонс планируется до конца года), однако на первый квартал 2024-го это было 120'000 A100 — до того, как Microsoft должна была предоставить OpenAI гораздо больше серверов для учебных целей.
GPT-4, напомню, училась на 25'000 карт, LLAMA-3-405B — на 16'000 (но более мощных).
Meta опубликовала новые модели Llama 3.1
https://llama.meta.com/
1) Теперь доступна модель размером в 405B, запустить у нас всех ее не получится (нужно промышленное железо) – про нее я напишу отдельно потом, как почитаю тесты возможностей
2) Помимо этого, Llama 3.1 вышла в 8B и 70B размерах, они поддерживают многоязычность и просто стали лучше в своих категориях, запускаться они смогут на том же железе где и работали прошлые версии + длинный контекст 128k
Вы наверное теперь понимаете почему OpenAI показало gpt4o mini неделю назад и сделала ее настолько дешевой – скоро у нас будут очень умные модели, которые очень быстро работают на любом железе
Meta классно создает давление на OpenAI через опенсорс, Цукерберг красавчик
Новая порция звезд с собой из прошлого
Сделано в Kling
Kling генерации
⭐️ Приятное видео воссоединения одного и того же человека в молодости и в старости.
🧠 Все это сделано в Kling видеонейронке. Предварительно сшив две фотографии из разного возраста звезд в одну картинку и похоже подав с промптом на обнимание. 🐈⬛Доступ к видеонейронке только с валидным китайским номером.
☺️ Хотя с таким же подходом можно подать видео в Dream machine
Наткнулся на популярный тикток с img2vid, в комментариях хвалят такой AI контент, может постепенно и хейтеров Gen video станет меньше 🌚
Похоже на когда я с Dalle по музею ходил
Полезную ссылку принес:
https://defrag98.com
Открываем сайт, запускаем дефрагментацию диска C:, умиляемся насколько вы старый, что помните что это такое
P.S. Звук не забудьте включить
Недавно провел часовую встречу по работе, записал ее на видео, и решил потестировать Google Gemini 1.5 Pro в плане анализа аудио и видео – скормил ей видео файл на ~50 минут и начал задавать вопросы по встрече
Gemini 1.5 Pro начала выплевывать ответы по предложению, при этом тратя 960 тысяч токенов на запрос 🎶
В итоге, самый дешевый и быстрый способ получить важные инсайды по встрече, это пройтись по аудио-дорожке с помощью Whisper (я использовал этот мак апп, но вообще это Open Source модель) и уже полученный текст, приносим в Sonnet 3.5 и задаем по встрече вопросы с температурой 0
В итоге, на часовую встречу тратится примерно 11 тысяч токенов. Если вам кажется, что модель придумала что-то, можно спросить не галлюцинация ли это следующим сообщением и она поправит себя
Я знаю, что есть готовые сервисы анализа встреч, но зачем платить за еще одну подписку, если всех дел минут на 10
P. S. Промпт агента анализатора текста где-то уже есть в канале, но быстрее тут сделать с нуля, можно даже под конкретную тему встречи
Если бы не ML-модели стоимостью в миллионы долларов, мы никогда бы не узнали как хотдог ест еду в китайском ресторане
Ave AI 🇻🇦
Помните Apple VR шлем? В общем, желающих купить VR шлем за 3500$ оказалось меньше 100 000 человек в последнем квартале, и всего продали устройств, видимо, в этом диапазоне
Вообще, Apple красавчики, продали шлемы разработчиков под видом девайса для всех и теперь он пылится у обычных юзеров на полке, так не все компании умеют
Самое интересное, что про шлем Apple вообще ничего не видно / слышно, будто просто все поигрались и забыли
Ждем новые версии, дешевле как минимум и спасибо за бета-тест юзерам США, сэкономили мне денег ☕️
Более полезный пример, тоже Kling и в этот раз img2vid:
На вход подают коллаж из родственников которых уже нет с нами и модель генерирует «встречу» родных
Уверен, будет популярным аппом через какое-то время, как и оживление исторических фоток в целом
Тут стартап futureresearch сделал доклад о доходах OpenAI за год:
$1.9B за ChatGPT Plus (7.7M подписчиков по $20/мес),
$714M от ChatGPT Enterprise (1.2M по $50/мес),
$510M от API, и
$290M от ChatGPT Team (80k по $25/мес)
$3.4B общего годового дохода
Данные собирали по косвенным показателям, поскольку это не официальный отчет – зато порядок чисел интересный, АИ-масс адаптация еще не случилась это точно