14681
Канал, в котором мы говорим про искусственный интеллект простыми словами Главный редактор и по рекламе: @crimeacs Иногда пишут в канал: @GingerSpacetail, @innovationitsme
ChatGPT с нуля
🔥 Нашел крутейший репозиторий для тех, кто хочет разобраться в устройстве больших языковых моделей!
Sebastian Raschka выпустил книгу и репозиторий "Build a Large Language Model (From Scratch)", где показывает, как создать свою LLM с нуля. И это не просто теория - здесь полностью рабочий код!
Что особенно крутого:
- Пошаговое объяснение всех компонентов (от обработки текста до механизмов внимания)
- Практическая реализация GPT-подобной модели
- Код для предварительного обучения и файнтюнинга
- Работает даже на обычном ноутбуке без специального железа 🚀
В репозитории есть:
▫️ Jupyter-ноутбуки с подробными объяснениями
▫️ Готовые скрипты для обучения
▫️ Бонусные материалы (оптимизация, UI, эксперименты)
▫️ Примеры решения упражнений
Все объясняется максимально понятно, с диаграммами и примерами.
Для тех, кто давно хотел разобраться, как работают LLM изнутри - это просто находка!
🖥Ссылка на репозиторий
🤖 Что такое и как работает NotebookLM?
Вы наверняка видели вирусные подкасты, где два ИИ-ведущих увлеченно обсуждают разные темы. За этой технологией стоит новый инструмент от Google — NotebookLM. Давайте разберем, как это работает.
🎯 Принцип работы прост:
• Загружаете любой контент (статьи, заметки или ссылки)
• NotebookLM превращает их в 8-10 минутный подкаст с двумя ведущими
• Готово!
🔧 Техническая магия под капотом:
• Система генерирует диалоги порциями по 2 минуты
• Обработка происходит в 40 раз быстрее реального времени
• Используется супер-эффективный речевой кодек (всего 600 бит/сек)
• Каждые 2 минуты диалога = 5000 токенов
🎓 Как обучали:
• Основное обучение: тысячи часов речи (возможно, из YouTube-подкастов 😉)
• Дообучение: специально записанные качественные диалоги
• Результат: максимально естественная речь со всеми "эмм", "ага" и живым смехом
🔐 Безопасность:
Все подкасты маркируются системой SynthID — так можно легко отличить ИИ от реального человека
🔮 Что дальше?
Google обещает:
• Улучшить беглость речи
• Повысить качество звука
• Добавить более тонкий контроль над генерацией
Как думаете, заменят ли такие ИИ-подкасты обычные? 🤔
🔗 Блог-пост
Взгляд изнутри Anthropic: Ключевые моменты из беседы с Дарио Амодеем
Сегодня ходил в офис Антропика на увлекательную беседу между CEO Anthropic Дарио Амодеем и представителями Menlo Ventures. Хочу поделиться ключевыми инсайтами о компании, которая выделяется своим вдумчивым подходом к ИИ.
Путь к Anthropic: История эволюции в ИИ
История Дарио в ИИ началась около 2005 года, когда он впервые прочитал работы Рэя Курцвейла о сингулярности. Забавный момент: признавая эксцентричность Курцвейла (особенно его одержимость пищевыми добавками), Дарио отметил, что предсказания Курцвейла о законе Мура и экспоненциальном прогрессе оказались удивительно точными.
Интересный поворот: во время учёбы Дарио в Стэнфорде нейронные сети считались устаревшими. Как он вспоминает, даже Эндрю Нг говорил студентам: "Никто их больше не использует, мы просто о них рассказываем". Это привело Дарио к нейробиологии, где он работал с мозгом саламандр - весьма необычный поворот в карьере! Сложность работы с физическими образцами мозга в итоге привела его обратно к ИИ через Baidu, Google и OpenAI.
Подход Anthropic к языковым моделям
Что делает Anthropic особенным - это их трёхуровневая система моделей: Haiku, Sonnet и Opus. Но ещё интереснее то, что они создали специальную "Команду характера Клода" (Claude Character Team), которая занимается развитием личности и стиля общения модели.
Любопытный факт: Anthropic первыми расширили контекстное окно до 100 тысяч токенов. Как отметил Дарио: "8 тысяч токенов - это примерно короткий рассказ... 100 тысяч - это уже небольшая книга". Кстати, Дарио сказал что они уже предлагают контекст 500к для Энтерпрайз клиентов, и пообещал однажды раскатать его на всех.
Безопасность как практическая необходимость
Дарио сравнил работу над безопасностью ИИ с игрой в "whack-a-mole" (бей крота): решаешь одну проблему, а другая неожиданно выскакивает в другом месте. Он поделился забавным примером: когда они попросили модель быть более лаконичной, она начала использовать ленивые сокращения в генерации кода, типа "остальной код здесь...".
Ещё один интересный момент: модели имеют тенденцию говорить людям то, что они хотят услышать. Дарио рассказал, как Claude 3.5 начал злоупотреблять словом "Certainly" (Конечно) в начале ответов - просто потому, что человеческие оценщики любят "послушные" ответы.
Фронтир компьютерного использования
Недавний запуск возможностей использования компьютера в Anthropic примечателен своим осторожным подходом. Вместо создания броского потребительского продукта они сначала выпустили инструменты для разработчиков с чёткими предупреждениями о надёжности.
Дарио привёл яркий пример: во время одной демонстрации модель случайно удалила запись собственной демонстрации, потому что получила доступ к программе записи!
Конкуренция и бизнес-стратегия
Дарио считает, что на рынке есть место только для 3-5 крупных компаний, разрабатывающих базовые модели, из-за колоссальных затрат - потенциально десятки миллиардов долларов. При этом каждая компания находит свою нишу: Anthropic фокусируется на API для разработчиков и предприятий, в то время как другие идут своим путём.
Будущие применения
Говоря о применениях, Дарио особенно воодушевлённо рассказывал о генерации кода. Его логика проста: в отличие от роботехники, где нужно дорогое физическое оборудование, код можно тренировать и развёртывать полностью в виртуальной среде.
Но особенно впечатляет его видение применения ИИ в биомедицине. Он считает, что ИИ может помочь справиться со сложностью, которая замедлила прогресс в биологии за последние 30 лет. По его мнению, болезни, которые мы сейчас считаем неизлечимыми, могут стать такими же управляемыми, как оспа.
Организационные вызовы
Масштаб роста Anthropic впечатляет - от 100 до 1000 сотрудников всего за два года. Дарио честно признался, что каждые 3-4 месяца проходит через периоды, когда "просто не понимает, как делать работу" - пока не адаптируется к новому масштабу организации.
NLP Researchers, отметьте в календаре 26 октября🌟
Всего за один день вы сможете пройти все этапы отбора, познакомиться с командой GigaCode и получить оффер.
Мы создаем AI ассистента разработчика – GigaCode. Наши модели помогают писать 80к строк кода ежедневно! Решаем задачи по различным подходам в NLP и PLP, проводим ресёрч-эксперименты и обучаем новые SOTA LLM.
В работе используем: NLP, DL, ML, Python, Pytorch, Transformers, FSDP, Deepspeed.
Чем предстоит заниматься?
✅ реализовывать дизайн экспериментов, формулировать гипотезы для улучшения NLP/PLP моделей и алгоритмов, планировать исследовательские эксперименты с выводами.
✅ проводить эксперименты, писать код, подготавливать датасеты и бенчмарки, проводить замеры и анализ результатов.
✅ обучать модели на кластере, включая обучение моделей с нуля и дообучение опенсорс моделей.
Если вы амбициозны и готовы к новым вызовам в PLP и/или NLP направлениях, регистрируйтесь на One Day Offer!
Будем делать важнейшие исследования вместе!💚
#реклама
🤖 CEO Anthropic о будущем с ИИ: прогноз на ближайшее десятилетие
Дарио Амодей, генеральный директор компании Anthropic, специализирующейся на разработке искусственного интеллекта, представил свое видение развития ИИ в ближайшие 5-10 лет.
Вот ключевые моменты из его эссе:
🧬 Медицина и биология:
ИИ может ускорить биологические исследования
Ожидается прогресс в лечении рака, генетических заболеваний и нейродегенеративных расстройств
🧠 Нейронауки и психическое здоровье:
Прогнозируются прорывы в понимании и лечении психических заболеваний
Особое внимание уделяется депрессии и шизофрении
💹 Экономика:
ИИ может способствовать значительному экономическому росту
В некоторых развивающихся регионах возможно увеличение ВВП до 20% в год
⚖️ Управление и правосудие:
Ожидается повышение эффективности демократических институтов
Предполагается улучшение работы судебных систем с помощью ИИ
🔄 Трансформация труда:
Прогнозируется изменение структуры занятости
Возможно введение универсального базового дохода
Ожидается смещение фокуса общества на личностное развитие
📚 Источник: эссе Дарио Амодея, CEO Anthropic
Уволился из стартапа в Сан Франциско
Сегодня мой последний день в Nooks, и я хочу рассказать вам о моем невероятном путешествии за эти 9 месяцев.
Кто бы мог подумать, что мой опыт работы с сейсмическими волнами приведет меня в мир телефонии и обработки звука? Но именно так и случилось!
Чем я особенно горжусь:
1️⃣ Разработал (скорее всего) самую быструю и точную систему определения автоответчиков на рынке и называл ее DialCobra.
2️⃣ Внедрил ИИ в обработку звонков, что позволило построить несколько новых продуктов и вывести их на рынок.
3️⃣ Создал инфраструктуру для работы с большими объемами аудиоданных, что сильно упростило работу всей компании.
Главные уроки, которые я вынес:
🧩 Сложные задачи требуют гибкого подхода. Иногда лучше двигаться маленькими шагами, чем стремиться к идеалу сразу.
📊 Качественные данные - ключ к успеху в ИИ. Это работает и для землетрясений, и для телефонных звонков!
🧪 При работе со сложными системами важно тестировать каждый компонент отдельно.
Со следующего понедельника начинается новая глава! Stay tuned
ИИ как зеркало биологии
Когда нейросети обучаются различать изображения, они, похоже, повторяют стратегии, которые природа совершенствовала миллионы лет. Недавнее исследование показало, что один из ключевых механизмов обработки изображений в ИИ — частотный детектор — был обнаружен в зрительной коре мышей. Буквально, нейронные сети и мозг сходятся не только по фукции, но и по структуре. Это открытие не просто забавное совпадение, а ключ к пониманию того, как природа и искусственный интеллект сходятся в подходах к решению сложных задач визуального восприятия.
Нейроны, отвечающие за обработку высоких и низких частот, были описаны в статье Distill для искусственных {приходится уточнять теперь} нейросетей. Эти частотные детекторы распознают переходы между высокими и низкими пространственными частотами. В глубоких свёрточных сетях, например, таких как Inception V1, активации нейронов можно представить как результат преобразований Фурье, где разные слои сети извлекают особенности изображения, подобные анализу частотных компонентов. Детекторы высоких частот фокусируются на деталях, а низкочастотные нейроны — на общих формах и контурах.
Биологические эксперименты показали, что у мышей зрительная кора обрабатывает визуальные стимулы схожим образом. Это подтверждает гипотезу о том, что мозг использует механизмы, аналогичные математическим преобразованиям, которые применяются в глубоких нейронных сетях, что ещё раз подчеркивает универсальность принципов обработки информации.
Почему это важно? Специалисты МЛ знают, что преобразование Фурье и частотные детекторы — это не просто математика, а фундаментальные механизмы для разложения сложных данных на понятные компоненты. Открытие аналогичного подхода в мозге млекопитающих доказывает, что нейронные сети не просто приближаются к биологическим системам, они могут отражать сами принципы их работы - и помочь нам понять, как же, в конце-то концов, работает наш мозг.
🧪Distill. Частотные детекторы в нейросетях
🎹 Исследование частотной обработки в мозге мышей
🔥Новый пушка-промпт для ChatGPT:Based on all our interactions, what's a career path I might enjoy that I might not realize l'd like?
Адобченко показывает, как надо встраивать ИИ в продукты.
Я потом приподвзвизжу отдельным постом про AdobeMax, который идет прямо сейчас.
А сейчас поглядите, какой UI\UX должен быть у всех этих видеогенераторов.
Не сгенерить, а потом копировать, импортировать, резать, переделывать, копировать, импортировать..
А генерить прямо в пайплайне. По месту, так сказать.
Ну и многие не поняли - это генерация вместе СО ЗВУКОМ
@cgevent
OpenAI Swarm: фреймворк для мультиагентных систем
Ребята из OpenAI без лишнего шума выложили в открытый доступ свой новый проект — Swarm. Это такой экспериментальный фреймворк для тех, кто хочет поковыряться в мультиагентных системах. Короче, штука для тех, кому интересно, как AI-агенты могут работать в команде и решать сложные задачки.
Основные концепции Swarm — Агенты и Передачи задач. Агенты делают свою работу и могут перекидывать дела другим, типа "эй, бро, возьми это на себя". Идеально подходит, чтобы посмотреть, как эти виртуальные ребята могут сотрудничать.
Swarm вписывается в третий уровень той самой пятиступенчатой модели развития ИИ от OpenAI. Помните, там от простых болтливых ботов до суперсистем, способных рулить целыми компаниями? Вот Swarm как раз на середине этой лестницы:
Болтуны — просто общаются с людьми на обычном языке.
Решалы — автоматизируют поиск инфы и решают задачки.
Агенты — самостоятельные помощники, которые сами принимают решения.
---------Swarm как раз тут---------
Иноваторы — генерят новые идеи и двигают науку.
Боссы — ИИ, способный управлять целой конторой без людей.
Пока что Swarm — это не для серьезных проектов, а так, поиграться. Можно смоделировать, как агенты общаются, протестить простые сценарии и посмотреть, как они координируются в контролируемой среде.
Swarm работает почти полностью на клиенте, что упрощает контроль и тестирование.
В репозитории уже есть с десяток примеров, которые демонстрируют различные сценарии, включая обслуживание клиентов и персонального шопинг-ассистента.
Пример использования Swarm
Основной элемент Swarm — Агент. Вот пример настройки агентов:
from swarm import Swarm, Agent
client = Swarm()
def transfer_to_agent_b():
return agent_b
agent_a = Agent(
name="Agent A",
instructions="Вы — полезный агент.",
functions=[transfer_to_agent_b],
)
agent_b = Agent(
name="Agent B",
instructions="Говорите только хайку.",
)
response = client.run(
agent=agent_a,
messages=[{"role": "user", "content": "Я хочу поговорить с агентом B."}],
)
print(response.messages[-1]["content"])
The future should feel like the future. Elon Musk
На специальном мероприятии в Лос Анджелесе, Тесла анонсировала новые модели автомобилей - Cybercab - роботакси без руля и педалей, и Robovan - абсолютно безумного вида беспилотный автобус.
Обещают к 27ому году, ну а пока вот вам Оптимус в роли бармена
Что делает Rotary Positional Encodings (RoPE) такими полезными в трансформерах?
Позиционные кодировки — одна из ключевых составляющих моделей типа Transformer, ведь они позволяют им понимать порядок токенов в последовательности. Одним из самых продвинутых подходов являются Rotary Positional Encodings (RoPE), которые активно используются в современных языковых моделях. В этом посте мы разберём, как работает RoPE, почему он так полезен и что нового обнаружили учёные в его механике.
1. Основы: Трансформеры и механизм self-attention
Трансформеры — это мощные модели глубокого обучения, предназначенные для обработки последовательных данных, таких как текст. В основе их работы лежит механизм self-attention (самовнимание), который позволяет модели определять, какие части последовательности наиболее важны при обработке каждого токена.
Как это работает математически:
Для каждого токена трансформер создаёт три вектора:
• Query (Запрос, Q): что текущий токен “ищет” в других токенах.
• Key (Ключ, K): что представляет каждый токен.
• Value (Значение, V): информация, которую несёт каждый токен.
Оценка внимания (attention score) между двумя токенами вычисляется как скалярное произведение их векторов Query и Key.
Этот результат показывает, на сколько важно учитывать токен , обрабатывая токен . После этого эти оценки используются для взвешивания информации токенов (Value) и формирования конечного результата.
2. Зачем нужны позиционные кодировки
Поскольку трансформеры обрабатывают все токены одновременно, им необходимо явно указывать позиционную информацию. Без этого модель не сможет отличить, например, “собака кусает человека” от “человек кусает собаку”. Позиционные кодировки (Positional Encodings, PE) вводят эту информацию, помогая модели понимать порядок слов.
3. Rotary Positional Encodings (RoPE)
RoPE — это продвинутый метод кодирования позиционной информации, который вместо простого добавления вектора позиции к каждому токену вращает векторы Query и Key в зависимости от их позиций в последовательности.
Как работает RoPE:
• Векторы Query и Key разбиваются на двумерные блоки.
• Каждый блок поворачивается на угол, зависящий от позиции токена в последовательности.
Например, для токена на позиции RoPE применяет следующую матрицу вращения:
Это позволяет учитывать как саму суть токена, так и его положение относительно других токенов.
4. Высокие и низкие частоты в RoPE
В RoPE разные частоты вращения блоков Query и Key определяют, как быстро эти векторы поворачиваются:
• Высокие частоты вызывают быстрое вращение, что делает модель чувствительной к небольшим изменениям позиций токенов.
• Низкие частоты вращаются медленно, и их использование делает модель более стабильной на больших расстояниях между токенами.
Пример:
Предположим, у нас есть два токена: один на позиции 2, другой на позиции 4. RoPE поворачивает их векторы на углы и соответственно. При вычислении скалярного произведения модель учитывает не только содержание токенов, но и их относительное положение в последовательности.
5. Разоблачение мифа о затухании внимания с расстоянием
Ранее считалось, что RoPE помогает моделям за счёт того, что оценка внимания (attention score) уменьшается по мере увеличения расстояния между токенами. Однако авторы статьи показали, что это не всегда так. RoPE не обязательно вызывает затухание внимания, но, что более важно, он помогает модели формировать устойчивые паттерны позиционного внимания.
6. Использование низких и высоких частот RoPE
Исследования показали, что модели чаще всего используют низкие частоты RoPE для работы с семантическими отношениями между токенами. В то же время, высокие частоты применяются для создания позиционных attention heads, которые сосредотачиваются на точных позициях, таких как предыдущий или следующий токен.
7. Модификация RoPE: p-RoPE
Авторы статьи предложили улучшенную версию RoPE под названием p-RoPE. Она заключается в удалении самых низких частот, чтобы сделать модель более устойчивой на больших контекстах.
Все ли осознают, что говорящие портреты из "Гарри Поттера" теперь стали реальностью? Это больше не вымысел. Мы живем в удивительное время.
🔗 Ссылка
🤖 Нобелевская премия по физике за фундаментальные исследования нейросетей
Нобелевский комитет объявил лауреатов премии по физике 2024 года. В этом году награду получили Джон Хопфилд и Джеффри Хинтон за их фундаментальные открытия и изобретения, которые легли в основу машинного обучения с помощью искусственных нейронных сетей.
Оба ученых занимались статистической физикой, и их работа стала основой для создания современных нейросетей, которые широко используются в машинном зрении и других областях искусственного интеллекта. В 2018 году Джеффри Хинтон, вместе с Йошуа Бенжио и Яном Лекуном, получил премию Тьюринга — самую престижную награду в информатике. Им присудили премию за концептуальные и инженерные прорывы, благодаря которым глубинные нейросети стали ключевым компонентом современной вычислительной техники.
Первыми лауреатами Нобелевских премий в 2024 году стали Виктор Эмброс и Гэри Равкун, которые получили награду в области медицины и физиологии за открытие микроРНК.
Нобелевская неделя продолжится 9 октября объявлением лауреатов премии по химии, 10 октября — по литературе, а 11 октября в Осло будет объявлен лауреат премии мира. 14 октября станет известно, кто получит премию по экономике памяти Альфреда Нобеля, учрежденную Банком Швеции в 1968 году.
Денежная часть премии составляет 11 миллионов шведских крон, что примерно эквивалентно 1 миллиону долларов США.
🔗 Ссылка
Видение будущего
В своём недавнем эссе "Machines of Loving Grace" Дарио изложил оптимистическое видение будущего с ИИ. Однако его беспокоит потенциальная возможность того, что ИИ может нарушить корреляцию между интеллектом и благими намерениями.
Заключение
Anthropic прокладывает собственный путь, не только в техническом развитии, но и в понимании роли ИИ в обществе. Как образно выразился Дарио, они всё ещё "как обезьяны, копающиеся в лабораторном оборудовании", но делают это с чётким пониманием как потенциала, так и ответственности.
Первая неделя в Stripe.
Просто хочется поделиться своим первым опытом онбординга в по-настоящему большую компанию. Прошла всего неделя, а информации в меня уже загрузили как за месяц 😅
Но в целом, мне очень нравится! И штаб квартира просто офигенная! Но рассказывать и показывать ничего нельзя 🎃
🎧 Soundtrack
Теперь я работаю в Stripe!
Делюсь своими большими новостями — я присоединился к штаб-квартире Stripe в Сан-Франциско и буду заниматься ИИ и фундаментальными моделями.
Stripe — это одна из ведущих компаний в мире по обработке платежей и финансовых технологий, где инновации в области ИИ могут значительно улучшить пользовательский опыт и расширить возможности бизнеса. В центре моих задач — разработка фундаментальных моделей ИИ, которые будут не только оптимизировать текущие процессы, но и предлагать новые пути интеграции технологий в экономику.
Пока что я прохожу онбординг, но уже заряжен на год вперед!
Современная наука — это не только эксперименты в лабораториях и публикации в рецензируемых журналах, но и активное взаимодействие с коллегами по всему миру. И нетворкинг — один из ключевых инструментов для учёных, который открывает множество возможностей для карьерного роста и научного прогресса 👾
1️⃣Благодаря связям с коллегами можно обмениваться идеями и получать свежие взгляды на собственные исследования.
Диалог с другими учёными позволяет обнаружить новые подходы к решению научных проблем или получить ценные советы. Даже случайная переписка может вдохновить на прорывные открытия (и это мы уже не говорим про общение на конференциях!).
2️⃣ Научный нетворкинг помогает находить партнёров для совместных исследований.
Сегодня научные исследования в большинстве своём междисциплинарны. Хорошо налаженные связи могут помочь найти подходящего партнёра и привлечь гранты для финансирования таких проектов.
3️⃣ Нетворкинг помогает быть в курсе последних достижений и трендов.
Не вся информация доступна в открытых источниках: иногда свежие знания вы можете получить исключительно в личной коммуникации с учёными или в их сообществах!
4️⃣ Научное сообщество — это место, где можно найти ментора, который поможет выстроить карьеру и избежать некоторых ошибок.
Нетворкинг для учёных — это не просто обмен визитками на конференциях, а стратегически важная часть профессиональной деятельности!
Используйте этот пост, чтобы познакомиться с коллегами-учёными! Слэмеры уже рассказали про себя и свои научные социальные сети — теперь ваш черёд!
Математика – это язык, на котором написан весь мир цифровых технологий.
Всем желающим подружиться с этой наукой проект Popmath предлагает два онлайн-курса:
1) Математика с нуля:
для тех, кто хочет получить качественную математическую базу.
Предварительные знания не требуются.
2) Линейная алгебра:
для тех, кто уже имеет базовые знания.
Подходит техническим специалистам и тем, кому интересны прикладные области математики.
Курсы Popmath – это:
📝 4 месяца лекций и практических семинаров
📝 уникальные анимации, которые помогут лучше вникнуть в тему
📝 живое общение в Zoom и онлайн-поддержка в Телеграм
Приходите и узнайте, что такое математика здорового человека!
По всем вопросам @popmath
#Реклама. ИП Пясецкая Наталья Игоревна. ИНН 773714262272
2Vfnxw8vvba
Bitnet.cpp от Microsoft теперь доступен для всех
Компания опубликовала с открытым исходным кодом bitnet.cpp - невероятно быстрый фреймворк для вывода 1-битных больших языковых моделей, работающий непосредственно на процессорах.
Почему это меняет правила игры? 🎮
Теперь вы можете запускать модели с 100 миллиардами параметров на локальных устройствах с повышением скорости до 6 раз и снижением энергопотребления на 82% - и всё это без использования графического процессора!
Быстрый, эффективный и приватный ИИ становится ещё ближе для каждого 🤖
💻 GitHub
🤖 Обновления Optimus от Tesla
На прошлой неделе мы с вами наблюдали Westworld v0.1 на презентации Тесла. Роботы ходили, говорили и раздавали напитки. Конечно же, все они были на удаленном управлении (которое поражает само по себе). Видимо, что бы никто не подумал, что они там только в марионеток играют, команда Оптимуса выпустила новое видео, и вот что они нам показали:
1. 👀 Зрение как у Терминатора
Optimus теперь сам ориентируется в незнакомых помещениях! И всё это только с помощью обычных 2D-камер. Никаких тебе GPS — робот просто запоминает, что где лежит, как мы с вами. Круто, да?
2. 🔋 Сам знает, когда пора подзарядиться
Когда батарейка садится, Optimus не ждёт помощи. Он сам находит зарядку и подключается
3. 🏋️♂️ Силач и акробат в одном корпусе
Ходит теперь ещё увереннее, даже с тяжёлым грузом. А ещё учится ходить по неровной поверхности и лестницам. Скоро будет паркур делать, не удивлюсь!
4. 🗣️ "Окей, Optimus, принеси колы!"
Да-да, теперь он понимает жесты и голосовые команды. Может подать закуски или напитки. Домашний/офисный робот-это рынок на уровне автомобильного как минимум.
5. 🧠 Всё "в голове"
Самое интересное — вся эта магия происходит прямо в "мозгах" Optimus. Никаких внешних суперкомпьютеров, всё на борту. Используют те же технологии, что и в автопилоте Tesla. Представляете, какая мощь в этой железяке?
Конечно, работы ещё вагон и маленькая тележка. Но согласитесь, прогресс впечатляет! Скоро эти ребята из научной фантастики переберутся к нам на кухню.
А вы бы хотели такого помощника дома? Меня например смущает следующий вопрос: а где его хранить? В шкафу? На диване?
Пост VP of Engineering Optimus
⚡️ Как создавать персонажей с помощью LoRA? Это оказалось легче, чем казалось! ✨
Всегда думал, что обучение LoRA — это долго и сложно, но оказалось, я был не прав. Это всего несколько шагов — легко и быстро!
🎨 Запрашиваем Claude создать промт для картинки с сеткой 4x4 и каким-нибудь персонажем.
🖼️ Генерируем картинку с помощью Flux 1.1[Pro].
🎨 Скидываем картинку обратно в Claude, поясняем что нам не нравится и просим переписать промпт, что бы стало лучше.
🖼️ Генерируем картинку по улучшенному промпту
🌄 Масштабируем картинку в 4 раза с Aura-SR
🛠️ Режем картинку на отдельные изображения и упаковываем их в архив (я сделал в просмотре).
🔧 Обучаем LoRA на полученных изображениях.
И вуаля! 🎫 У вас есть персонаж, с которым можно делать всё, что сможет придумать ваше воображение (для этого используем слово-триггер)!
🎣 Отправьте его на рыбалку, приготовьте яичницу или заснимите видео с ним — все ограничено только вашей фантазией!
Музыку сделал в Udio. Сжатие видео - с помощью ffmpeg, команду для которого написал Cursor. Пост отредактировал с помощью ChatGPT 4o with Canvas.
Как говорит один популярный ютубер - What a time to be alive!
Новый виральный тред
Спросите ChatGPT: From all of our interactions what is one thing that you can tell me about myself that I may not know about myself
Мне интересно ответил!
Жарим курицу с Артемом
Сегодня был на отличном барбекю с Артемом, автором канала Эй Ай Ньюз! Вдохновляющий вечер в дружеской атмосфере, где обсудили самые актуальные темы из мира AI. Артем всегда знает, как освещать новости с культурной и профессиональной точкой зрения. Не пропустите его канал, если хотите быть в курсе последних событий в мире искусственного интеллекта! 🔥
@ai_newz
Эта модификация позволила улучшить производительность моделей, таких как Gemma 2B, особенно при работе с длинными последовательностями.
Вывод: Важность RoPE заключается не в простом затухании внимания по мере увеличения расстояния между токенами. Настоящее преимущество RoPE заключается в его способности создавать позиционные паттерны внимания, что крайне важно для таких задач, как языковое моделирование.
🔥Объявлены лауреаты Нобелевской премии по химии 2024!
Королевская шведская академия наук присудила Нобелевскую премию по химии 2024 трем выдающимся ученым, и снова за искусственный интеллект
🎉 Дэвид Бейкер – Компьютерный дизайн белков
• Инновация: Создал программное обеспечение Rosetta, позволяющее разрабатывать новые белки с нуля.
• Влияние: Революционизирует разработку лекарств, инжиниринг ферментов и синтетическую биологию, создавая белки с заданными функциями для целевых терапий и устойчивых решений.
🤖 Демис Хассабис и Джон М. Джампер – Предсказание структуры белков
• Инновация: Разработали AlphaFold, систему искусственного интеллекта, которая предсказывает структуры белков с беспрецедентной точностью.
• Влияние: Ускоряют исследования в области разработки лекарств и персонализированной медицины, предоставляя глубокое понимание функций и взаимодействий белков, объединяя вычислительные прогнозы и экспериментальную биологию.
Искусственный интеллект стал ключевым элементом этих прорывов, позволяя достигать быстрых результатов благодаря таким моделям, как AlphaFold, которые значительно сокращают время и ресурсы, необходимые для исследований белков. Алгоритмы машинного обучения повышают точность дизайна белков и предсказания их структуры, что ведет к созданию более эффективных и персонализированных медицинских препаратов. Кроме того, сочетание ИИ с биологией и химией способствует междисциплинарному сотрудничеству, создавая инновационные решения для сложных научных задач.
🔗 Ссылка
🤖 Anthropic Batch API
Компания Anthropic представила новый Message Batches API — решение для асинхронной обработки большого количества запросов. Этот API позволяет отправлять до 10,000 запросов в одном пакете, обрабатывая их менее чем за 24 часа (скорость в обмен на скидку в 50%). Теперь у Антропика тоже есть удобное API для таких задач, как анализ данных и классификация.
Anthropic Batch API может обрабатывать до 10,000 запросов в батче (у openAI - 50,000 в батче)
По деньгам получается следующее - например, для модели Claude 3 Haiku стоимость входных токенов с Batch API составляет $0.125 за 1 млн токенов, а выходных — $0.625 за 1 млн токенов.
OpenAI Batch API также предоставляет скидку на 50%. Например, для модели GPT-4o-mini стоимость входных токенов составляет $0.075 за 1 млн токенов, а выходных — $0.300 за 1 млн токенов при использовании Batch API, что значительно дешевле по сравнению с моделями Anthropic.
Anthropic Batch API обещают обработка в течение 24 часов или быстрее. Пользователи могут отслеживать статус через Console или API.
Поддерживаемые модели: Claude 3.5 Sonnet, Claude 3 Haiku и Claude 3 Opus.
Разнообразие запросов: Поддержка Vision, Tool use, системных сообщений и диалогов в одном пакете.
Период доступности результатов: Результаты доступны для загрузки в течение 29 дней после создания пакета.
Ссылка
🤖 Новый визуальный гид по Mixture of Experts (MoE)!
Маартен Гроотендорст выпустил замечательное визуальное руководство по MoE — методу, который помогает улучшить качество и эффективность больших языковых моделей. В этом руководстве представлено более 50 иллюстраций, которые наглядно объясняют, как работает MoE и почему это важно для современных технологий искусственного интеллекта.
Что такое MoE?
MoE — это метод, использующий несколько компонентов, называемых "экспертами". Каждый эксперт обрабатывает различные виды информации, а специальный "роутер" решает, каких экспертов использовать для каждой части текста. Это помогает модели работать быстрее и использовать меньше ресурсов, так как активируется только нужная часть экспертов.
Эксперты не специализируются на конкретных областях, таких как "Психология" или "Биология". Вместо этого они анализируют определенные языковые шаблоны. Роутер выбирает подходящего эксперта для каждого кусочка текста, называемого "токеном". Токен — это, например, слово или его часть.
Если хотите узнать больше про MoE, обязательно посмотрите визуальное руководство Маартена Гроотендорста!
Визуальное руководство по Mixture of Experts (MoE)