эйай ньюз

10 October 2024 18:25

Pixtral-12B: тех-репорт

Месяц назад выкатили модель (пост был тут). А сейчас вышел тех-репорт про Pixtral-12B с кучей деталей про мультимодальную архитектуру и эвал, но без описания тренировки. Полезное чтиво!

По бенчам бьют Llama-3.2 11B & Qwen-2-VL 7B.

Статья
Webpage
Inference code
Evaluation code

@ai_newz

эйай ньюз

06 October 2024 13:39

А у меня активная неделя продолжается. Вчера отдохнул денёк, теперь едем дальше.

Я лечу в главный офис Meta в Menlo Park, California. Мы с командой будем отмечать успешный релиз Movie Gen и обсуждать дальнейшие планы. Как всегда я забил встречи с важными людьми. Пока есть шанс встретиться лично, нужно пользоваться – это гораздо более эффективно чем говорить по видео.

Тренировать новые модели и фигачить код важно и полезно, но не менее важно для карьеры быть на виду и регулярно напоминать топам о себе.

Ну, а кроме всего этого я ещё недельку понаслаждаюсь теплом и солнцем в Калифорнии, а то в Швейцарии уже во всю бушует осень.

Ещё возможно соберём митап в Бэй Эриа в конце недели (пост с апрельской тусовки). Так что если вы тут, вступайте в чатик, но не забудьте представиться как зайдёте.

Ссылка на чат ai_newz x Bay Area: тык.

#personal #карьера
@ai_newz

эйай ньюз

04 October 2024 18:29

​Взгляд на собесы с другой стороны

Я много писал про грейды в бигтехе, компенсации и собеседования. Но есть еще одна важная тема, о которой часто забывают. Мы часто рассматриваем собеседования только с позиции кандидата. Как пройти бихейв, не завалить leet code, что спросит эйчар? Перед важным звонком полезно взглянуть на собеседование и с другой стороны — со стороны нанимателя. Что он хочет от вас как от кандидата?

Об этом как раз пишет Ринат в этом посте про отбор идеального кандидата. Вот его главные три вопроса во время общения с кандидатом:

1. Может ли кандидат делать результат?
2. Хочет ли кандидат делать этот результат?
3. Впишется ли он в команду?

Конечно, ответ на эти вопросы складывается из всех прочих ваших ответов, но суть в том, что именно через эти вопросы наниматель оценивает вашу способность соответствовать его требованиям.

Кстати, Ринат ex-директора продаж Red Bull Ru, а сейчас — ко-фаундер Educate Online, где они в 23-м подняла $12 млн в Series A раунде.

Рекомендую почитать его канал, если вас интересуют стартапы, найм и карьера: @telega_Rinata.

#промо

эйай ньюз

02 October 2024 22:20

OpenAI привлекла 6,6 млрд долларов при оценке в 157 млрд долларов

Последние несколько недель факт привлечения инвестиций был секретом Полишинеля — все знали, кто, примерно сколько и по какой оценке инвестирует. И вот сразу после DevDay 2024 OpenAI закрыла этот раунд финансирования.

Оценка в 157 миллиардов долларов, похоже, делает их дороже всех независимых конкурентов вместе взятых — Anthropic собирается поднимать следующий раунд по оценке в 40 млрд, XAI недавно привлекла 6 миллиардов при оценке в 24, а Mistral за эти 6,6 млрд можно вообще купить с потрохами. Компаний поменьше на почти 90 миллиардов вряд ли наберётся.

Деньги привлекаются конвертируемыми облигациями — долгом, который при желании кредитора конвертируется в акции компании. Но они идут с условиями — в течение двух лет компания должна реструктурироваться и стать коммерческой, иначе вступают в силу штрафные санкции. Но и у OpenAI есть свои условия — инвесторы в OpenAI не должны инвестировать в конкурентов.

Диктуют они их не просто так — компания растёт бешеными темпами и, похоже, утроит свою прогнозируемую выручку с 3,6 миллиардов до 11,6 миллиардов в год к концу 2025 года. Часть плана по росту выручки — повышение цен на ChatGPT, основной драйвер роста компании. В этом году цена вырастет до 22 долларов, а до конца 2029 года она более чем удвоится — до 44 долларов. А про цены на GPT-5 и думать страшно.

@ai_newz

эйай ньюз

30 September 2024 00:41

🥳 Губернатор Калифорнии наложил вето на SB-1047

В последний момент Гэвин Ньюсом всё-таки решил воспользоваться своим правом вето. Я писал про этот законопроект и разбирал что с ним не так несколько раз.

Изначально там был полнейший бред, который мог убить калифорнийский опенсорс на корню. Его частично поправили, но даже в последних редакциях в законопроекте была куча расплывчатых определений, плюс он делал разработчиков изначальной модели ответственными за действия большинства файнтюнов.

Губернатор обещает внести свой собственный законопроект уже в следующем году. Надеюсь он будет более адекватным, по крайней мере эта часть текста вето даёт надежду:

Хотя законопроект SB 1047 создан с благими намерениями, он не учитывает, используется ли система ИИ в высокорискованных средах, связана ли она с принятием критически важных решений или обработкой конфиденциальных данных. Вместо этого законопроект предъявляет строгие требования даже к самым базовым функциям — если это делает крупная система. Я не считаю, что это наилучший подход к защите общественности от реальных угроз, создаваемых этой технологией.

эйай ньюз

25 September 2024 23:38

OpenAI может перестать быть нонпрофитом

Судя по источникам Reuters, в компании планируют большую реструктуризацию - дочернюю коммерческую компанию, которая и так занимается большинством дел, собираются вывести из-под контроля некоммерческой организации. Некоммерческая всё ещё будет владеть минимальной частью акций, но не большинством. Сэм Альтман получит акции в коммерческой компании (впервые, до этого он отказывался из брать).

Изменение, скорее всего, привязано к следующему раунду финансирования - 6 миллиардов долларов по оценке в 150 миллиардов. После прошлых раундов Microsoft и так владеет 49% дочерней компании, единственный способ привлечь инвестиции, не продавая акции нонпрофита – это размыть долю Microsoft, на что вряд ли кто-то пойдёт.

После ухода Ильи Суцкевера из OpenAI в интернете полгода спрашивали - "what did Ilya see?". Ответ мы получили лишь недавно - ранние результаты того что в итоге стало o1. Ответ на вопрос "what did Mira see?" пришёл почти моментально.

@ai_newz

эйай ньюз

20 September 2024 23:15

Motion brush и Kling 1.5

Я что-то слышал краем уха про то, что у Kling вышла версия 1.5, и вроде бы она даже немного получше, и про то, что у них появился motion brush. Но я не предал этому особого значения, т.к. такая же штука была у Runway, а качество, ну, не то чтобы прямо сильно выросло. Но.

Гляньте на эти тесты от твиттерских. Работает неожиданно хорошо, и что самое классное — есть возможность указать траекторию движения. Да и сегментация объектов по клику мыши работает неплохо. Поэтому решил, что всё-таки это стоит поста.

По обновлению:

- Разрешение 1080p для pro юзеров
- Увеличение динамики движения в кадре
- Motion Brush с траекторией движения для 6! элементов сразу
- Увеличили скорости генераций, сделали возможность генерить несколько видео параллельно - тут спорно, у меня 2 видоса генерились более 50 минут. Хз, где та скорость.
- Увеличили макс. длину клипа для img2video до 10 секунд и добавили end frame в стандартной подписке (тоже платная)

Пока на бесплатной версии дает генерить с Motion brush только в Kling 1.0.

Ну что, теперь Kling — король арены видеогенерации?

Подробнее и сравнения

@ai_newz

эйай ньюз

16 September 2024 19:50

Если вам когда-либо было интересно, как получить мегакластер GPU, то вот вам подробный гайд от Ларри Эллисона, фаундера того самого Оракла. Челу 80, кстати, похоже, он всё-таки нашёл эликсир вечной молодости.

Ну так вот, записываем:
1) Приходим на ужин к Дженсену Хуангу.
2) Вместе с Маском умоляем Кожанку взять ваши миллиарды.
3) Поздравляю, если вам повезёт, то партию свеженьких GPU не задержат.

Теперь повторяем😂

Кроме шуток, Oracle – одна из немногих компаний, которая смогла заполучить контракт на более чем 100.000 видеокарт NVIDIA Blackwell (это GB200, например). Они уже строят огромный кластер, который заработает в первой половине 2025. А сбоку еще планируют пристроить 3 маленьких атомных реактора на ~1000 MW, чтобы все это дело запитывать электроэнергией.

Короче, если GPU - это новая нефть, то AI – это новый автомобиль.

@ai_newz

эйай ньюз

12 September 2024 12:39

В гонке быстрого инференса новый участник

SambaNova запустили Llama 3.1: 405B на подтверждённой скорости в 132 токена в секунду, 70B - на скорости 461 токен в секунду и 8B - на скорости 1066 токенов в секунду. Это всё в bf16, без квантизации. На лидерборде Artificial Analysis у SambaNova точность 405B выше всех других провайдеров, но с моделями поменьше не всё так радужно.

Я потестил их инференс, скорость и правда очень высокая - у меня 405B выдавала от 110 до 124 токенов в секунду, что очень близко к заявленным числам. 8B доходила до 1100 токенов в секунду, а вот 70B, хоть и выдавала до 466 в секунду на пике (в твиттере стартап вообще заявлял скорость до 570 в секунду), но у части запросов скорость была аж в два раза меньше.

Цена 405B - $5/mt на вход и $10/mt на выход. Есть на рынке провайдеры и подешевле, но они все запускают модель с уменьшенной точностью.

API уже доступно разработчикам для теста. Бесплатно, но с очень низкими лимитами. Возможность платить за API добавят позже.

Попробовать можно тут

Предыдущий пост из серии про быстрый инференс: тык.

@ai_newz

эйай ньюз

11 September 2024 09:28

Pixtral - 12B мультимодальная модель от Mistral

Моделька понимает картинки, пока есть только веса, никаких результатов бенчей или тестов нет. Скорее всего, она основана на NeMo - параметры конфига совпадают.

Конфиг:

{
  "dim": 5120,
  "n_layers": 40,
  "head_dim": 128,
  "hidden_dim": 14336,
  "n_heads": 32,
  "n_kv_heads": 8,
  "rope_theta": 1000000000.0,
  "norm_eps": 1e-05,
  "vocab_size": 131072,
  "vision_encoder": {
    "hidden_size": 1024,
    "num_channels": 3,
    "image_size": 1024,
    "patch_size": 16,
    "rope_theta": 10000.0,
    "intermediate_size": 4096,
    "num_hidden_layers": 24,
    "num_attention_heads": 16,
    "image_token_id": 10
  }
}

эйай ньюз

08 September 2024 12:22

Что будет, если дать 1000 ботам сознание и запустить их в Minecraft?

Они построят цивилизацию...

Только недавно писал про агента, который научился крафтить каменную кирку и кучу всего другого. И вот теперь пожалуйста, они, как муравьи, собрались и построили свой лучший мир без кожаных ублюдков.

Эксперимент был проведён небольшой группой Project Sid. Они не просто научили агентов выполнять команды, но и действовать по своей воле.

Авторы прикрутили агентам понятия о социальном мире. Они способны понимать своё место в этом мире и роль окружающих. Например, они знают, что агент Б — полицейский, его нужно слушаться, а вот агента В, Васяна из соседнего дома можно послать нахрен. Эти роли могут динамически обновляться в зависимости от ситуации.

Более того, они научили квадратных мечтать (см. видос). Там один из агентов-фермеров, услышав о странствиях одного путешественника (разработчики поощряют смолтоки ни о чём), захотел отправиться в путешествие, но потом оставил эту идею "на потом", узнав, что без него деревня голодает. Но самого интересного – технических подробностей нет и, кажется, не предвидится. Жаль, т.к. очень любопытно, что за LLM они гоняли и сколько им это стоило.

Еще у ботов был Google-документ с конституцией, и они голосовали за правки, лол. Говорят, боты универсальные, умеют пользоваться Google-доками и их можно адаптировать под другие игры.

Короче, ребята подготовили достойную высокоморальную замену человечеству (мы то без системы сдержек и противовесов ни о чем договориться не можем). В ролик вставили небольшую полит агитацию Камалы против Трампа, но просто игнорьте это.

И вишенка на торте! С агентами уже может поиграть каждый! Для этого создаём мир в Майнкрафте, открываем для подключения, копируем код порта и вставляем на сайте. Там же можно создать своего кастомного подручного. С ботом можно поболтать или дать ему какие-нибудь задания. За отдельный кэш можно запустить свою симуляцию, но это в личном порядке.

Тред 
Дискорд 
Реддит 
Блог-пост 
Сайт с плейтестом 

@ai_newz

эйай ньюз

06 September 2024 18:51

DeepSeek V2.5

Обновлённая модель, результат мержа DeepSeek V2 и DeekSeek Coder V2, сочетающая позитивные стороны обеих моделей и заменяющая обе. В большинстве бенчей лучше чем оба своих предшественника, но в паре есть деградация. Советуют подкрутить температуру и промпт, если есть какие-то странности.

Всё по той же крайне низкой цене - 14 центов за миллион токенов на вход и 28 центов на выход. А ещё есть Context Caching, который в 10 раз срезает стоимость инпута и бесплатно хранится сутки.

Если не хочется использовать API, то веса модели уже доступны. Из-за нестандартной архитектуры, с инференсом были проблемы, но последняя версия SGLang их исправила - перформанс вырос в 7 раз.

Huggingface

@ai_newz

эйай ньюз

04 September 2024 10:02

Разбираешься в AI? Покажи, на что способен – прими участие в международном соревновании AI Journey Contest. Призовой фонд – более 8 миллионов рублей!

Задачи, как всегда, масштабные и амбициозные. Участникам предстоит работать с SOTA-технологиями, выбрав одну или несколько из предложенных задач:

✔ Emotional FusionBrain 4.0 — создать мультимодальную модель, которая умеет круто понимать видео, отвечает на сложные вопросы и «чувствует» человеческие эмоции.

✔ Multiagent AI — разработать мультиагентную RL-систему, где агенты будут объединяться в различные схемы кооперации при решении задач. Эта задача суперполезна для научных исследований.

#промо

эйай ньюз

03 September 2024 11:55

👮Калифорнийский законопроект о регуляции ИИ прошёл ассамблею

TLDR: SB 1047 фактически запрещает публикацию передовых моделей в опенсорс. Несмотря на сильную оппозицию (см скрин) со стороны индустрии и не только, закон удалось провести сквозь ассамблею. На него ещё может наложить вето губернатор.

Последний раз я писал о законе ещё в июле, с тех пор туда внесли ряд правок. Вот основные изменения в законопроекте с прошлого поста:

➖ Подпадают под закон модели, которые стоили бы более $100 млн по "средним ценам облачного компьюта". Файнтюны же таких моделей, на которые потрачено более $10 млн, считаются новыми моделями. До 1 января ограничение также даётся в флопсах - 1e26 и 3e25.

➖ Обновлять определение подпадающих под закон моделей теперь будет "Board of Frontier Models" (совет по делам фронтирных моделей). Пять из девяти мест в борде будут занимать: представитель опенсорс сообщества, представитель индустрии, эксперт по кибербезопасности, эксперт по оружию массового поражения и эксперт в ИИ. Их назначает губернатор, подтверждает назначение сенат. Ещё два места, которые назначает спикер ассамблеи – это академики, специализирующиеся в AI. Оставшиеся два места назначает комитет по правилам сената, требований к компетентности членов тут нет.

Главная проблема закона, напоминаю – это ответственность разработчиков модели за "критический вред", который нанесла не только сама модель, но и её файнтюны "дешевле $10 млн". По факту это запрещает публикацию в опенсорс моделей, подпадающих под закон. Даже если сама модель безобидная, доказать, что все возможные файнтюны в пределах ограничений по компьюту, будут тоже безобидными - невозможно.

Вторая большая проблема - определение денежной стоимости тренировки модели "средней ценой по рынку". Разброс в стоимости H100 в час на рынке сейчас более 4x (AWS - $12.25/hr, Lambda - $3/hr), так что со средним значением под закон будут подпадать модели в разы дешевле чем лимит на бумаге.

Сейчас закон отправился на рассмотрение к губернатору, у которого месяц на то, чтобы либо подписать закон либо наложить на него вето. Если он его подпишет - регуляции вступят в силу уже в 2026 году.

Кажется, если закон примут, то это может прибить AI стартапы в Силиконовой Долине – они будут делать ноги в другие штаты, где и налоги пониже и регуляции помягче. При условии, конечно, что не примут похожую регуляцию на федеральном уровне.

@ai_newz

эйай ньюз

02 September 2024 20:35

Маск продолжает удивлять - XAI уже запустили Colossus, крупнейший в мире кластер для тренировки. Более того, в течении пары месяцев его мощности удвоят - добавят по 50k H100 и H200.

@ai_newz

эйай ньюз

08 October 2024 13:11

Нобелевка за нейронки

Нобелевскую премию по физике выиграли Джеффри Хинтон и Джон Хопфилд. Премию присудили за "Фундаментальные открытия и изобретения, которые способствуют машинному обучению с искусственными нейронными сетями". При чём здесь физика - сложно понять. Похоже, комитет просто пытался хоть куда-то приткнуть нейронки, а физика тут ближе всего. Хотя, по-моему, тут больше бы подошла даже медицина - там хотя бы AlphaFold совершил прорыв в чём-то, а с открытиями в области физики из-за нейронок как-то негусто.

Возможно, причина в том, что Хопфилд всё-таки по образованию физик. Хотя его основной вклад в науку - изобретение сетей Хопфилда, рекуррентных сетей, которые во многом положили начало возрождению нейронных сетей в 80-х и 90-х.

Хинтон изобрёл метод обратного распространения ошибки для тренировки нейронок, который позволил тренировать многослойные сети. А студенты Хинтона - Илья Суцкевер и Алекс Крижевский, создали AlexNet. Именно она начала всю эту гонку нейронок, показав, что их можно масштабировать через тренировку на GPU.

В общем, хайп по нейронкам теперь проник и в Нобелевский комитет.

@ai_newz

эйай ньюз

06 October 2024 12:09

На этой неделе происходило так много всего, что я не успевал обо всем постить. Навёрстываем.

В четверг я уехал с ECCV, на день раньше официального окончания. Я спешил на другой ивент.

Как только вернулся из Милана назад в Цюрих, сразу нужно было идти выступать на другую крупную конференцию – AI+X саммит. Это конфа, которую организует ETH AI Center, и где представлены ведущие Цюрихское научные AI лабы, стартапы и компании.

Было много про Computer Vision и Robotics (чем Цюрих особенно славится), а также AI в медицине и финансах.

Я выступал с докладом "Imagine Flash": Meta's real-time text-to-image synthesis diffusion model" (пост про модель).

А затем меня пригласили на панельную дискуссию в треке Human-Centric Computing in the Age of AI Track. На панели также был Federico Tombari, Senior Staff Research Scientist из Цюрихского Гугла, и местные профессора.

Забавно что на панельной дискуссии со мной также сидел мой научный дед – Prof. Joachim Buhmann из ETH. В немецкоязычном научном мире есть такое понятие как Doktorvater (рус. Научный Отец) - это научник, у которого вы написали PhD. Так вот мой научник Björn Ommer писал диссер у Joachim Buhmann, поэтому Joachim получается моим научным дедом. Когда это выяснилось во время дискуссии, мы здорово посмеялись, что на конфе собралось наших 3 научных поколения, тем более Бьёрн в это время выступал в соседнем зале)

Но на этом насыщенная неделя не закончилась. Продолжение в следующем посте.

#personal #конфа
@ai_newz

эйай ньюз

03 October 2024 18:07

Вот тут на Freepik можно в течение 24 часа генерить на Flux 1.1 [pro] бесплатно.

И, кажется, там пока нет никакой цензуры. На что только не идут ради хайпа (или просто забыли врубить фильтр?).

Бесплатно дают 5 генераций.

@ai_newz

эйай ньюз

02 October 2024 14:35

Заснял как китайцы (unitree) показывают новую зверюгу на ECCV. Может и бегать, и ездить – удобно!

На нём человек может даже проехать верхом, робот выдерживает до 100 кг.

А внутри у него – видюха Nvidia Jetson Xavier NX, разработанная специально чтобы устанавливаться на роботов и всякие автономные давайсы.

Робопсом Спотом от Boston Dynamics уже никого не удивить, мы видим, что выходят все более и более навороченные зверюги.

#конфа
@ai_newz

эйай ньюз

29 September 2024 19:02

Всем привет! 
Недавно я анонсировал, что решил впервые провести менторинг-программу для всех желающих попасть на разные AI должности в топовые места, такие как FAANG, ну и не-FAANG:) Цель – поделиться своими знаниями и опытом, в том числе как человек который регулярно собеседует людей в Мету, и помочь мотивированным ребятам стать сильными кандидатами на такие роли как Data Scientist, ML Engineer, Research Engineer или Research Scientist.

Эта программа идеально вам подойдет, если:
1️⃣ Вы уже в IT и, например, software-инженер (или схожее), но хотите перейти в AI и понять как стать сильным кандидатом и успешно проходить собеседования.
2️⃣ Вы уже работаете на AI-related роли, но либо хотите попасть в топовые места следующего уровня как например FAANG+, либо хотите перейти на должность Research Scientist. 
3️⃣ Вы студент в STEM и хотите попасть на стажировку в AI и понять как выстроить сильное резюме, портфолио, получить приглашения на интервью и успешно проходить их. 

Эта программа не будет вам подходить, если: 
1️⃣ Вы только начинаете свой путь/ свою карьеру в AI и только учитесь программировать и нет никакой ML-базы. 
2️⃣ Вы ищете курс по теоретической базе в AI/ML.
3️⃣ Вы Staff+ AI специалист и хотите понять как запромоутиться на Senior Staff и выше. 

Две недели, с 14 по 27 октября, мы будем плотно общаться в закрытом комьюнити, я буду отвечать на вопросы, а также проведу 4 live-стрима, где буду делиться опытом и лучшими практиками. На 2х из 4x стримов я проведу мок-интервью на разные темы (Coding и AI/ML Design) с разбором.

Группа уже формируется очень крутая (из тех, кто уже присоединился). Так что если вы хотите стать сильным кандидатом и успешно пройти на высокооплачиваемые AI роли в топ компании, например в FAANG, можно зарегаться на интенсив через бота @ai_newz_intensive_bot. Вступить в группу по Early-Bird цене можно до вторника. 

Ну, а если вы студент, очень мотивированы, но интенсив вам не по карману - у вас есть возможность участвовать в charity программе и попасть на одно из трех бесплатных мест. Условия участия в конкурсе вы узнаете также в боте. Дедлайн участия 4.10. 

По вопросам, в боте есть FAQ секция. А в крайнем случае всегда можете через него же написать свой вопрос. 

Всем большой привет из Милана!

@ai_newz_intensive_bot

эйай ньюз

20 September 2024 23:49

Протестил Kling Motion Brush

50 минут ожидания и о-па! Марик превращается в другого парня. Лица, конечно, знатно корёжатся. Но траектория с большего правильная получилась, кроме ног парня слева.

Ради справедливости, я пробовал оживить это фото в Luma, и он вообще отказался что-либо делать, просто слегка зазумил фотку.

Так что тут победа за Kling!

@ai_newz

эйай ньюз

20 September 2024 15:41

Стрим про AI карьеру и собеседования через 2 часа, 17:30-18:30 CET (18:30-19:30 мск).
С самыми упорными, возможно, задержимся еще на полчаса, вопросов интересных поступило немало.

Ссылка на стрим: Streamyard

В начале разогрева ради – хиханьки, если не опоздаете, узнаете, кто ел в одной столовке с Яном ЛеКуном, кто сегодня спал днём, а кто работал всю ночь.

@ai_newz

эйай ньюз

15 September 2024 21:44

Нейродайджест за неделю (#35)

LLM, гонки и клубника
- Гонка инференса Грок обогнал Cerebras, выдав >500 токенов/сек на Llama 70B.
- SambaNova. Еще один лидер, о котором раньше никто не слышал. Теперь у ребят самая быстрая лама 405B.
- Pixtral - 12B. Мультимодалка от Mistral теперь понимает картинки.
- OpenAI o1 или та самая Strawberry. Скейлить инференс комьют через CoT — похоже, всё, что нам осталось. Прайсинг, конечно, жестокий.

Генерация видео
- Runway зарелизила модель для генерации video2video. Смотрим примеры, и почему оно работает лучше чем text2video.

Гайды
- Визуализация LLM. Все мы визуаллернеры, так что представлять в голове какую-то конкретную картинку очень полезно.
- WebGPU puzzles. Оригинальный GPU Puzzles, но прямо в браузере. Кайфы, всё быстро и просто, идем ботать!

Всякое
- Разоблачаем AI-хапожоров или почему нужно читать проверенные источники.
- Преза Apple. "Главное" нововведение — это то, что в названии после 1 теперь не 5, а 6.

Интерактивчик!
- Стрим про карьеру и учебу. Поговорили про поступление в ЕС, PhD программу в Meta и еще кучу ништяков, кто не успел — тот опоздал. Жмякайте unmute :)

> Читать дайджест #34

#дайджест
@ai_newz

эйай ньюз

11 September 2024 17:22

После предыдущего стрима про карьеру и учебу в AI мне в личку написало очень много людей со своими вопросами. Так как в личке всем развернуто ответить сложно, я решил провести еще один стрим на тему учебы в Европе и того, что нужно для роли AI Scientist / AI Engineer в FAANG.

📌 Стрим будет завтра (12 сентября) с 16:00 до 17:00 CET.

На этот раз я пригласил на стрим еще двух ребят (Настю и Никиту). Мы с ними обсудим учебу в Германии, Франции и Великобритании и наш опыт из первых рук.

Настя училась на бакалавриате и в магистратуре в Karlsruhe Institute of Technology (KIT) в Германии. Никита учился в магистратуре École Polytechnique во Франции, и на PhD в Лондоне на совместной программе между Meta и Oxford University. Ну, а про меня вы знаете.

Темы стрима:
- Поговорим про различные роли в AI: Research Scientist, Research Engineer, ML Engineer, Data Scientist. Чем они отличаются, и что для них нужно знать и уметь.
- Про PhD, магистратуру и бакалавриат в разных странах Европы и чем они отличаются.
- Про PhD программу внутри Meta в Лондоне и Париже, и как туда попасть студенту.
- Про собеседования и поиск работы в AI.

Как всегда, пишите в комментах свои вопросы, в конце стрима я отвечу на самые интересные.

Сохраняйте дату себе в календарь: инвайт.

Увидимся завтра!

@ai_newz

эйай ньюз

08 September 2024 18:20

Нейродайджест за неделю (#34)

GPU
- Colossus XAI. Мегачад Маск уже запустил свой крупнейший кластер GPU для тренировки.
- GPU кластер на 10 гигаватт. Да сразу два! Это в 50 раз больше Colossus'а от Маска.

Агенты/роботы
- DEEP Robotics. Зашуганные робопёсики кидаются в сторону от вида людей.
- Код для AI игр. Проект Starlightlabs закрыли и выложили все наработки в open source. Пользуем!
- Цивилизация машин в Майнкрафте. AI агенты построили свой новый дивный мир.

LLM
- DeepSeek V2.5. Детище DeepSeek V2 и DeepSeek Coder V2 даёт результаты.
- Коротко о flash attention. Ну а в чём я неправ?

Личные истории
- Красавчик на собеседовании. Люблю, когда приходят подготовленными.

Прочее
- Калифорнийские регуляторы наступают. Законопроект прошёл ассамблею. Конечно, есть правки в правильном направлении, но это всё ещё жесть.
- Золотой Суцкевер. МУЖЧИНА таки привлёк свой миллиард на бесприбыльный стартап.
- Хата айтишника из FAANG. У кого так же?
- Топ самых влиятельных людей в AI от Times. Саааамый авторитетный и саааамый неподкупный.

> Читать дайджест #33

#дайджест
@ai_newz

эйай ньюз

07 September 2024 12:10

Наш слоняра, Три Дао.

Ну, а что, чел реально в одну харю затащил Flash Attention, на базе которого работают (быстро) все современные LLM. И, кстати, его в непредвзятый список Times не включили.

@ai_newz

эйай ньюз

04 September 2024 17:20

SSI Ильи Суцкевера привлёк $1 млрд 🙀

С момента основания Ильей Safe Superintelligence Inc не прошло и трёх месяцев, у неё всего 10 сотрудников, а оценка у неё уже 5 миллиардов! И топовые инвесторы, вроде a16z и Sequoia, не ожидают скорой прибыли — ведь первым продуктом компании будет сверхинтеллект.

Топлю за Илью, он реально крут!

@ai_newz

эйай ньюз

03 September 2024 18:29

Минимум две компании собираются построить датацентр стоимостью более чем в $125 млрд

Комиссар по торговле Северной Дакоты заявил, что правительство штата проводит переговоры о постройке гигантских кластеров в штате - потребление каждого может доходить до 10 гигаватт. Это беспрецедентные масштабы - запущенный вчера Colossus, самый большой кластер в мире, потребляет менее 200 мегаватт, то есть разница более чем в 50 раз.

По словам комиссара, речь идёт о двух компаниях с капитализацией более триллиона. Компаний с такой капитализацией немного: Nvidia, Amazon, Google, Apple, Meta и Microsoft. Apple и Nvidia не столь активны в постройке датацентров, так что это, скорее всего, не они. А вот слухи о Stargate, гигантском датацентре Microsoft, ходят уже полгода.

Северную Дакоту, вероятно, рассматривают потому, что это один из немногих штатов с избытком электроэнергии. Обусловлено это огромными запасами нефти - штат добывает 1,3 миллиона баррелей в день - столько же, сколько добывает, например, Катар. А ведь побочный продукт сланцевой нефти - природный газ, который какое-то время настолько некуда было деть, что его просто сжигали, было видно из космоса.

Использоваться оба датацентра точно планируют для ИИ - другие юзкейсы представить сложно. Для контекста: Azure, второе по популярности облако в мире, в сумме потребляло 5 гигаватт на конец предыдущего года. Для того чтобы такие затраты были оправданы, выручка от ИИ должна вырасти ещё во много раз.

@ai_newz

эйай ньюз

02 September 2024 23:46

RunwayML тизерят новую модельку, анонс завтра в 17:00 CET

В тизере ничего особо интересного не показали, кроме шикарных картинок, но думаю, релиз будет любопытный.

Теперь ждем презентации свежих видеомоделей, как новенький айфон.😋

@ai_newz

эйай ньюз

01 September 2024 18:04

Нейродайджест за неделю (#33)

LLM
- Арена для русскоязычных LLM. Попробуйте предсказать результаты.
- Cerebras бьёт рекорд по токенам/сек. Огромная пропускная способность памяти чипа позволяет достичь сверхзвуковых скоростей.
- Claude в Alexa. Вот и «мозги» для колоночки подъехали, но поможет ли это спасти проект?
- Как LLM хранит факты. Самый понятный гайд по многослойному персептрону.

Роботы
- Комплект для самостоятельной сборки. Инструкция прилагается и стоит не так уж дорого.
- NEO Beta от 1x. Скайнет всё ближе, ботов уже не отличить от людей в костюме.

Другое
- Маск за регуляции или он уже нашёл лазейку?
- VGGHeads. Восстанавливаем 3D-шейпы голов в неограниченном количестве с новым датасетом в 1М картинок. Всё ради фильтров в инсту.
- MLPerf. Олимпиада чипов для нейросеток. Вот как понять, кто реально быстрее.
- Minimax video-01. Ещё один китайский игрок на рынке видеомоделей. Очень достойный перформанс.

> Читать дайджест #32

#дайджест 
@ai_newz