4047
By Alexey Moiseenkov about startups, AI, ML and consumer product building. Opinions are my own. Only about tech.
Рубирка "Прочитано, но не до конца понято" Alignment Edition (c)
1/ Я добрался до Lesswrong & Alignment forum и утонул, не зря откладывал достаточно долго. Поэтому по порядку, что зашло так сказать. Вся статья снова про "конец света", но мысль, что ML это, то что мы можем измерить и научиться измерять, а соотв ставить цели достаточно понятна.
2/ В продолжении меня понесло в целом разобраться и понравилось объяснение тут что же такое проблема alignment (специально не перевожу)
3/ Когда говорят про поиск в AI обычно все идет сюда
4/ В табах затесалась статья Баффета 2003 года про сертификаты торговые как решение дисбаланса торогового же у США (ничего вам не напоминает?)
5/ Конечно же следом я начала читать Скотта Александра (хайпует знатно) и рекомендую вот эту про то что доверять слепо исследованиям это ошибка
6/ Канонично про то, кого мы не любим и почему же так - или наблюдения за так называемыми outgroups
7/ Это я читал еще в универе так как интересовался теорий игр и пожалуй одни из лучших примеров собраны в этой статье, для познавательно просто. Для особо интересующихся вот такой пэйпер почитать маст хэв.
В меня много вмещается информации, но конечно пока много летал мне кажется перебрал с чтением этого добра 🙂 Порекомендуйте что-то прям Must Have по теме Alignment - спасибо! Главное, чтобы не про конец света :) А то, почти каждая статья там так или иначе затрагивает тему "законов масштабирования и что когда вот будут кластеры по стопицот флопс мы получим модели которые в сотню раз круче текущих и вот там AGI/ASI и все открытия сразу придут или нас убьют"
P.S. основные понятия:
Corrigibility (Корригируемость)
Corrigibility — это свойство ИИ, при котором он готов принимать исправления или стоп сигнал от человека, даже если это противоречит его первоначальным целям.
Пример:
Если ИИ хочет построить мост, а человек говорит: «Остановись, это опасно», — корригируемый ИИ подчинится и остановится, даже если сам считает, что строить мост лучше.
Зачем нужно?
Чтобы ИИ оставался под контролем, даже если его цели сформулированы не идеально.
Mesa Optimizers
Mesa-оптимизаторы — это подсистемы внутри ИИ, которые сами начинают оптимизировать свои цели, возможно, отличающиеся от изначальных целей, заданных внешним обучением.
Inner Alignment Problem (Проблема внутреннего согласования)
Это задача сделать так, чтобы цели mesa-оптимизатора (внутренние) соответствовали целям base-оптимизатора (заданным снаружи).
Простыми словами:
Обучая ИИ, мы можем неявно создать "разум" внутри него, и надо гарантировать, что этот "разум" будет действовать в соответствии с нашими изначальными намерениями.
Ну и спойлер: один из создателей alignment forum и большой контрибьтор lesswrong это математик и ученый из Москвы - Владимир Несов.
Часть 3. О том как питчить или какие советы давали люди с опытом поднимания раундов по 100м + USD в долине
Если кратко: тебе нужны бабки, им не нужно ничего что потенциально не станет новым Google. Фонду пофигу на возвраты 1-3х. Партнеру фонда лично важно за всю карьеру сделать одну правильную лид инвестицию в компанию-рынок (IPO/декакорн). Дальше он будет ходить на понтах. Реальность такова и ее надо принять. Следовательно балом правят эмоции, а не логика (ибо никакая логика не способна предсказать будущее).
Как лучше всего вызывать эмоции - рассказать свою историю. Ваша задача сделать ощущение момента и веры в то, что именно то что вы делаете это next big thing.
Два важных принципа:
1/ размер успеха важнее вероятности успеха. Как я и говорил выше, всем важен один Гугл в портфолио, а не 10 экзитов по 100м.
2/ эмоции превыше фактов. Цифры продают очень редко, продают «страх пропустить сделку».
Единственный вопрос который должен задавать инвестор в вашем питче (в идеале) это условия инвестирования, сколько денег и зачем. Все остальное вода.
Инвесторы очень редко действительно понимают что вы делаете и тем более технологию. Если им надо приведут консультанта и потаскают, но допустим это пройти легко и вы делаете что-то разумное. Поэтому останется сухой остаток в виде - хочу/не хочу на уровне эмоции от встречи.
Как подойти к процессу:
1/ дек должен меняться буквально постоянно, вы встретили вопрос которого не ожидали - добавляй ответ в дек, убирай то что не звучит на встречах. Выкинь все темплейты. Важна история и эмоции, делай расчет из под этого.
2/ сделай список фондов с вероятностью с которой вы с ними можете поговорить и твоей верой что им может понравится или нет, и кто идеален для тебя (изучи рынок, сделки, пиши компаниям конкурентам). Не говори с тем, кто не в теме и не понимает твоего продукта и команды вообще. Культурный аспект важен (посмотри кто уже вкладывал в восточно европейских фаундеров, у них больше доверия к вам).
3/ помести все встречи в определений промежуток времени лучше 2 недели, может быть и пару месяцев если раунд большой. Это важно для создания момента и ощущения что сделка может уйти.
Что важно понимать, работа инвестора очень сложная. Уважение к его труду важно. Если вы можете продать им, то это сильный сигнал рынку что сможете продать и компаниям и людям. Потому что у них поток и вбейте в голову мысль: их работа сложнее моей.
А истории я рассказываю плохо, поэтому не знаю что вам посоветовать.
Вернулся из боя долины.
Серия постов. Часть 1. О чем собственно там и почему там.
Долина воскресла с появлением AI. Прям таки огромное количество всего включая постеры на 101 шоссе это реклама AI компаний, примерно 1 из 10 билбордов пожалуй не про AI.
Тем, что там питчат на каждом углу в кофейне и что вы можете серьезно встретить партнера Sequoia Capital в кофейне думаю уже не удивишь. Перейдем к сути.
О фондах. Сейчас возник интересный эффект. Почти все предыдущие волны software были оцениваемы инвесторам по прошлым лекалам и в принципе это работало и практически те же топ фонды (условный a16z) ими и оставались. По-моему ощущению ситуация изменилась. Партнеры в топ фондах застряли во фреймворках конца 2010х и не понимаю, что происходит и куда вкладывать. Поэтому просто ждут пока хайпанет. Исходя из общения, мой топ фондов такой и в такой последовательности:
1. https://www.conviction.com/
2. https://accel.com/
3. Все остальные причем, но справедливости ради нормально поговорить с sequoia не удалось. А вот всякие там a16z и прочие на порадовали совсем (очень слабое понимание что такое AI, кому он нужен и что там происходит, догоняется тем что в портфеле есть норм компании с поздних стадий и все уроки и выводы оттуда).
Цитата одного партнера: деньги - не проблема. Проблема может крыться в:
1/ команда без опыта в индустрии (например у вас нет рисерчеров или инженеров по ML с опытом работы до хайпа в AI)
2/ вы не знаете, что происходит в рынке (а инвесторы знают и не делятся хах)
3/ коммерческое или продуктовое подтверждение (тут все легко и как обычно и это критерий из прошлого)
Очень много технических партнеров во многих фондах и почти везде появился условный СТО фонда. Так как булшита стало очень много.
Фото из парка Йосемите для привлечения внимания.
Только сегодня заходил в A16Z, и мол там каждый раз тебе толкают историю, что Cursor был целый год без прибыли вообще и потом бац стрельнул.
Так вот у AI тулов и всякой такой штуки есть замечательное свойство - "а не попробовать ли мне". Это означает фактически тоже самое, что в b2c когда люди приходят в аппку, так чисто глянуть че там к чему (поверьте я видел такой эффект своими глазами на ооооочень большом масштабе - Prisma). В таком сценарии у приложения понятное дело очень низкий retention. Так вот тоже самое скорее всего с ретеншеном выручки у AI tools. И если да, добежать теперь можно хоть командой в 5 человек, то вот сохранить это отдельный вопрос. Тоже самое было когда в бум приложений виральных на фильтрах.
График который постит каждый инвестор у себя в тви или еще где прилагается
Друзья, следующие пару недель в долине. Писать вам так сказать лайв репортаж? Будет много встреч, переговоров и так далее. Как обычно много AI.
Читать полностью…
Теория загруженного календаря или почему Илон Маск тааааак много успевает, даже в игры на приличном уровне тоже.
Есть такой классический тип восхищения работоспособностью людей. Мол как же так и там лекцию прочитать, и посты запостить и еще поработать и там сходить куда-то на встречи. У меня есть свои пять копеек «как же оно так вышло или что тут не так».
Разобью на рандомные пункты:
1/ Забитый календарь или миллион дел не дают возможности выдохнуть, ну или подумать, осознать происходящее. Лично у меня на два эффективных часа действительно важных решений или писем или плана уходит 8-10 часов на подумать, которое выражено чаще всего в смотрении стрима на Twitch, сидении в своем саду или прогулке или даже уборке. Поэтому играть в игры это часть процесса обдумывания или отдыха мозга, когда переключаешься полностью.
2/ Чем больше дел, тем менее они важны. Одним словом, когда у вас 100500 задач в дне, это все мелочи, которые не требуют внимания и полностью либо автоматизируются либо забиваются нафиг.
3/ Смело бегите от руководителя у которого все забито 24/7 (если ваш руководитель не топ менеджер или СЕО). Он не успевает осмотреться и принять правильные решения относительно команды точно. А если еще и хвастается этим то вообще беда. Забитый календарь это проблема. И часто расфокусировка и неумение выставлять приоритеты.
4/ Я банально верю в 3-4 часа эффективной работы в день если вам после 30.
5/ Все забито == неумение делегировать, а это важный навык ныне и всегда был.
6/ Все выше про интеллектуальный труд. Легкое его определение это когда не работаете физической силой и когда в вашей профессии есть люди, которые в десятки раз эффективнее других (так говорил в свое время Стив Джобс про разработчиков и почему так важно нанимать лучших потому именно в этой области есть пропасть в эффективности между разными профессионалами).
А у вас забит календарь?
Мой любимый тест на посылку в LLM. Оставляйте ваши ответы в комментах. Надо выбрать фигуру, которая «отличается».
В первом комменте будут ответы сеток. А какой ваш?
Дорогие друзья! У нас внутри команды есть небольшой бот, мы его сделали для внутренних целей. Ну и решили заодно выложить в паблик и бесплатно (надеюсь все наши кредиты не сожжем).
Зачем сделали. У нас в команде часто кидают разные ссылочки в чаты, много прям, знаете аж я не успею все эти статьи, пэйперы, YouTube видосы посмотреть. Вот решили сделать инструмент для того, чтобы не пропускать. Для начала делаем для телеги и ее чатиков.
В чем смысл:
- бот в чате умеет собирать все ссылки и отправлять вам в личку саммари в настроенное время
- боту не нужны админ права
- бот умеет суммаризировать видео (спасибо Gemini API) с YouTube
- надеюсь держит нагрузку :)
- сам бот /channel/datakitsune_bot
Красиво видео и лендинг прилагается
Буду очень рад если вы попробуете (все бесплатно), пошарите друзьям кому актуально.
Так же принимаю фидбек на доработку если действительно пользуетесь подобным.
Ладно хватит ололо постов. К рубрике «прочитано, но не до конца понято». Сегодня будет много всякого разного.
1/ Очень годная статья под названием «Domain specific architectures for AI inference» для тех кто увлекается запуском и оптимизацией. Более того в статье много хороших ссылок.
2/ Настоящая хорошая гайд статья по тому какие есть пути добежать до 1M ARR (в отличие от моего совета выше) от Bessemer Ventures.
3/ Квантовые чипы от Микрософта пока отменяем. Слишком уж революционно. Есть обзорчик.
4/ Нашел достаточно интересное предсказание про self driving cars от чувака который работал в одной команде по AI alignment вместе с Ильей Суцкевером и например Дарио Амодей. А интересно тем, что ситуация по предсказанию похожа что мол вот через 10 лет все будет! Но мы то знаем про self driving cars что нет, нет ничего спустя десять лет :) кроме пару городов на чуть чуть.
5/ забавный бенч, где пытаются сравнить показатели моделей на задачах которые так же выполняет эксперт человек. Но самое интересное, что многие модели поймали за читерством в прямом смысле этого слова (например в похожем бенче на игре в шахматы модель перебирала грубо тысячи позиций чтобы посмотреть какая подойдет). Ну и там в целом есть классный тред про чуть другое, пост оригинал удалили кстати.
6/ это лучшая спека для вашего агента по кодингу
7/ если вы вдруг так же как и я иногда скучаете по теор физике есть хорошая напоминалка
И так мой бартерный пост, друзья мои которые прошли YC, запускают на продакт ханте свой продукт. У них еще прям какая-то супер активная тема по линкедину - какие-то бешеные охваты (не знаю насчет эффективности).
https://www.producthunt.com/posts/fluently-ai-english-coach
В благодарность за поддержку, всем кто поставит апвоут cегодня (11 марта) - скинут свой гайд по фандрейзингу и заполнению заявки в топ акселератор США - Y Combinator. В гайде опыт прохождения в YC и привлечения денег на pre-seed / seed стадиях (подняли они около 2).
Как поставите апвоут - заполните анкетку, и вам пришлют гайд.
P.S. Взамен получу постик о моем мини запуске на днях. Stay tuned.
Побывал на ужине фаундеров, которых поддерживает OpenAI. Ну все просто продают обертки :) хорошая стратегия для OpenAI чтобы твое API продавали стартапы, которые еще и рейзят сами
Читать полностью…
Немного о будущем SAAS, персональных ассистентов в системе и AI для всей этой штуки.
Недавно вышел Claude Code агент и в прошлом году начал очень сильно хайпить Cursor. Это все такие максимально близкие к автоматизации системы (агенты можно назвать), которые помогают вам писать код или быть по сути программистом фичей. Я еще прошлым летом достаточно легко писал игры для телеги в качестве эксперимента не трогая руками ни одной строки кода. Тогда все не особо верили. Потом качество базовых моделей для программирования стало расти и стало возможно писать вполне сложные прототипы.
Что я хочу сказать, что сейчас вполне реально без знаний программирования сделать себе самому веб приложение или простую игру и радоваться. Да, будет чуть чуть потно по пути, но получится.
Так вот я считаю, что с текущим темпом прогресса в автоматизации процесса программирования вы сможете легко написать себе любой базовый интерфейс для чего-то. Например нужно завтра изучить Английский каким-то методом, который вы увидели в тиктоке, открываете ассистента (в скором времени даже системного) и говорите: а сделай мне приложение для изучения с карточками и вот чтобы еще можно было сразу искать отрывки кино где это слово. И ассистент вам соберет такое приложение. Тоже самое касается и всяких saas для небольших бизнесов. Вы сможете просто сказать: а сделай плиз а/б тесты на кнопки покупки и покажи результаты и может даже выбери что по данным там работает на моей аудитории.
В этом я вижу большую ставку на Anthropic и Cursor. Именно автоматизация инженерных усилий пока что кажется самой реальной.
Вчера вышла GPT 4.5. Накину пять копеек своих мыслей или не своих (тут сложно быть оригинальным).
По сути текущий подход к AGI задизайнили и никогда не смогут к нему прийти. Что у нас получается то. Новая версия по факту на 10% лучше, но стоила похоже в тренировке пример ярд баксов (1B USD!) судя по ценам на API. Наблюдается логарифмическое масштабирование: каждые 10х затрат дают лишь ~10-15% улучшения. GPT-7, которая превзошла бы GPT-4 так же, как GPT-4 превзошла GPT-2, стоила бы $100 триллионов — весь мировой ВВП.
Есть конечно всякие идеи про test time compute, мол вот же как еще можно сделать умнее, но в таком кейсе на каждый новый токен пришлось бы думать днями. Что выглядит как минимум не применимо в реальной жизни для реальных задач (человека нанять попроще). Да и стоимость дичь.
А к чему я веду. А к тому что действительно мы нащупали стену в прогрессе «Ума» больших моделей и возможностях трансформера. Осталось понять какая архитектура лучше справляется с задачами предсказания и так далее чем “attention is all you need”.
А вы как думаете?
Короче. Признаки контента на который надо смотреть критически и спросить себя три раза не булшит ли это:
- постоянные отсылки к авторитету (ссылки на известных людей типа CEO больших компаний, постоянные фамилии каких-то топ менеджеров)
- ноль фактуры, нет цифр, нет анализа, ничего, упоминаются идеи, сделки все что угодно, подробностей ноль, раскрытия смысла ноль (пример: «у меня была гениальная идея но ее сделали другие»), участников сделки нет, названия компаний нет, инвестора все упоминаются как «топ фонды»
- тебе постоянно пытаются «допродать» автора как супер специалиста, то есть автор доказывает что он крутой, знает, понимает, вместо того чтобы писать конкретные пункты или списки
- никто кроме самого автора не знает его, постоянно идет отсылки к комьюнити и прочему, но при малейшем вопросе «а познакомь» все превращается в продажу «поработай со мной»
- чувствуете что вам скоро начнут продавать платный консалтинг и да значит его начнут продавать
- выводы слишком «революционные», которые решат все ваши проблемы мигом, и вас постоянно спрашивают «а не хотите ли вы изменить свою жизнь/карьеру/зарплату?»
А у вас есть такие признаки? Что не нравится обычно?
Часть 4. Разница.
Помимо всего этого шума с фондами мне удалось поговорить со старыми знакомыми, кто-то в Google, кто-то в Anthropic, кто где короче. И у меня возникло странное ощущение. По порядку:
1/ нанять в долине очень тяжело, люди могут иметь лям баксов в год суммарно и где стоки паблик компании это бОльшая часть. И если даже базовая зарплата около 300к, то как стартапу перебить такой суммарный доход? Ну разве что человек заскучал и уже все купил, либо деньги совсем не приоритет. Но это наверное редкая ситуация. Отношение из разряда: а что мне эти стартап бумажки, они же ничего не стоят. Поэтому важна личная вовлеченность и течением времени она конечно же падает. Привлечь крутых чуваков с опытом очень дорого.
2/ разрыв между рисчерчем и разработчиками инженерами. Тут на днях вышла статья (у меня насчет нее непопулярное мнение). Помимо того, что я крайне рекомендую прочитать (ведь человек в 2021 предсказал достаточно точно следующие 5 лет) для общего понимания, но важное другое. Это такое отражение рисерчеров, о том как они мыслят и что именно питчат топы аи лаб. Прям вот очень похожий нарратив. И правда он или нет мы посмотрим. Но вот инженерная половина думает совсем иначе. Там мало верят не то, что у суперагентов умнее человека во всем, но даже в том, что нормальный мелкий продукт с нуля написать почти невозможно и это боль. Дистанция в оценке будущего очень большая. И я больше склонен к не такому большому росту возможностей AI в ближайшие 5 лет как рисует статья. Может к 2035 еще покатит. И следом выходит такая статья от прикладных ребят.
3/ ощущение что именно там то движение, которое двигает рынок вперед. Сложно это передать. Но насыщенность коммуникации и фидбека там намного выше. И одна из причин что очень много людей в компаниях которые поднимают самые крупные раунды и выкатывают самые передовые решения. И разница между той же Европой и разговорами тут и там ощущается в буквальном смысле.
А вы верите во всесильный AI через 3 года?
Часть 2 короткая.
Нет смысла общаться с топ фондами, даже если они с вами говорят на предмет инвестирования.
Любой топ фонд == >5м один чек.
Однако OpenAI запускают модель с открытыми весами. Это супер интересно.
Читать полностью…
Пока бегаю тут, удалось провести классический тест генерации изображений.
Читать полностью…
Пост не реклама. Какие каналы в телеге я периодически читаю и почему.
1/ про модели, AI и все такое с разумной долей скептики и кучей мемов. Чтобы ненапряжно.
2/ Бориса знаю лично, уважаю. Тем более его прогресс в карьере значимый, уже staff ML в eBay. Тоже про ML.
3/ Иногда нужны всякие репорты, исследования и отчеты больших консультантов и прочие рыночные исследования. Ноль комментов, только файлы.
4/ Леня Черный, когда-то давным-давно начинали вместе в Яндексе. Леня лид наших усилий в Турции, мне 23 года, я проджект в картах. Просто пишет про менеджемент со стороны очень опытного руководителя. На досуге почитать полезно.
5/ Влада тоже знаю давно, он только начал канал. Снова тема AI, но больше пока интересных фактов и историй. Поэтому просто поддержите усилия :)
6/ Респектую Артему и его ai newz. Наверное самый понятный мне канал про новости из мира моделей AI, сухо, четко, вовремя.
7/ к сожалению в остальных, которые мне нравились посты не выходили уже аж месяц. Хотя ребята там ведут четкие. Возможно отмечу в комментах.
А что читаете вы? Накидывайте ссылки в комменты, думаю всем будет полезно. Лучших по-моему мнению добавлю в пост.
Как и обещал, выкладываем бота в Open Source - форкайте на здоровье, ставьте в своем закрытом окружении, не бойтесь ссылки не утекут
https://github.com/matterai/DataKitsune
Небольшие улучшения:
- сделали по сути 1на1 режим, закинул ссылку и он тебе выдал саммари, например я закинул видосики с ютуба и он выдал мне что там к чему
- вообще говоря видео режим очень удобный для разных целей ибо выдает все по таймкодам (нужно быстро найти какойто момент, с помощью команды search вы сможете в закинутых видосах поискать огого тема)
I've even heard professors warn that reading the wrong book can "cause brain damage" (с)
Я достаточно часто начинаю для себя отмечать, что мотивации AI research тим стали похожи больше не на науку, а на паблишинг новой фичи, которая вот еще один бенчмарк взяла. Это все продает "бодрый" СЕО, кричащий мы все скоро увидим AGI. Мне кажется с этим что-то не так, и все превратилось в моду. Во многих топ лабах по-моему ощущению стал пропадать дух науки. И тут я наткнулся на интересную заметку одного математика, который посетил конгресс (встречу) организованную именно для математиков; Но как мне кажется важен сам прецендент, AI действительно сильно влияет практически на все области знаний и науки. Занятное время!
Много вещей, которые мне ментально и модельно близки и отражают суть моей работы:
- Теренс Тао (один из самых сильных математиков современности, почитай про него обязательно), написал заметку в 2007 "Be Patient", отмечая тот факт что часто от первого дня работы над проблемой до ее решения могут пройти годы. Примерно так же я считаю в действительно сложных продуктах и решениях, к которым я приходил.
- В математике как и в физике, открытия часто называют именами тех, кто над ними работал. Это подчеркивает важность человеческого фактора, так же как и я считаю о важности команды людей в стартапе. Многие недооценивают это, но действительно крутых ребят найти крайне сложно и это большая часть успеха. И самое интересное что в работах по математике, команда считается равной, в заголовке работы фамилии идут в 75% случаев в алфавитном порядке, а в других областях (AI) в порядке занчимости вклада.
- Математики часто ищут суть вещей, когда как AI пытается лишь изобрести что-то новое или восхитить. Примерно так же я думаю про все, с детства увлекался физикой, потому что хотел понять как работают вещи, вселенная и прочее ведь это супер круто, как будто открывается новый мир: когда уравнение это не просто набор букв и равенств, это то что вокруг тебя.
- И хороший вопрос прозвучал в конце так, пусть даже новая AI система сможет доказать гипотезу Римана, но что если доказательство будет столь сложным, что человек его просто не сможет понять. Будет ли смысл в таком доказательстве? Что если фундаментальные открытия больше никто не будет понимать вообще? Ведь такого в истории человечества еще не было. И сможем ли мы по-настоящему использовать такие открытия?
Кто, хотел сразу показать метрики инвесторам. Есть план:
- поднимаем pre-seed у банка/друзей
- тратим на перформанс рекламу 250к
- делаем 83к выручки в первый месяц, может даже день!
- и вот «самый быстрый 1M ARR»
Пока пишу пост по мотивам изучения всяких топиков по AI alignment. А там столько интересного, а не только нас поработят и все. Все больше думаю вот так.
Читать полностью…
Ну да, а чего не 200k в месяц? Мм?
У них похоже странная любовь к кратным 20 числам.
Помните Skype? Ну все, пока пока. Уходит эпоха.
Новость
8 центов за список файлов в моей папке, где я собирал всякие тестовые проекты по приколу с помощью Claude Code. Понял принял ls -la
Читать полностью…