Мой опыт с ChatGPT Agent на данный момент: я не смог найти ни одного случая использования, который _не мог бы_ быть обработан Deep Research и который мог бы быть успешно завершен Agent без столкновения с такими проблемами, как неработающие веб-формы или ограничения доступа. Я уверен, что найду некоторые применения, но это будет лишь небольшая доля задач, которые возникают в моих рабочих процессах. Если это так, то не имеет смысла пытаться выполнять новые задачи с помощью Agent, если это не задача, на которую я бы в противном случае потратил часы (или которую нужно повторять ежедневно). Если я ожидаю, что Agent будет успешен с вероятностью 5%, и это займет 10-20 минут мучительных попыток, прежде чем сдаться, то не стоит даже тратить время, чтобы выяснить, может ли Agent это сделать. Я бы использовал его только в том случае, если бы уже знал, что это задача, которую Agent может обработать. Учитывая все это, я продолжаю думать, что агенты, специализированные на задачах, будут более успешными в обозримом будущем.

Краткая тема о недавних результатах IMO и взаимосвязи между манипуляцией символами, рассуждением и интеллектом в машинах и людях:

🧠Новое на блоге CITP от аспиранта Бойи Вэя (@wei_boyi) из лаборатории POLARIS: "'Пузырь' риска: Улучшение оценок для агентов наступательной кибербезопасности" Читайте о том, как противники могут адаптировать и модифицировать модели с открытым исходным кодом, чтобы обойти защитные меры. 👇

Вернувшись в аспирантуру, когда я понял, как на самом деле работает «рынок идей», мне показалось, что я нашел чит-коды для исследовательской карьеры. Сегодня это самые важные вещи, которые я обучаю студентов, больше, чем что-либо, связанное с содержанием нашего исследования. Краткое предисловие: когда я говорю о успехе в исследовании, я не имею в виду публикацию множества статей. Большинство опубликованных статей пылятся на полках, потому что в любой области слишком много исследований, чтобы люди могли на них обратить внимание. И особенно учитывая легкость публикации препринтов, исследование не обязательно должно быть официально опубликовано, чтобы быть успешным. Так что, хотя публикации могут быть предпосылкой для карьерного роста, они не должны быть целью. Для меня успех в исследовании — это авторство идей, которые влияют на ваших коллег и делают мир лучше. Итак, основная идея заключается в том, что на рынок идей поступает слишком много идей, и нам нужно понять, какие из них становятся влиятельными. Хорошая новость заключается в том, что качество имеет значение — при равных других условиях лучшее исследование будет более успешным. Плохая новость заключается в том, что качество слабо коррелирует с успехом, и есть много других факторов, которые имеют значение. Во-первых, дайте себе несколько шансов на успех. Роль удачи — это регулярная тема моих карьерных советов. Верно, что удача имеет большое значение в определении того, какие статьи успешны, но это не значит, что нужно смириться с этим. Вы можете увеличить свою «площадь удачи». Например, если вы всегда публикуете препринты, у вас есть несколько шансов, чтобы ваша работа была замечена: один раз с препринтом и один раз с публикацией (плюс, если вы находитесь в области с большими задержками публикации, вы можете убедиться, что исследование не будет опередить или стать неактуальным к моменту его выхода). В более общем плане, относитесь к исследовательским проектам как к стартапам — примите, что существует очень высокая изменчивость в результатах, некоторые проекты могут быть в 10 или 100 раз более успешными, чем другие. Это означает, что нужно пробовать много разных вещей, делать большие шаги, быть готовым преследовать то, что ваши коллеги считают плохими идеями, но с некоторым пониманием, почему вы можете потенциально преуспеть там, где другие до вас потерпели неудачу. Знаете ли вы что-то, чего не знают другие, или они знают что-то, чего не знаете вы? И если вы обнаружите, что это последнее, вам нужно быть готовым быстро отказаться от проекта, не поддаваясь заблуждению о затратах. Чтобы было ясно, успех не зависит только от удачи — качество и глубина имеют большое значение. И требуется несколько лет исследований, чтобы углубиться в тему. Но тратить несколько лет на исследование темы, прежде чем что-либо публиковать, крайне рискованно, особенно в начале вашей карьеры. Решение простое: занимайтесь проектами, а не проблемами. Проекты — это долгосрочные исследовательские программы, которые длятся 3-5 лет или более. Продуктивный проект может легко привести к десятку или более статей (в зависимости от области). Почему стоит выбирать проекты вместо проблем? Если ваш метод заключается в том, чтобы прыгать от проблемы к проблеме, то получившиеся статьи, вероятно, будут несколько поверхностными и могут не оказать большого влияния. И, во-вторых, если вы уже известны своими статьями по определенной теме, люди с большей вероятностью обратят внимание на ваши будущие статьи по этой теме. (Да, репутация автора имеет большое значение. Любая эгалитарная идея о том, как люди выбирают, что читать, — это миф.) Подводя итог, я обычно работаю над 2-3 долгосрочными проектами одновременно, и в каждом проекте исследуются многие проблемы и создаются многие статьи на различных стадиях. Самая сложная часть — знать, когда закончить проект. В момент, когда вы рассматриваете новый проект, вы сравниваете что-то, что займет несколько лет, чтобы действительно реализоваться, с темой, по которой вы уже очень продуктивны. Но вам нужно закончить что-то, чтобы освободить место для чего-то нового. Уйти в нужный момент всегда кажется, что вы уходит слишком рано. Если вы будете полагаться на свою интуицию, вы останетесь в одной и той же исследовательской области слишком долго. Наконец, создайте собственное распределение. В прошлом официальная публикация статьи выполняла две функции: придавать ей доверие, которое приходит с рецензированием, и распространять статью среди ваших коллег. Теперь эти две функции полностью разъединены. Публикация по-прежнему приносит доверие, но распределение почти полностью зависит от вас! Вот почему социальные сети имеют такое большое значение. К сожалению, социальные сети вводят нездоровые стимулы для преувеличения ваших находок, поэтому я считаю блоги/рассылки и длинные видео гораздо лучшими каналами. Мы находимся во втором золотом веке блогов, и существует крайняя нехватка людей, которые могут объяснить передовые исследования из своих дисциплин доступным образом, но без упрощения, как в пресс-релизах или новостных статьях. Никогда не бывает слишком рано — я начал блог во время своей аспирантуры, и он сыграл большую роль в распространении моего докторского исследования как внутри моего исследовательского сообщества, так и за его пределами. Резюме * Успех в исследовании не означает только публикацию * Рынок идей насыщен * Дайте себе несколько шансов на успех * Выбирайте проекты, а не проблемы * Относитесь к проектам как к стартапам * Создайте собственное распределение.

Эксперты по дисморфофобии предупреждают, что люди, страдающие от этого расстройства, становятся все более зависимыми от ИИ-чат-ботов для оценки своих самовоспринятых недостатков и рекомендации косметических операций. "Это почти появляется на каждой сессии," — говорит мне один терапевт.

Если мы сравним возможности ИИ с людьми, не имеющими доступа к инструментам, таким как интернет, мы, вероятно, обнаружим, что ИИ уже превосходит людей во многих или большинстве когнитивных задач, которые мы выполняем на работе. Но, конечно, это не полезное сравнение и не дает нам много информации о экономических последствиях ИИ. Мы ничто без наших инструментов. Тем не менее, многие прогнозы о влиянии "AGI" основаны на гипотетических сравнениях человека и ИИ, в которых у людей есть доступ к интернету, но нет доступа к ИИ. Этот вид сравнения также неуместен. Настоящий вопрос — это люди + ИИ против ИИ в одиночку. В таком сравнении ИИ не сможет превзойти пары человек-ИИ, за исключением узких, вычислительно тяжелых областей, таких как игры, где скорость имеет первостепенное значение, а присутствие человека только замедляет процесс.* Таким образом, вопрос о том, заменит ли ИИ людей, сводится к факторам, выходящим за рамки точности — таким как ответственность, способность справляться с неизвестными неизвестными и потенциальные предпочтения клиентов и других работников взаимодействовать с человеком, все это взвешивается против стоимости найма человека. Это не значит, что ИИ не заменит рабочие места. Но смотреть на эталонные показатели возможностей и сразу же делать выводы о потере рабочих мест — это совершенно наивно. * Существует множество исследований, где работники слишком часто неправильно отменяют действия ИИ, но это происходит потому, что они не получили обучения о том, когда отменять, а когда нет, что является важным навыком в рабочих процессах с использованием ИИ.

SB1047 была плохой идеей. Но последний законопроект сенатора Уинера SB53 движется в правильном направлении, и важно отметить прогресс. Вот мои доводы. Мой подход к регулированию новых технологий, таких как модели, заключается в том, что мы не знаем, как определить "хорошие" меры смягчения и гарантии, но мы поймем это, когда — и если — увидим. Есть два вывода. #1. Мы не должны предписывать пороги риска или стандарты ухода для разработки моделей. Мы не можем согласовать, какие риски важны, как их измерять или сколько слишком много. Единственным руководством для разработчиков, регуляторов и судов является набор зарождающихся практик, определяемых в основном закрытыми компаниями, полагающимися на платные стенды для выполнения тяжелой работы. Это может охладить открытые инновации, подвергая разработчиков неопределенной или повышенной ответственности за широкое распространение. Это и было SB1047 в двух словах, наряду с ~5 эквивалентами, которые он вдохновил по всей стране в этом сессии, такими как закон RAISE в Нью-Йорке. Мы должны избегать такого подхода. Эти предложения — в узких, но критически важных аспектах — слишком далеко зашли. И все же: #2. Нам нужно осветить практики отрасли, чтобы лучше понять добросовестность, или ее отсутствие, применяемую различными компаниями. Если разработчики должны будут обязаться к политике безопасности и защиты, показать свою работу и оставить бумажный след, мы сможем лучше оценить силу их заявлений, следить за возникающими рисками и решать о будущих вмешательствах. Это и есть законопроект ЕС о ИИ и окончательный Кодекс практики в двух словах, который поддержали как OpenAI, так и Mistral, и это также последняя версия SB53 сенатора @Scott_Wiener. Если мы собираемся регулировать разработку моделей, это, по сути, лучший подход: регулирование прозрачности — а не возможностей, мер смягчения или приемлемого риска. Это дало бы хотя бы одной юрисдикции США полномочия надзора Брюсселя и избежало бы непреднамеренных последствий для открытой разработки. Чтобы прояснить, впереди все еще есть айсберги: > Сложность. Большие технологии или нет, это обременительные обязательства по документации и отчетности. Тактически говоря, чем сложнее, тем более уязвимым станет этот законопроект. > Стимулы. Обязательная публичная отчетность о добровольных оценках рисков создает извращенный стимул для разработчиков недоиспытать свои модели и закрыть глаза на сложные риски. Разрешение разработчикам раскрывать свои результаты аудиторам или агентствам, а не публично, может помочь способствовать большей откровенности в их внутренних оценках. > Троянский конь. Гиперактивная культура Калифорнии по изменению и дополнению может затруднить проверку этих законопроектов. Если SB53 превратится в законопроект о стандартах ухода, как SB1047 или RAISE, его следует отклонить по тем же причинам, что и раньше. Чем больше украшений добавляется к этой рождественской елке, тем более спорным становится законопроект. > Широта. Законопроект охватывает широкий круг с обширными определениями катастрофического риска и опасных возможностей. Для законопроекта "обязательной отчетности / добровольных практик" они работают. Если бы этот законопроект был законопроектом о стандартах ухода, они были бы невыполнимыми. В итоге: шляпы долой перед сенатором Уинером за вдумчивое взаимодействие и ответ на отзывы за последний год. Освежает видеть законопроект, который действительно основывается на предыдущей критике. Все еще есть много путей, которые может пройти этот законопроект — и он эволюционировал далеко за пределы первоначального предложения о разоблачении — но траектория многообещающая.

Для тех, кто интересуется, что здесь происходит с технической точки зрения, объяснение: Когда есть много обучающих данных с определенным стилем, использование аналогичного стиля в вашем запросе заставит LLM ответить в этом стиле. В данном случае есть ОЧЕНЬ много фанфиков: 🧵

Новая запись: Иллюзии дата-центров Среди средних держав ОАЭ имеет наиболее четкую стратегию в области ИИ: стать "нефтяным государством ИИ" с значительной долей глобальных вычислений. Большинство других стран строят дата-центры, не нацеливаясь на жизнеспособные пороги суверенитета. 🧵

В 18 веке существовал реальный риск смерти в любой момент жизни, и не было значительного пика в пожилом возрасте. Дело было не только в высокой детской смертности - вся распределение было совершенно другим. Отличная диаграмма от @Scientific_Bird.