これまでの ChatGPT エージェントに関する私の経験: Deep Research では処理できないにもかかわらず、ジャンキーな Web フォームやアクセス制限などの障害に遭遇することなく、エージェントによって正常に完了できるユースケースを見つけることができませんでした。 いくつかの用途は見つかると思いますが、最終的にはワークフローで発生するタスクのほんの一部になってしまうでしょう。 この場合、Agentを使用して新しいタスクを実行しようとすることは、何時間も費やす(または毎日繰り返す必要がある)タスクでない限り意味がありません。エージェントが5%の確率で成功すると予想し、あきらめるまでに10〜20分ほど苦労して努力する必要があるのであれば、エージェントができるかどうかを調べる価値すらありません。エージェントが処理できるタスクであることを何らかの形ですでに知っている場合にのみ使用します。 これらすべてを考慮すると、私は、タスク固有のエージェントが当面はより成功するだろうと引き続き考えています。

最近のIMOの結果と、機械と人間の記号操作、推論、知能の関係に関する簡単なスレッド:

🧠POLARISラボの博士課程の学生であるBoyi Wei氏(@wei_boyi)によるCITPブログの新着情報「リスクの『バブル』:攻撃的なサイバーセキュリティエージェントの評価の改善」 攻撃者がオープンソースモデルを適応および変更して保護手段を回避する方法について説明します。👇

大学院時代、「アイデアの市場」が実際にどのように機能するかに気づいたとき、研究キャリアへのチートコードを見つけたような気分になりました。今日、これは私が学生に教える最も重要なことであり、私たちの研究の内容に関連するものよりも重要です。 簡単な前置き:私が研究の成功について話すとき、私は多くの論文を発表することを意味するのではありません。発表された論文のほとんどは、どの分野でも人々が注意を払うには研究が多すぎるため、ほこりをかぶります。特にプレプリントの発行が容易であることを考えると、研究が成功するために正式に出版される必要はありません。したがって、出版物はキャリアアップの前提条件かもしれませんが、それが目標であってはなりません。私にとって、研究の成功とは、仲間に影響を与え、世界をより良い場所にするアイデアの作者であることです。 したがって、基本的な洞察は、アイデアの市場に参入するアイデアが多すぎて、どのアイデアが最終的に影響力を持つようになるかを理解する必要があるということです。良いニュースは、質が重要であり、他の条件が同じであれば、より良い研究がより成功するということです。悪いニュースは、品質が成功と弱い相関関係しかなく、他にも多くの重要な要素があることです。 まず、ゴール前で何度もシュートを放ちます。運の役割は、私のキャリアアドバイスの定期的なテーマです。確かに、どの論文が成功するかを決めるには運が非常に重要ですが、それはそれに身を任せるという意味ではありません。「運表面積」を増やすことができます。 たとえば、常にプレプリントを出している場合、自分の研究が注目される機会は複数回あります:プレプリントと出版物で1回です(さらに、出版の遅れが大きい分野にいる場合は、研究が出版されるまでにスクープされたり、無関係になったりしていないことを確認できます)。 より一般的には、研究プロジェクトをスタートアップのように扱い、結果には非常に大きなばらつきがあり、一部のプロジェクトは他のプロジェクトよりも 10 倍または 100 倍成功することを受け入れます。これは、さまざまなことに挑戦し、大きく振る舞い、仲間が悪いアイデアだと考えることを喜んで追求することを意味しますが、失敗する前に他の人が失敗したところで成功する可能性がある理由についてある程度のアイデアを持ってください。他の人が知らないことをあなたは知っていますか、それともあなたが知らないことを知っている人はいますか?そして、後者だとわかった場合は、サンクコストの誤謬の餌食にならずに、すぐにプロジェクトを辞める意思が必要です。 はっきり言っておきますが、成功はすべて運に左右されるわけではなく、質と深さが非常に重要です。そして、トピックを深く掘り下げるには数年の調査が必要です。しかし、何かを発表する前に数年かけてトピックを調査することは、特にキャリアの初期には非常に危険です。解決策は簡単です:問題ではなくプロジェクトを追求することです。 プロジェクトは、3〜5年以上続く長期的な研究課題です。生産的なプロジェクトでは、12 以上の論文を簡単に作成できます (分野によって異なります)。なぜ問題ではなくプロジェクトを選ぶのでしょうか?問題から問題へとジャンプする方法の場合、結果の論文はやや表面的であり、あまり影響がない可能性があります。そして第二に、特定のトピックに関する論文ですでに知られている場合、人々はそのトピックに関する将来の論文に注目する可能性が高くなります。(はい、著者の評判は非常に重要です。人々が何を読むかをどのように選択するかについての平等主義的な概念は神話です。 要約すると、私は通常、一度に2〜3つの長期プロジェクトに取り組んでおり、各プロジェクト内では多くの問題が調査され、パイプラインのさまざまな段階で多くの論文が作成されています。 最も難しいのは、プロジェクトをいつ終了するかを知ることです。新しいプロジェクトを検討している時点では、実際に実現するまでに数年かかるものと、すでに生産性が高いトピックを比較しています。しかし、何か新しいもののためのスペースを作るには、何かを終わらせなければなりません。適切なタイミングで辞めると、いつも辞めるのが早すぎるように感じます。直感で進むと、同じ研究分野に長く留まってしまいます。 最後に、独自のディストリビューションを構築します。これまで、論文の公式出版には、査読による信頼性を与えることと、論文を同僚に配布することの 2 つの目的がありました。現在、この2つの機能は完全に切断されています。出版は依然として信頼性をもたらしますが、配布はほぼ完全にあなた次第です。 これが、ソーシャルメディアが非常に重要である理由です。残念ながら、ソーシャルメディアはあなたの調査結果を誇張するための不健全なインセンティブを導入しているので、ブログ/ニュースレターや長編ビデオははるかに優れたチャネルだと思います。私たちはブログの第二の黄金時代にいますが、プレスリリースやニュース記事のように馬鹿げることなく、自分の分野の最先端の研究をわかりやすい方法で説明できる人が極度に不足しています。早すぎるということはありません — 私は博士課程中にブログを始めましたが、それは私の研究コミュニティの内外で博士課程の研究を広める上で大きな役割を果たしました。 概要 * 研究の成功は単に出版を意味するものではありません * アイデアの市場は飽和状態にあります *ゴールに複数のシュートを打つ * 問題ではなく、プロジェクトを選ぶ * プロジェクトをスタートアップのように扱う *独自のディストリビューションを構築する

身体醜形障害の専門家は、身体醜形障害に苦しんでいる人々が、自己認識した欠陥を評価し、美容整形を推奨するためにAIチャットボットにますます依存するようになっていると警告しています。「それはほとんどすべてのセッションで出てくるものです」と、あるセラピストは私に言います。

AI の能力を、インターネットなどのツールにアクセスできない人間と比較すると、おそらく、AI は、私たちが職場で行う多くの、またはほとんどの認知タスクにおいて、すでに人間を上回っていることがわかります。しかし、もちろん、これは有益な比較ではなく、AI の経済的影響について多くを教えてくれません。私たちはツールなしでは何もありません。 それでも、「AGI」の影響に関する多くの予測は、人間がインターネットにアクセスできるがAIにアクセスできないという仮想の人間とAIの比較に基づいています。この種の比較も同様に無関係です。 本当の問題は、人間 + AI 対 AI のみです。このような比較では、速度が最優先され、人間が登場するだけでは速度が遅くなるだけのゲームのような狭く計算量の多い領域を除いて、AI は人間と AI のペアを上回るパフォーマンスを発揮することはありません。 したがって、AI が人間に取って代わるかどうかは、説明責任、未知の未知のものを処理する能力、顧客や他の労働者が人間と対話する潜在的な好みなど、すべて人間を雇用するコストと重みを交わすなど、精度を超えた要因に帰着します。 これは、AIが仕事に取って代わらないと言っているわけではありません。しかし、能力のベンチマークを見て、失業に関する主張に直行するのは完全にナイーブです。 * 労働者が AI を誤ってオーバーライドする頻度が高すぎるという研究は数多くありますが、それは AI 対応ワークフローに不可欠なスキルである、いつオーバーライドし、いつオーバーライドしないかについてのトレーニングを受けていないためです。

SB1047は悪い考えでした。しかし、ウィーナー上院議員の最新のSB53は正しい軌道に乗っており、その進歩を呼びかけることが重要です。これが私の推論です。 モデルのような新しいテクノロジーを規制するための私のアプローチは、「良い」緩和と保証をどのように定義するかはわかりませんが、それがいつ、そして見られたとしても、それはわかるということです。 2つの意味があります。 #1.モデル開発のリスク閾値や標準治療を規定すべきではありません。重要なリスク、それらを測定する方法、またはどれだけが多すぎるかについては合意できません。開発者、規制当局、裁判所に対する唯一のガイダンスは、主にペイウォールに依存して面倒な作業を行うクローズドソース企業によって決定される一連の初期の慣行です。そうすることで、開発者が広範なリリースに対する曖昧な責任や責任を負うことになり、オープンイノベーションが萎縮する可能性があります。 これは一言で言えばSB1047であり、ニューヨークのRAISE法など、この会期で米国全土でインスピレーションを与えた~5つの同等のものも同様です。私たちはそのようなアプローチを避けるべきです。これらの提案は、狭いが重要な点では、彼らのスキー板をはるかに超えすぎています。 それなのに： #2.さまざまな企業が適用している勤勉さ、またはその欠如をよりよく理解するために、業界の慣行に光を当てる必要があります。開発者が安全とセキュリティのポリシーを約束し、その機能を示し、紙の証跡を残さなければならない場合、私たちは彼らの主張の強さをより適切に評価し、新たなリスクを監視し、将来の介入を決定することができます。 これは、OpenAI と Mistral の両方が承認している EU の AI 法と最終行動規範であり、@Scott_Wiener の最新バージョンの SB53 でもあります。 モデル開発を規制するのであれば、基本的には、能力、軽減策、許容可能なリスクではなく、透明性を規制するという、より良いアプローチです。これにより、少なくとも1つの米国の管轄区域にブリュッセルの監督権限が与えられ、オープンな開発への意図しない影響が回避されるだろう。 はっきり言っておきますが、この先にはまだ氷山があります。 > 複雑さ。ビッグテックであろうとなかろうと、これらは面倒な文書化と報告の義務です。戦術的に言えば、複雑になればなるほど、この法案はより脆弱になります。 > インセンティブ。自発的なリスク評価の公開報告を義務付けることは、開発者がモデルを過小評価し、困難なリスクに目をつぶるというひねくれたインセンティブを生み出します。開発者が結果を公にするのではなく、監査人や機関に開示することを許可することは、内部評価においてより率直な態度を促進するのに役立つ可能性があります。 > トロイの木馬。カリフォルニア州の過剰な腸と修正の文化により、これらの法案の精査が困難になる可能性があります。SB53 が SB1047 や RAISE のような標準治療法案に変わる場合は、以前と同じ理由でノックバックされるべきです。このクリスマスツリーにつまらないものが加えられれば増えるほど、法案は議論の余地が増します。 > 幅。この法案は、壊滅的なリスクと危険な能力の広範な定義で広い網を張っています。「報告の義務化/自主的実践」法案では、それらは機能します。この法案が標準治療法案であれば、実行不可能でしょう。 要するに、過去 1 年間、思慮深く関与し、フィードバックに対応してくれたウィーナー上院議員に脱帽です。実際に以前の批判に基づいている法案を見るのは新鮮です。この法案にはまだ多くの道筋があり、当初の内部告発案をはるかに超えて進化していますが、その軌道は有望です。

ここで技術的に何が起こっているのか疑問に思っている人のために、説明があります。 特定のスタイルのトレーニング データがたくさんある場合、プロンプトで同様のスタイルを使用すると、LLM がそのスタイルで応答するようにトリガーされます。この場合、たくさんのファンフィクションがあります。 🧵

新しい投稿: データセンターの妄想 ミドルパワーの中で、UAEは最も明確なAI戦略を持っています:意味のあるグローバルコンピューティングシェアを持つ「AIオイルステート」になる。他のほとんどの国では、実行可能な主権のしきい値を目標にせずにデータセンターを構築しています。 🧵

18世紀には、人生のどの時点でも死ぬ可能性が本当にあり、老年期に大きなピークはありませんでした。 それは単に乳児死亡率が高かっただけでなく、全体の分布が全く異なっていました。 @Scientific_Birdによる素晴らしいチャート。