苦い錠剤のエンジニアリング |ダニエル・ミースラー
私の AI エンジニアリングの随所で使用している、Bitter-Pilled Engineering (BPE) と呼ばれる新しい概念があります。
このアイデアは、リチャード・サットンのエッセイ「The Bitter Lesson」から来ています。
このエッセイでは、AI を制御、修正、強化しようとする人間の試みはすべて、ある種の価値がないと主張しています。なぜなら、より多くのハードウェアやより優れたアルゴリズムなどを通じて AI の知能を高めると、それ 人間のアプローチでできることよりもはるかに知性を向上させます。
実際にはそれよりも強いです。それだけでなく、 もっと良くならない 私たちが助けようとしても、おそらくそうなるでしょう はるかに悪い。
本質的に、実際には優れているわけではないため、優れていると思われるガイダンスによって AI のネイティブ機能を汚染することは避けるべきです。
エッセイからのいくつかの引用:
「70 年にわたる AI 研究から読み取れる最大の教訓は、コンピューティングを利用する一般的な手法が最終的には最も効果的であり、それを大幅に上回るということです。」
「私たちが望んでいるのは、私たちが発見したものを含む AI エージェントではなく、私たちと同じように発見できる AI エージェントです。」
「この恣意的な複雑さを見つけて捕捉できるメタメソッドのみを組み込む必要があります。」
「発見を組み込むと、発見プロセスがどのように行われるかを理解することが難しくなるだけです。」
私の要点:
- 論理、知性、効率についての私たちの考え方はおそらく原始的です
- したがって、AI に物事を「教える」方法にこれらのルールやアイデアをハードコーディングすべきではありません。
- AI が賢くなるにつれて、第一原理に基づいて同じことを行うためのより良い方法が考え出されます。
したがって、AI システムを構築するときの私自身の BPE ルールは次のとおりです。
自分の得意なアイデアや「賢い」アイデアをシステムに組み込んで、足場を過度に設計しないでください。代わりに、構築する足場が、より賢くなる基礎となる AI に対して堅牢で脆弱でないことを確認してください。
