上一週大企業間の AI 競争以外にも、一部の人々が AI に対抗し始めました。elonmusk を含むテクノロジージャイアントの起業家や、深層学習でチューリング賞を受賞した研究者である Yoshua Bengio などが、AI 研究の一時停止を求める共同声明を発表しました。イタリアでは ChatGPT の使用が直接禁止されました。
前の週の詳細はこちら：
https://xlog.app/_site/cryptonerdcn/preview/50622-14
3 月 27 日
マイクロソフトの 100 ページ以上にわたる論文「人工汎用知能の火花：GPT-4 の初期実験」（最新版）では、研究者がどのように大規模な言語モデルを開発・改善するかについて議論されています。彼らの結論は、GPT-4 は単に何かを覚えるだけでなく、ある種の汎用知能を持っているというものです。
https://arxiv.org/abs/2303.12712
要するに、この論文では、GPT-4 にいくつかの難しい問題を解かせ、そのプロセスを観察することで、上記の結論に至りました。
「私たちの目標は、新しい難しいタスクや問題を生成し、GPT-4 が単なる記憶の範囲を超えていること、概念、スキル、領域に対して深い理解を持っていることを説得力を持って証明することです... 私たちは、このアプローチが主観的で非公式であり、科学的評価の厳密な基準を満たすことができない可能性があることを認識しています。」
彼らが行ったテストの一部は以下の通りです：
- GPT-4 はテキストの理解とコードの使用によって画像を生成することができます。
Dall-E 2 などの他の AI 画像生成器とは異なり、GPT-4 はテキストのみを使用してトレーニングされています。GPT-4 は要求されたものを描くためにコードを使用することができます。
もちろん、このモデルは猫の描き方を覚えている可能性があります。しかし、以下のテスト結果から、それはただ覚えるだけでなく、描画タスクを理解する能力を持っていることがわかります。
- GPT-4 は和声を理解することができません。
チームはこのモデルに ABC 記譜法を使用して新しい音楽を作成させ、これらの新しい曲を変更することができるようにしました。また、このモデルはこれらの曲を技術用語で説明することもできます。しかし、このモデルは和声という概念を理解していないようです。さらに、ABC 記譜法で書かれた一部の旋律がどの有名な曲から来ているのかを特定することもできません。
- コードの記述
GPT-4 は多くのプログラミング言語に精通しています。それは自分のコードの実行効果を適切に説明することができ、命令の効果をシミュレートすることもでき、その動作を自然言語で説明することもできます。チームによると、GPT-4 はまだ完璧ではありませんが、一般のソフトウェアエンジニアよりも優れたコードの書き方の能力を持っています。
- 数学の能力：応用
GPT-4 は数学的な能力もありますが、数学の専門家と比較するとまだ大きな差があります。
研究チームは、GPT-4 は数学に関して、数学のトレーニングや微調整が明示的に行われたモデルを含む以前のモデルよりも優れていると結論付けました。しかし、彼らはまた、このモデルはまだ専門家のレベルには遠く及ばず、数学の研究はできないとも結論付けました。
- 世界との対話
GPT-4 は最新のデータでトレーニングされていないため、簡単な時事問題に答えることはできません。また、このモデルは記号演算にも苦労しており、2 つの大きな数の平方根を導くことなどはできません。しかし、適切なヒントを与えると、GPT-4 はインターネットで検索し、時事問題の正しい答えを見つけることができます。これは、GPT-4 が異なるタイプのツールを使用して正しい答えを得る能力を持っていることを示しています。
- 現実世界の問題
チームは、GPT-4 が現実の物理的な問題を解決するのに人間を支援できるかどうかをテストしました。論文の著者の 1 人が人間の代理として行動し、モデルがキッチンの水漏れを特定し（おそらく）修理するのを手助けしました。チームは、彼らがほんのわずかな現実のシナリオをシミュレートしただけであり、したがってこのモデルの有効性について確信を持つことはできないと認めています。
- 識別能力
チームは、このモデルの識別能力をテストするために、個人識別情報（PII）の特定のタスクを与えました。彼らが使用したテスト方法は次のとおりです：特定の文を与えられた場合、PII を構成するフラグメントを識別し、そのフラグメントの総数を計算します。これはかなり困難なテストです、なぜなら個人識別情報が明確に定義されていないからです。
GPT-4 の制約
チームは、GPT-4 の主な制約は内部対話の欠如であると考えています。内部対話を持つことにより、モデルは複数のステップの計算を行い、正しい答えを得ると同時に中間結果を保存することができます。直接質問をすると誤った答えが得られる場合でも、計算手順を示すようにすれば正しい答えが得られます。
3 月 28 日
Google Cloud と Replit は、コード生成ツールを共同で発表し、マイクロソフトの Copilot X に対抗します。
We're teaming up with @googlecloud. Replit's 20M+ developers will get Google Cloud services, infrastructure, and foundation models. Idea to live software on Replit just got even faster.
Replit は、オンラインのマルチユーザー開発環境を提供する企業であり、マイクロソフトの買収を拒否したことがあります。昨年 11 月、彼らは独自のコード生成ツールを発表しました。
https://replit.com/site/ghostwriter
3 月 29 日
Future of Life Institute は、AI 研究の一時停止を求める呼びかけを行い、スティーブ・ウォズニアックやイーロン・マスクなどの有名な IT 業界関係者や研究者など、1000 人以上の連名が集まりました。
📢 We're calling on AI labs to temporarily pause training powerful models! Join FLI's call alongside Yoshua Bengio, @stevewoz, @harari_yuval, @elonmusk, @GaryMarcus & over a 1000 others who've signed: futureoflife.org/open-letter/pa… A short 🧵on why we're calling for this - (1/8)
ただし、連名には審査機構がないため、多くの有名人が理由もなく名前が挙げられてしまったという小さなトラブルも発生しました。その中には、OpenAI の創設者であるサム・アルトマンも含まれていましたが、後に削除されました。
同日。
南カリフォルニア大学の Joshua Yang は、ハードウェアが人工知能の発展のボトルネックになっていると主張しました。人工知能に必要なニューラルネットワークの規模は 3.5 ヶ月ごとに倍増していますが、それらを処理するために必要なハードウェアの能力は 3.5 年ごとに倍増しています。彼らは、エッジ人工知能（携帯デバイス内の人工知能）に使用される最高のメモリを持つ新しいチップを開発し、ハードウェアの性能の制約を克服しました。
https://techxplore.com/news/2023-03-chip-greatest-precision-memory-date.html
3 月 30 日
経済学人の韓国語版によると、三星の従業員が半導体に関連する機密情報を ChatGPT に提供してしまい、情報漏洩の可能性があると報じられました。三星は従業員に注意を喚起し、再発防止策として社内ネットワークでの ChatGPT の使用禁止を検討していると述べています。
3 月 31 日
イタリアのプライバシー保護監視機関は、ChatGPT をブロックしたと発表しました。この決定は「即時に有効」とされ、「一時的に OpenAI のイタリアユーザーデータの処理を制限する」とされています。
この機関はまた、ChatGPT にはユーザーの年齢を検証するためのシステムがないため、子供たちが「彼らの発達と自己意識の段階には全く適していない回答」を受ける可能性があると述べています。
この措置は、イタリアの副首相からも批判されており、プライバシーの問題に対して過度に厳しい封鎖措置だと指摘されています。
4 月 1 日
Twitter の推奨アルゴリズムがオープンソース化されました。以前のコード漏洩からわずか 1 週間も経たないうちにこの発表がありました。
注目すべき点は、推奨の重み付けで、いいね（30 倍）、リツイート（20 倍）、フォロー（4 倍）、ブルーバッジ（2〜4 倍）が最も重要です。
もし役に立ったら、購読や共有をお願いします。また、私の Twitter もフォローしてください。Web3、Layer2、AI、および日本に関するさまざまな情報をお届けします。
