研究者たちは、ChatGPTのようなエネルギーを大量に消費するコンピューターをより効率的なチップでダイエットさせたいと考えている。
リサ・スティフラー著
ChatGPT やその他の生成 AI テクノロジーは、人間のような会話やタスク実行能力でユーザーを驚かせ、時には驚かせています。
しかし、システムの開発と運用に必要なエネルギー量についても懸念が高まっています。ワシントン大学の研究者は、11月に一般公開されたChatGPTアプリの開発に必要な電力を推定し、その基盤となる大規模な言語モデルの学習に約10ギガワット時（GWh）の電力を消費したと結論付けました。これは、米国の約1,000世帯の年間エネルギー消費量に匹敵します。
この数値は概算であり、他の研究者はGPT-3や同規模のモデルの作成に必要なエネルギー消費量をはるかに少なく計算しています。しかし、GPT-3はほんの始まりに過ぎません。より多くのデータで学習されたGPT-4やその他の新しいモデルは、さらに多くの電力を消費します。
「もしこれが革命の始まりとなり、誰もが独自のモデルを開発したいと考え、誰もがそれを使い始めるとしたら、何百万通りものアプリケーションがあるが、この数字はどんどん大きくなり、持続不可能なレベルに達するだろう」とワシントン大学の電気・コンピュータ工学助教授、サジャド・モアゼニ氏は語った。
モアゼニ氏をはじめとするエンジニアたちは、この課題に取り組みたいと考えています。彼らは、生成AIモデルの作成と運用におけるテクノロジーのエネルギー効率を向上させるソリューションの開発に取り組んでいます。
ワシントン大学のポール・G・アレン・コンピュータサイエンス＆エンジニアリングセンターの地下には、モアゼニ氏の研究室があり、そこで彼と研究仲間は、想像を絶するほど小さなトランジスタを搭載した超ハイテクコンピュータチップの操作と修正を行っている。
これらのチップは、GPTをはじめとする大規模言語モデルとその応用の中核を成しています。データの消費と処理を行うコンピュータネットワークの頭脳として機能します。チップは互いに通信し、電気信号と光信号を介して情報を伝達し、システムの比喩的なニューロンとして機能します。
モアゼニ氏は、現在使用されている効率が低くパフォーマンスの低い電気信号の代わりに、光ファイバー経由で送信される光信号によるチップ間通信を可能にするフォトニクスを組み込むことで、信号伝達を改善したいと考えています。
大規模な言語モデルは、グラフィック・プロセッシング・ユニット（GPU）と呼ばれる特殊な、消費電力の大きいチップを使用します。GPUと関連電子機器は、データセンターに設置されたコンピュータサーバーの重要な構成要素です。データセンターは「クラウド」の拠点です。
プロセッサは動作と発熱にエネルギーを消費するため、マシンの過熱を防ぐためにファンや水を使った冷却システムが必要です。これら全てが積み重なって、かなりの電力消費につながります。
Amazon Web Services、MicrosoftのAzure、AlphabetのGoogle Cloudなど、クラウドサービスを提供する巨大テクノロジー企業は、生成AIツールのトレーニングと運用を行う大規模なデータセンターの多くを所有しています。これらの企業はいずれも、温室効果ガスの排出量をゼロまたはそれ以下に削減することを誓約しており、目標達成に向けて再生可能エネルギー源の活用を推進しています。
しかし、生成型AIの台頭はデータセンターの需要を継続的に押し上げるでしょう。これは、企業がCO2削減目標の達成に向けて取り組む中で考慮している点です。例えばAmazonは、2025年までにすべての事業を再生可能エネルギーで運営することを計画しています。
AWSのエネルギー・水戦略担当ディレクターのチャーリー・デイッチ氏は、最近のGeekWireのインタビューで、「当社は[再生可能エネルギー]の目標を達成することについて心配したり懸念したりしていません」と語った。
「多くのチャンスがあると思います。創造性と新しいアイデアが必要です。」
– サジャド・モアゼニ、ワシントン大学電気・コンピュータ工学助教授
「しかし、2020年代後半、2030年といったより長期的な視点で見ると、生成AIの機会と可能性を考えると、再生可能エネルギーをさらに大規模に導入する新たな方法を見つけることが極めて重要です」とダイチ氏は述べた。
大規模言語モデルのエネルギー消費が懸念されるようになる以前から、暗号通貨マイニングやビットコインファームに対する警鐘が鳴らされていました。暗号通貨のコインを生成するために、マイナーは電力を大量に消費するコンピューターファームにも依存しています。ニューヨーク・タイムズ紙の最近の分析によると、米国では暗号通貨マイニング事業が数百万世帯分の電力を消費するのに十分なエネルギーを消費しています。
大規模言語モデルは、システムの学習だけでなく、ユーザーがモデルにクエリを送信したり、メンテナンスを行ったりする際にも電力を消費します。ChatGPTだけで1日あたり1GWhの電力が必要になる可能性があると、モアゼニ氏は推定しています。
つまり、仮想会話を継続するために、コンピュータ ネットワークをよりスマートかつ効率的に機能させる方法を考え出す必要があります。
「多くの可能性を感じています」とモアゼニ氏は語った。「私たちには創造性が必要です。新しいアイデアが必要です。そして、（コンピュータネットワークのための）新しいアーキテクチャが必要です。研究者として、私はこれに非常に興奮しています。」
