ボトルネックは、モデルから電力へ

「モデルの性能が足りない」という制約は、いつのまにか「動かす場所と電気が足りない」という制約に置き換わった。

大手クラウドの設備投資額は四半期ごとに過去最高を更新し、その大半がAI向けデータセンターに向かっている。

何が起きているか

GPUの確保競争。買えるかどうかではなく、いつ届くかの勝負になっている。大手が数年先まで押さえるため、後発は物理的に追いつけない。

電力の奪い合い。データセンター一棟の消費電力が地方都市に匹敵する規模になり、送電網の空き容量が立地条件になった。原発の再稼働や専用発電所の建設が、テック企業の意思決定事項として語られている。

冷却と土地。水冷への移行、寒冷地への立地、廃熱の再利用。これまでインフラ企業の課題だったものが、AI企業の競争力を左右している。

開発者への影響

推論コストは、この物理制約の上に乗っている。

同じモデルでもリージョンによって遅延と価格が変わり、需給が逼迫すればレート制限が厳しくなる。プロダクト設計の前提として、計算資源は無限ではないと考えたほうがいい。

キャッシュ設計、モデルの使い分け、バッチ化。かつてサーバー代を気にして書いていたコードの発想が、AI時代に戻ってきている。