Infinityは待ち時間をどう減らすのか
一般的なエージェント実装では、モデルがツールを呼び出し、ツールの終了を待ち、その結果を受けて次の推論へ進みます。ビルドが20分、承認が翌朝までかかる場合、その待ち時間もプロセスや接続を維持する設計になりがちです。
Infinityは1回のモデル応答と最大1回のツール呼び出しを「slice」という区切りで実行します。ツールを呼ぶと会話履歴を保存し、そのsliceを終了します。結果や新しいイベントは共有キューへ入り、どの実行環境でも同じ thread_id の履歴を読み直して続きを処理できます。[1][3]
| 処理 | 同期的な実装 | Infinityの考え方 |
|---|---|---|
| ツール待ち | 呼び出したプロセスが結果を待つ | 会話を保存してsliceを終了 |
| 再開 | 元のプロセスや接続へ依存しやすい | キューのメッセージから別プロセスでも再開 |
| 同じthreadの順序 | 実装側で排他制御が必要 | 同じthreadは1 sliceずつ処理 |
| 重複配信 | 二重実行の対策が必要 | 入力IDを状態へ記録し、処理済みを読み飛ばす |
| 長期イベント | 接続維持やpollingが必要 | イベントが届くまで実行資源を持たない |
AWS Lambda向けの参照構成では、SQS FIFOを入力キュー、Aurora DSQLを会話履歴、DynamoDBを重複排除状態に使います。Lambdaは1つのsliceを処理したら終了します。ただし、待機中のLambda計算時間がゼロでも、モデルAPI、キュー、データベース、ログの料金までゼロになるわけではありません。[1][4]
7万5000エージェントの条件
公式試験はAMD EPYC 9R14の1スレッドで、インメモリーストアと模擬モデルを使いました。8万エージェントが各20 turnを動き、合計320万回のcompletionを処理しています。待機中の1エージェントは約100KBで、主な中身は会話履歴だったとAWSは説明します。その傾きから、8GBなら約7万5000件を保持できると換算しました。[1]
この試験から確認できるのは、特定の短い会話履歴を持つ待機エージェントのメモリーが線形に増えたことです。次の性能は確認できません。
- Raspberry Pi 5で7万5000件のLLM推論を同時に実行できること
- 実モデルAPIを使った応答速度やthroughput
- 長い会話履歴、画像、巨大なツール結果を含む1件あたりのメモリー
- Aurora DSQLやSQSを使った本番構成の月額費用
- 障害、再配信、長期運用を含むSLA
この数字だけを容量計画へ入れるのは危険です。実運用では、待機件数よりも「1分間に何件が再開するか」「履歴がどこまで増えるか」「モデルAPIの同時実行上限」がボトルネックになる場合があります。
どんな仕事に向き、何には向かないか
Infinityが狙うのは、計算を続ける仕事ではなく、外部の出来事を待つ時間が長い仕事です。たとえばCIの終了、GitHubのpull request、担当者の承認、数時間後の再確認、別のエージェントから届く報告です。イベントはツール結果として履歴へ入るため、ユーザー発言と区別して扱う設計も示されています。[1]
一方、短い質問へその場で1回だけ答えるチャットや、GPU計算を切れ目なく続ける処理では、待機を外す効果が小さくなります。既存システムがすでにジョブキューと永続状態を持つなら、Infinityへ移すより、現在のworkerを改善した方が簡単な場合もあります。
TechCreateで紹介したDaytonaのAgent Cloudは、エージェントがコードを実行する分離sandboxを提供するサービスです。Infinityはその代替製品というより、エージェントの会話とツール待ちをどうscheduleするかを扱うruntimeです。また、Agent Skillsは手順を持ち運ぶ形式であり、実行資源の待機方法は定めません。
導入前に確認したい4項目
最初の評価では、既存のエージェント全体を移すより、待ち時間が明確な1つの処理を切り出す方が比較しやすくなります。
- 待機の割合を測る。モデル推論、ツール実行、承認待ちの時間を分ける。
- 再開の正しさを試す。同じイベントが再配信されても外部操作が二重にならないか確認する。
- 履歴の上限を決める。長い結果、添付ファイル、親子エージェントの報告をいつ要約するか決める。
- 総費用を比較する。待機中のcomputeだけでなく、モデル、queue、database、observabilityを含める。
公開時点のInfinityは、AWS自身が早期研究版と位置付けています。GitHubにはruntime、Reactive Agent Protocol、coding agent、AWS CDK構成が含まれますが、成熟したmanaged serviceのSLAや料金表はありません。[2][4]
Apache-2.0なので試作へ組み込めます。ただし「オープンソースであること」と「運用を任せられること」は別です。tool eventの真正性や大量イベントのschedule、長期の会話treeをどう圧縮するかは、公式発表でも未解決の研究課題に挙げられています。[1]
まとめ
- Infinityはツール待ちで会話を保存し、実行区間を終えることで、長く待つAIエージェントがプロセスを保持し続ける問題を減らすランタイムです。
- 約7万5000件は模擬モデルによるサーバー上のメモリー測定から8GBへ換算した値で、Raspberry Pi上の実モデル同時推論や本番の処理能力を示しません。
- 採用判断では、CIや承認待ちの1処理で再開・重複排除・履歴増加・総費用を測り、早期研究版の未解決点を確認する必要があります。
読者のコメント (0)
コメントを残す