Cloudflare、AIアプリケーション開発者プラットフォームの機能強化を発表

（2024年 9月 26日 太平洋標準時6:00本国発表）
誰もが接続しやすいコネクティビティクラウドのリーディングカンパニーであるCloudflare（クラウドフレア）は、本日、サーバーレスAIプラットフォーム「Workers AI」と、一連のAIアプリケーション開発者ツールに、より高速で強力かつ高性能なAIアプリケーション構築のための新機能を発表した。今後、「Workers AI」で構築されるアプリケーションは、より高速な推論、より大きなモデル、改善されたパフォーマンス分析などのさまざまなメリットを得ることができる。「Workers AI」は、世界中のどこにいてもグローバルなAIアプリケーションが構築でき、ユーザーの至近距離でAI推論を実行できる開発者プラットフォームであり続ける。

大規模言語モデル（LLM）がより小型化され、高性能になるにつれて、ネットワークスピードがAIの導入およびシームレスなインタラクションにおけるボトルネックになっていく。Cloudflareがグローバルに展開するネットワークは、ネットワークの遅延の最小化に貢献しており、これは、少数のデータセンターと限定的なリソースから構成される一般的なネットワークとは一線を画している。Cloudflareのサーバーレス推論プラットフォームである「Workers AI」は現在、世界180都市以上にGPUを配置しており、世界中のエンドユーザーに低遅延の環境を提供できるアクセシビリティを実装している。このGPUネットワークによって、「Workers AI」はあらゆるAIプラットフォームの中で最大級のグローバル展開を実現しており、可能な限りユーザーの至近距離でローカルにAI推論を実行し、顧客データをより近くに保つことができるように設計されている。

Cloudflareの共同創設者兼最高経営責任者（CEO）であるマシュー・プリンス（Matthew Prince）は、「AIが注目を集めはじめた頃、それはまだ目新しく実験的な技術であったため、ネットワークスピードがその動作に遅延をもたらすと考える人はまずいませんでした。しかし、AIが私たちの日常生活の一部になりつつある今、ネットワーク、そしてミリ秒単位での速度が重要になってきています。AIが進化し、トレーニングの段階から推論の段階に移行していくにつれて、ネットワークのパフォーマンスとその地域内で機能することがAIにとってますます決定的な要素になるでしょう。Cloudflareは、市場で最もグローバルなAIプラットフォームであり、世界中の都市にGPUを配置しています。そして、この事実こそが、かつてインターネットの高速化がスマートフォンに革命をもたらしたのと同じように、AIをただのおもちゃから私たちの日常生活の一部に変化させていくことでしょう」と述べている。
Cloudflareは、本日、AIアプリケーション構築のための開発者プラットフォームに以下の新機能を導入した。

Cloudflareは、AI推論パフォーマンスのアップグレード、ならびに「Llama 3.1 70B」および「Llama 3.2」モデル群（1B、3B、11B、そして90B）などのはるかに大規模なモデルで推論を実行できるよう、「Workers AI」のためのより強力なGPUを備えたグローバルネットワークを拡大している。より大規模なモデルに対応するとともに、より高速なレスポンスとより大きなコンテクストウィンドウによって、「Workers AI」上で構築されたAIアプリケーションは、より複雑なタスクを効率的に処理できるようになり、自然でシームレスなエンドユーザーの体験が生み出される。

オープンベータ版「AI Gateway」の新機能である永続ログによって、開発者はユーザーのプロンプトとモデルの回答を長期間保存することが可能になり、分析およびアプリケーション性能の理解に活用できるようになる。永続ログがあることで、リクエストのコストや期間といったユーザーエクスペリエンスからより詳細なインサイトを得ることが可能になり、アプリケーションの改善に役立てることができる。昨年のサービスローンチ以来、20億件以上のリクエストが「AI Gateway」を経由している。

ベクトルデータベースによって、AIモデルが過去の入力を記憶しやすくなり、機械学習を検索、推奨、テキスト生成ユースケースに適用することができる。この度、一般公開されたベクトルデータベース「Vectorize」は、2024年8月現在、最大500万ベクトル（以前は20万ベクトル）までのインデックスに対応している。クエリの待ち時間の中央値は、以前の549ミリ秒から、現在は31ミリ秒まで短縮された。これらの改善によって、AIアプリケーションはより少ないデータ処理で必要な情報を迅速に検索できるようになり、AIアプリケーションはより手頃な価格に進化していく。
詳細は、以下のリソースを参照されたい。
Cloudflare’s bigger, better, faster AI platform
https://blog.cloudflare.com/workers-ai-bigger-better-faster/
Making Workers AI faster and more efficient: Performance optimization with KV cache compression and speculative decoding
https://blog.cloudflare.com/making-workers-ai-faster/
Builder Day 2024: 18 big updates to the Workers platform
https://blog.cloudflare.com/builder-day-2024-announcements/