NVIDIA は7日、自動運転車 (AV) や ロボットなどのフィジカル AI システムの開発を促進するために構築された最先端の生成世界基盤モデル、高度なトークナイザー、ガードレール、および高速ビデオ処理パイプラインで構成されるプラットフォーム、NVIDIA Cosmosを発表した。

フィジカル AI モデルの開発にはコストがかかり、膨大な量の実世界のデータとテストが必要。Cosmos 世界基盤モデル (WFM) は、開発者が既存のモデルをトレーニングおよび評価するための、大量のフォトリアルな物理ベースの合成データを簡単に生成する方法を提供する。開発者は、Cosmos WFM をファインチューニングしてカスタム モデルを構築することもできる。

Cosmos モデルは、ロボティクスおよび AV コミュニティの作業を加速するために、オープン モデル ライセンスの下で提供される。開発者は、NVIDIA API カタログで最初のモデルをプレビューするか、NVIDIA NGC カタログまたは Hugging Face から一連のモデルとファインチューニング フレームワークをダウンロードできる。

1X、Agile Robots、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi、XPENG などの大手ロボティクスおよび自動車会社、およびライドシェアリング大手のUberが、Cosmos を最初に採用する企業に含まれる。

NVIDIA Cosmos のオープン モデル スイートでは、開発者が対象アプリケーションのニーズに応じて、走行するAVや倉庫内を移動するロボットの録画映像などのデータセットを使用し、WFM をカスタマイズすることができる。

Cosmos WFM は、フィジカル AI の研究開発専用に構築されており、テキスト、画像、ビデオなどの入力とロボット センサーまたはモーション データの組み合わせから物理ベースのビデオを生成できる。モデルは、物理ベースのインタラクション、オブジェクトの永続性、倉庫や工場などのシミュレートされた産業環境やさまざまな道路状況を含む運転環境の高品質な生成を目的として構築されている。

関連URL

「NVIDIA Cosmos」
NVIDIA