アドバンテックは3月29日、NVIDIA Jetson AGX Orinを搭載したMIC-733-AOによる生成AIデモの実施に成功したと発表した。

このデモは、クラウドベースの生成AIと比較して、より即時性が高く、セキュリティが強化され、インターネットコストが削減されるという利点がある。MIC-733-AO エッジ生成AIシステムでは、Jetson AIラボのジェネレーティブAIモデルが無償で基礎となるAIモデルを提供するため、カスタマイズが可能になり、開発時間が大幅に短縮されるという。

MIC-733-AO エッジ生成AIシステムは、Jetson AI labのNVIDIA 生成AIモデルと互換性があり、NVIDIA Jetson AGX Orinによって効率的に大規模言語モデル（LLM）、ビジョン言語モデル（VLM）、ビジョン・トランスフォーマー（ViT）、および画像生成とLlamaspeakをエッジで実行することができる。このプラットフォームは、加速計算、重要なAIソフトウェア、および事前トレーニング済みモデルを含む複数のレイヤーにわたる独自の提供を行い、さまざまなアプリケーションや場所に適した生成型AIモデルの作成、カスタマイズ、展開を容易にする。

Jetson AI labの生成AIモデルを使用することで、開発者はリトリーバル拡張生成（RAG）技術を活用し、LLMとVLMを企業の知識ベースに接続することができる。この手法により、従来のAIモデルのトレーニングが不要となり、シンプルな対話形式でシステムとやり取りするだけでAIの推論が得られるため、開発時間が大幅に短縮される。

アドバンテックのMIC-733-AOは、高いAI性能とIPカメラ、USB/gigE産業用カメラ、GMSLカメラ、LiDARなど複数のビデオインターフェースを備えており、エッジベースの生成型AIモデルの動作を可能にしている。その優れた熱設計により、NVIDIA Jetson AGX Orinがフル稼働していてもホットクラッシュを防ぐという。

即答性アプリケーション向けのエッジでの生成AI
生成AIは、テキストや画像などさまざまな入力と出力から新しいコンテンツを作成することで、人間とコンピュータの相互作用に革新的な変化をもたらしている。クラウドからエッジへの需要のシフトにより、生成AIは高応答性と低レイテンシの環境に最適化しつつある。

エッジベースの生成AIは、クラウドベースに比べていくつかの利点がある。
・即応性: カメラやセンサーなどのデータソースを統合したエッジコンピューティングシステムは、クラウドへのデータアップロードなどがなく、遅延なしに迅速な生成AIの応答を可能にする。
・情報セキュリティ: データはエッジシステム内に残るため、クラウドデータの送信に関連するサイバーセキュリティリスクを回避する。
・安定したネットワーク接続: 無線ネットワークなしでも動作可能で、エッジシステムはネットワークの復旧までデータをローカルに保存する。クラウドベースのAIと異なり、ネットワークなしで機能停止する事はない。
・送信コストの低減: エッジAIは、バックエンド通信が不要な場合には送信コストがかかりません。クラウドのアップロードに比べて低帯域幅の送信のみが必要であり、非常に低コスト。

MIC-733-AO Live LLaVAデモアプリケーションノートのダウンロード

関連URL

アドバンテック