日本AIコンサルティングは22日、中小企業をメインターゲットとした、小規模から段階的に導入できるオンプレミス生成AI導入パッケージ「Insight Buddy」をリリースした。

昨今、生成AIのビジネス活用に注目が集まり、大企業がぞくぞくと導入と活用を進める中、中小企業以下の組織にとって独自に生成AIを導入することは技術的なハードルも高く、関心は高いものの導入が進んでいない。また、導入にかかるコスト面から、具体的な活用方法を検証するために試験導入をするのにも二の足を踏んでいるというケースも散見される。

そこで、同社はオープンソースのLLM(CodeLlama-34B)をファインチューニングによって社内データ活用に特化させ、かつLLMの量子化によって比較的入手のしやすい一般向けのGPUでも動作可能にすることで、コスト面を含めた導入の容易さを実現した。さらにPoCを起点とした、段階的に生成AIを導入、活用いただける導入支援サービスを展開していく。価格は158万円～。

同社は、「Insight Buddy」の展開によって、誰もが生成AIを気軽に導入でき、ビジネスパートナーとしてAIが当たり前に存在する社会の実現を目指し、活動していくという。

「Insight Buddy」の特徴

○中小企業の実態に合わせた柔軟な導入が可能
「Insight Buddy」はオープンソースLLMの活用により、継続的な利用にかかるライセンス費用がかからない環境を構築した。自社内にシステム部門があり、一定のシステムメンテナンスが可能であれば、利活用におけるランニングコストは不要。また、LLMのアップデートを含めた運用サポートはチケット制としており、必要な際に追加購入可能なため、状況に応じた柔軟な運用が可能。

また、ハードウェア面については生成AIの台頭によるGPUのニーズが高まり、価格の高騰や調達リードの延長が続いている。「Insight Buddy」はLLMを量子化することによって、必要な動作環境の軽減を行っており、一般的なデスクトップ向けに販売されているGPUメモリ24GBの環境でも動作可能にし、ハードウェアの調達が比較的容易になっている。企業の状況に合わせた導入・運用に対応可能。

○RAGによる社内データの効率的な活用
社内データをLLMに追加学習させる場合、膨大な学習時間が必要となりますが、「Insight Buddy」はRAGと呼ばれる技術の活用により、LLM自身が随時学習外の情報を検索して回答することで、追加学習の必要なく社内のデータを活用可能となる。さらに、都度の再学習が不要となるため、常に最新の売上データや在庫情報などを活用することができ、日々の状況が経営のカギとなる中小企業にとっては、常に最新の情報をもとにした経営判断ができるという点で最適な環境となりえる。

『RAGのない世界』と『RAGのある世界』の比較

○オンプレミスゆえの高いセキュリティ
オンプレミスによる生成AIの導入により、LLMの活動を社内に限定することが可能になり、情報管理およびコンプライアンスの面から、外部に発信することが望ましくない情報のやり取りを社内に留めることができる。また、自社のセキュリティポリシーに準じた運用が可能となるため、既存のセキュリティを維持することが可能。

「Insight Buddy」は社内のサーバー上で動作し、RAGによる参照先も社内データに限定することが可能なため、利用者の回答が社外に発信されることは一切ない。

関連URL

「Insight Buddy」
日本AIコンサルティング