アライン、生成AIを利用したファイル検索サービス「デジタルライブラリ」を提供開始
アラインは23日、ファイル検索サービス「デジタルライブラリ」をリリースしたことを発表した。
デジタルライブラリは、共有ストレージにアップロードされたあらゆる形式のファイル(テキスト、画像、PDFなど)の内容を解析し、ユーザーの検索意図を汲んだ検索を行う生成AIを利用した検索サービス。
デジタルライブラリでは、例えば「デジタル化」をキーワードとして検索した場合に、「DX」などの関連キーワードも一緒に抽出して質問意図に合致する資料を表示することができる。
デジタルライブラリの主な特徴
1.「登録」「検索」のみのシンプルなサービス!
2.ユーザーの検索意図に沿った類似検索ができる
3.数百ページに及ぶ大きなファイルでもページ単位で解析・検索できる
4.OCRにより画像やPDFなどのファイルに含まれるテキストも解析・検索できる
5.英語や日本語の他、あらゆる言語に対応している
デジタルライブラリは、キーワード一致ではなく類似検索を可能にする仕組みとして、ファイルの登録時に作成するEmbeddingと呼ばれるベクトルデータベースを採用している。ファイルに含まれるテキストデータを解析・抽出して、ページごとにEmbeddingとしてベクトル化してデータベースに保存する。
検索時には、ユーザーが入力したキーワードやセンテンスも同様にEmbeddingとしてベクトル化し、データベースの全てのベクトルと総当たりでコサイン類似度を計算する。最終的に、コサイン類似度が高い順に、ファイル名、表紙のサムネイル、該当ページ番号、該当ページに含まれるテキストの一部抜粋を表示する。
ファイル内のテキスト抽出にはGoogle社のCloud Vision APIによる光学式文字認識(OCR)を利用して、PDFや画像に含まれる文字もテキストとして抽出することができる。
また、ベクトル化にはVertex AIエンベディングモデルのうち、PaLM APIで利用可能な多言語テキストエンベディングモデル(textembedding-gecko-multilingual)を採用している。
さらに、ベクトル化を行う生成AI(Gemini、ChatGPT、Claude 3など)は、ユースケースに合わせて任意に変更できる。
デジタルライブラリは、要望に合わせたカスタマイズも可能。