生成AIのトレンド「LLM+RAG」を解説

みなさまこんにちは。フェローの黒住です。

近年の生成AIブームで、ChatGPTやGoogle Geminiなどのサービスでも利用されている大規模言語モデル（LLM: Large Language Model、以降はLLMと表記）が広く利用されるようになりました。LLMを利用すれば、
「人間の言葉」でAIとコミュニケーションが可能になる、非常に画期的な技術でした。

一方で、LLMにはまだ解決すべき課題がいくつか残っています。特に、独自の情報（例えば社内規約などの
パブリックに公開されていない情報）や最新の情報に基づいた回答には限界があります。

今回は、この課題を克服するために利用されることが増えたRAG（Retrieval-Augmented Generation：ラグと発音）について紹介したいと思います。

LLMの概要と課題

LLMはインターネットなど膨大な情報から学習し、人間の言葉（自然言語）を理解して生成するAIです。LLMは幅広い情報を学習しているため、文章の要約や質疑応答、翻訳等々、数多くの作業をこなすことができます。

しかし、LLMは「学習した情報に依存」しているため、学習していない情報については適切に答えることができません。例えば、インターネットには公開されていない「会社独自の社内規約」や、日々新しく出てくる
「最新の情報」などが、LLMが学習していない情報、つまりは、LLMが苦手としている情報になります。

LLMは学習していない情報は知り得ないため、例えばChatGPTに「入社4年目です。結婚祝い金について教えてください。」と聞いても、一般的な回答しか返ってきません。

LLMが知らない情報への対応

前述の通り、LLMには社内規定や新しい情報など「学習していない内容については答えられない」という課題がありました。最近では、この課題を解決するためにRAG（Retrieval Augmented Generation）というアプローチが採用されるようになりました。このRAGを利用すれば、これまでの限界を超えて「LLMに未知の情報について答えさせる」ことが可能になります。

例えばLLMに「社内の独自規定について回答させる」ことや、「最新のニュース記事について回答させる」ことなど、従来のLLMでは難しかったタスクがRAGによって実現可能になりました。

RAGのイメージ

RAGはLLMの限界を大きく広げるアプローチですが、その考え方はとてもシンプルです。

人間の世界に置き換えて例えるなら、RAGは「チートシート（日本だとカンニングシート）を渡して答えてもらう」ような手法です。つまり、情報を知らなくて答えられないのであれば、「回答に必要な情報も質問と一緒に渡せば答えられる」はず…という考え方です。

LLMは「文章の意味」は理解できるため、チートシートがあれば、その内容を読み取って質問に答えられるようになります。具体的には、下図のような感じで「回答するために必要な情報」を埋め込む形になります。（質問に対する回答も、規約の内容に沿った内容になっていることが確認できると思います）

RAGの仕組みと難しい点

RAGのポイントは、「質問に答えるための情報を一緒に渡す」点になりますが、実際の利用ケースにおいては
「どんな質問をされるか分からない」という課題があります。

例えば「有休について教えてください」という質問かもしれませんし、「総務部の連絡先を教えてください」という質問かもしれません。質問が異なれば、「回答に必要な情報」も異なるため、有休に関する質問に対しては
「有給休暇に関する規定の内容」、総務部の連絡先については「連絡先に関する情報」が必要になります。

LLMには「一度に質問できる文字数（厳密にはトークンサイズ）に制限」があるため、ありとあらゆる情報をチートシートで渡すことはできません。そのため、RAGを利用する場合は「質問内容に合わせて、回答に必要と思われる情報を決められた文字数に収まるように」入れ込む必要があります。

RAGの仕組みをもう少し細かく見ると、それぞれの頭文字が示すように、以下の3つのステップで処理が行われています。

1. Retrieval（検索）：回答に必要な情報を見つけ出してくる部分
2. Augument（拡張）：質問に、上記で見つけ出した情報を付け加えて拡張する部分
3. Generation（生成）：拡張した内容に対して答えを生成する部分

RAGの考え方自体は簡単なのですが、実際にRAGを利用する上では、Retrieval、つまり「回答に必要な情報を見つけ出してくる」部分が最も難しい部分であり、さまざまなノウハウが要求される部分でもあります。

適切な情報を見つけるために、文章自体を数値化（多次元のベクトル情報に変換）し、情報の関係性をコサイン類似度などで比較して…というような処理を行うケースが多いのですが、この部分はAIに関する知識が必要不可欠になります。

また、単純にこれらの技術を使うだけでは正しい情報が「取得できない」ことも多く、実際には複数のアプローチを組み合わせて対応することになります。

誤って見当違いな情報を取得してきた場合、LLMは誤った解答を返すなど、質問に対する適切な回答が行えません。そのため、RAGの中でも「必要な情報を見つけ出してくる部分」は非常に重要な処理となります。

簡単に利用できるID AIコンシェルジュ Pro

社内規定など、独自の情報に基づいた回答はRAGを使って実現できるのですが、実際に「適切に機能する」RAGの仕組みを作るためには、高度な知識や、さまざまなノウハウが要求されます。

難しいことは考えずに、「データさえ用意すれば、LLMが回答できるようにしてほしい」という声も多くいただいているため、弊社では「データを用意するだけ」で、LLMがその情報に基づいて回答できるサービスを
「ID AI コンシェルジュ Pro」として開発しました。



ID AI コンシェルジュ Proでは、RAGの仕組みを独自に組み込んでいるため、社内規定などのデータを用意いただくだけで、簡単にご利用いただけるサービスになっています。

ID AIコンシェルジュ Proの利用イメージ