RAG運用支援の採用でRAG構築に必要なアクセス権の設定とデータ移行の課題を解決、回答精度向上のための継続的な改善体制も構築

CHEMIPAZでは、2024年3月より生成AIチャットツール「Generative AI Use Cases（以下、GenU）」の社内利用を開始しました。GenUは、AWSの生成AIサービス「Amazon Bedrock」などを活用し、チャットボットなどのユースケースを統合的に提供するアプリケーションです。
導入当初は、総務部や情報システム部といった本社管理部門、研究所内の機械学習チームのメンバーに限定して運用・検証を実施しました。情報システム部長の三宅裕昭氏は、背景をこう語ります。

三宅氏「特に総務部門では、以前から業務効率化のニーズが明確でした。取締役会の議事録作成に時間がかかっていたほか、将来的には人事給与や福利厚生など、社内規定に関する問い合わせ対応もAIで補えるのではという期待があり、まずは生成AIを業務で試してみようと考えたのです」
もともとAWSを活用していた同社では、情報システム部がGenUに注目。本格導入前から、プロトタイプを使った試験利用も進めていました。

本間氏「基本的な文章作成やAWSの使い方に関する“壁打ち”を通じ、回答の傾向や精度を検証しました。総務部門では議事録のたたき台、研究所では知見の活用など、部門ごとの具体的な利用イメージが見えてきました」
こうして有効性を確認した同社は、同年11月に全社ポータルでの展開を完了。業務効率化を目的としたGenU活用が全社に広がっていきました。

GenUの活用が広がるなか同社は次の段階として、RAG（検索拡張生成）の構築に着手しました。
背景には、研究所を中心とした次のような課題がありました。

• 蓄積された研究データを活かしたい
• 定年退職予定の研究員が持つ知見を残したい
• 自社固有の情報を参照し、より有用な回答を得たい

また、管理部門からも社内規程や制度資料をAIに取り込み、担当者の問い合わせ対応業務を効率化したいといった声が上がっていました。こうした課題を解決するには、社内の正確な情報を検索・反映できる仕組みが不可欠です。そこで同社は、GenUにRAGを組み合わせる構想をスタートしました。
※RAG：LLM（大規模言語モデル）の学習データに加え、外部のデータベースやドキュメントからも関連情報を検索し、参照にして回答を生成する技術

RAGの構築に際して、同社が直面した大きな課題が2つありました。
1つめが対象データごとのアクセス権限の設定
2つめがAWS上のファイルサーバー（Amazon EC2）に保存している対象データを効率的にRAGの対象として設定することです。

本間氏「研究所では機密性の高いデータを多数管理しており、部署やプロジェクトに応じて、関係者以外には閲覧させられないデータがあります。テーマや内容によって閲覧できるユーザーをフィルタリングする必要がありました」

この仕組みを実現するには、ファイルサーバーに付与している権限と、同等の権限体系をRAGに取り込んで検索制御を行う必要があります。

三宅氏「この時のAWSの設定をどうすればいいかという技術的な課題は、やはり我々だけでは知見が不足しており対応が難しいものでした」

また、Amazon Bedrock Knowledge Basesでは、ファイルサーバー上のデータを直接検索しに行くことはできないため、RAGの対象データは、Amazon EC2からAmazon S3へ移行する必要がありました。

本間氏「RAGの対象ファイルを手作業でAmazon S3に移行するためには多大な時間と手間がかかります。例えば何GBもあるデータを手作業でアップロードしようとすると、数十分から場合によっては数時間も待たなければなりません。さらにこうした状態は、RAGの運用が軌道に乗って以降も続くことになります。日常的に蓄積されるファイルを日々同期していく必要があります。RAGも全社展開していくことを考えれば、この部分はどうしても自動化する必要がありました」

これらの課題を解決するために同社が選択したのが、サーバーワークスの「RAG運用支援」でした。

RAG運用支援は、定量的な評価に基づきRAGの性能を可視化し、LLMを活用した評価やユーザーフィードバック分析を通じて課題を特定、継続的な改善サイクルの確立を支援するサービスです。

本間氏「声をかけたITパートナー4社のうち、サーバーワークスを選定しました。その理由は、以前からAWS環境構築で取引実績があり、加えて私たちの2つの課題に具体的な解決策を提示してくれたためです。さらに、RAG構築後のサポートも充実しており、“RAGの回答精度向上を継続的に進めることが重要”と提案してくれたのはサーバーワークスだけでした」

アクセス権の設定については、Entra IDを認証基盤として使い、Amazon Bedrock Knowledge Basesのメタデータフィルタリングで権限付与を行う形でアクセス権限の管理を実現。ファイルサーバーからAmazon S3へのデータ移行については、AWS DataSyncを利用し、Amazon EC2からAmazon S3へ効率的なデータ転送を可能にしました。

また、三宅氏はRAGのユーザーインターフェース（UI）が社内展開済みのGenUベースで可能だったことも、大きなポイントだったと強調します。

三宅氏「他社の提案では、ベンダー独自パッケージを基にカスタマイズする提案が主体でした。AIは進化のスピードが速いため、ベンダー仕様パッケージや使用できるLLMが縛られるものは採用したくありませんでした」

さらに三宅氏は、サーバーワークスの営業担当から「生成AIに詳しい優秀なエンジニアがいる」と紹介を受けていたこともあり、事前にサーバーワークスのエンジニアブログをチェックしました。そこではRAGに関する豊富な技術知見や経験が確認できたと言います。

三宅氏「これなら安心してお任せできると思いました。それが最後の決め手になりました」

RAG運用支援の採用によって、同社では、2つの技術的な課題を解決しました。

三宅氏「アクセス権の設定は、Entra IDとAmazon Cognitoの連携とAmazon Bedrock Knowledge Basesのメタデータフィルタリングにより、既存のフォルダアクセス権を踏襲し、RAGでの検索制御を実現。これによりRAGの全社展開を見据えたきめ細かいアクセス権限の設定が実現できています。研究所のデータも、セキュアにRAGで活用できるようになりました」

また、Amazon EC2からAmazon S3へのデータ転送も自動化することができました。

本間氏「AWS DataSyncを活用することで、手作業では数十分から数時間はかかる大容量ファイルの転送が、数分で完了しています。数十GBものデータでも、一瞬で転送することが可能です」

さらに三宅氏は、今回のRAG構築によって、研究所での知識共有や管理本部スタッフの業務効率化が達成でき、情報システム部における運用負荷の軽減も実現できたと続けます。

三宅氏「研究所では、長年の研究で蓄積された実験データや技術ノウハウは、高齢かつ特定の研究員が“生き字引”として把握している実情があり、今後数年で定年退職が増加することで当社独自の知見が消滅してしまうという危機感がありました。今回RAGを構築したことで、これらの知見を他の研究員も共有、活用できる環境が整いました。また総務部を始め管理本部における規程や制度に関する問い合わせ対応についても、担当者の負荷軽減が見込めており、他業務に対応する時間の確保が可能となると考えています」

実際にRAGを利用した総務部にアンケートをとった結果、利用者の71%が問い合わせ対応の負荷を軽減できたと回答しました。
一方、今回のプロジェクトについて、サーバーワークス営業担当のカスタマーサクセス本部 営業2課の伊藤響、技術担当のカスタマーサクセス本部 CS4課 課長の村上博哉は、次のように振り返ります。

伊藤「生成AIに関する支援といっても様々なご支援の形がありますが、CHEMIPAZ 様は既に GenU を活用されており、一定の知識やご経験をお持ちでした。今回はお客様のレベル感に合わせたご支援の形をご提案させていただくことで、スムーズにプロジェクトを開始することができました。今後も最新情報をキャッチアップしつつ、お客様の現在地に合わせたご支援をさせていただきたいと思っております。」

村上「RAGの構築後も、参照するデータは日々増えていきます。その中で“どのデータをRAGに参照させるか”を適切に選ぶことは、非常に重要なポイントです。RAGの活用では、回答の精度が思うように出ないなどの課題を見極め、継続的に改善していく姿勢が欠かせません。RAG運用支援は、まさにそうした課題解決を目的としたサービスです。今回採用いただいたのも、その点をご評価いただけたからだと考えています。」

2025年6月、全社ベースでのGenUの利用件数が1537件（従業員数：約500名）、MAU（月間アクティブユーザー数）147名、社内ユーザーからのGenUに対する評価に占めるGood評価の割合が86%という状況でした。この水準をベースラインに設定し、利用件数や評価の維持・向上をKPIに設定しています。2025年7月の利用件数が2347件、MAUは184名と増加傾向にありGood評価の割合は前月同様86%という状況にあります。

三宅氏「今後はこれらの指標を継続的に追跡し、改善につなげていく予定です。現在は月に1回、サーバーワークスと定例会を実施していますが、これからもRAGのさらなる精度向上や運用の最適化についてご相談させていただきたいと思います。引き続き、心強い支援と長期的なパートナーシップを期待しています」