中途採用者研修における「生成AIトレーナーBot」活用事例

サーバーワークスでは中途採用者向けに、AWSの基礎スキルやプロジェクトマネジメントを学ぶ研修プログラムを実施しています。研修は4か月間にわたり、段階的に難易度を上げて模擬案件に取り組む形式で、トレーニーがサーバーワークスの「開発エンジニア」、2人のトレーナーが各々「顧客」およびサーバーワークスの「営業担当者」という立場で模擬的なやり取りを繰り返します。

• 1か月目：会社の文化や仕事の進め方を学ぶ
• 2か月目：トレーニーが一人で営業担当者と顧客とやり取りする（模擬案件1）
• 3か月目：トレーニーが二人一組で営業担当者と顧客とやり取りする（模擬案件2）
• 4か月目：顧客からの要望を受けてシステム提案を行う（模擬案件3）

サーバーワークスは近年さらなる事業拡大を目指して中途採用活動に注力しており、毎月3名前後の中途採用者を継続的に受け入れています。しかし一方でトレーナー業務の負荷増加という課題が生まれていました。この点について、トレーナーを担当するアプリケーションサービス部の沓名（くつな）亮典は、次のように説明します。

沓名「トレーナーは全部で9名いますが、採用活動が順調に推移する中でマンパワーがひっ迫したため、2名体制だったトレーナーは、1名で営業担当者役と顧客役を同時に担当することで、増えるトレーニーに対応することにしました。

しかしトレーナーは、今どのトレーニーの相手をしているのか、またその人とのやり取りはどんなステイタスだったかをその都度、把握し直さなければ回答ができない状況になったのです。結果、顧客としてのトレーナーからの応答が遅延し、トレーニー側の検討や学習が進まないという事態が生じつつありました」

▼模擬案件における、トレーナーとトレーニーの関係

こうした状況を解決するため、2024年12月に開発に着手したのが「生成AIトレーナーBot」です。アプリケーションサービス部 シニア・ソリューションアーキテクトの田斉（たさい）省吾を中心に、トレーナーの業務負担を軽減し、回答品質の一定化と迅速な対応を実現することを目指しました。まずは、顧客役のトレーナーが開発者役のトレーニーに回答するプロセスの効率化を最優先で取り組みました。

田斉「今回構築した仕組みは、トレーニーからプロジェクト管理ツールのBacklogに投稿された問い合わせや質問の内容を生成AIトレーナーBotが理解し、回答案を自動作成して顧客役のトレーナーにチャットツールのSlackを介して提示するというものです。

提示された内容で問題が無ければ、トレーナーはそのままワンクリックでBacklogに返答できるようにし、微調整が必要な際にはSlack上で簡易エディタを開いて編集を加え、その内容をBacklogに返答できる"半自動"設計を採用しました。これにより回答の品質を落とすことなく、顧客役のトレーナーの業務負荷を大幅に低減することが可能となります」。

▼顧客役トレーナーと開発者役トレーニー間による生成AIトレーナーBotシステム概要

具体的なシステム構成としては、Backlogで発生した課題の更新やコメントの追加といったイベントを、リアルタイム連携の仕組みであるWebhookを介してAWS環境上に構築した推論基盤に連携し、そこで生成された応答文をSlackに送信する、というものです。

AWS環境上に構築した推論基盤では、コンピューティングリソースとしてAWS Lambdaを、データベースとしてAmazon OpenSearch Serviceを、生成AIのLLM（大規模言語モデル）基盤としてAmazon Bedrockを採用しました。またWebhookを解析して複数の生成AI処理を行い、回答案を生成するためのワークフロー構築には、オープンソース（OSS）のフレームワークであるLangGraphを利用しています。

よって、回答の一貫性とスピードが向上し、複数のトレーニーを同時にフォローする負担も大幅に軽減されました。

沓名「回答文をゼロから作らなくてもよくなったことで、体感的に10％は工数が削減されました。何よりも精神的負荷が大幅に減りましたね。また生成AIトレーナーBotはトレーニーごとに"この質問を投げかけると効果的"といった提案もしてくれますし、確認項目の聞き忘れも防止できるので、より丁寧なフォローを目指せます」

また今回サーバーワークスでは「生成AIトレーナーBot」の回答品質向上のため、検索拡張生成（RAG）を導入しました。RAGは、LLM自身の学習データだけでなく、外部のデータベースやドキュメントからも関連情報を検索し、それらの情報も参考にして回答を生成する技術です。

例えばトレーニーの投稿内容から、今どんなAWSサービスがテーマになっているかを判定した上で、そのサービスと今の模擬案件のレベル感にあった留意事項や指摘事項を、今回構築したナレッジデータベースからピックアップして回答に利用しています。

▼トレーナー（顧客）のSlack上での微調整画面

▼トレーナー（顧客）からの実際の返信内容

さらに今回、LLMの開発から運用、継続的な改善までを行うための運用管理手法であるLLMOpsのサービスとして、OSSプラットフォームのLangfuseも採用しました。Langfuseは、LLMの挙動のトレーシングや品質評価、パフォーマンス監視などの機能を提供し、LLMアプリケーションの安定運用と継続的な改善を支援するものです。

加えて最近取り入れたのがLLM-as-a-Judgeという手法です。文章のニュアンス評価を、人ではなくLLMに担わせるための仕組みで、Amazon BedrockのRAG Evaluation機能として提供されています。この仕組みをうまく使うことで、例えばある箇所に改良を加えたことで他へ影響が出ることを早期に発見することが可能となります。

田斉「今回新たな運用管理手法と品質評価の仕組みも導入したことで、生成AIトレーナーBotの回答品質を高いレベルで維持しながら、安心して研修を進められる環境の下地を整えることができました。今後も利用を続けながら、さらなる品質強化を図っていきたいと思います」。

今後サーバーワークスでは、研修修了の目安となるチェックリストの自動生成や、トレーニー作成の設計書レビュー、AWS環境の検証まで、「生成AIトレーナーBot」の活用領域を広げることで、さらなる業務効率化と品質向上を実現していきます。

沓名「トレーナーは模擬案件にチェックリストを用意しており、トレーニーの研修卒業の目安にしています。このチェックリストの自動採点も生成AIトレーナーBotで実現することができれば、トレーナーの業務効率はさらに上がります。開発チームとも相談して、是非実現したいと思います」。

田斉「先に沓名から"現時点の機能で10％程度の工数削減に繋がっている"という話がありましたが、生成AIトレーナーBotによる業務効率化の余地はまだまだあると考えています。例えば今後は模擬案件でトレーニーが作成した設計書と、実際に構築した内容に矛盾がないかどうかのレビューや、トレーナーが確認したサーバーに問題なく接続できるかのチェックも、生成AIトレーナーBotを起点に実現したいと考えています。また、パーソルクロステクノロジー株式会社と株式会社サーバーワークスの共同出資により2023年10月に設立された合弁会社『パーソル＆サーバーワークス』でも、新卒採用者の研修において、トレーナーの自動応答のニーズがあると思います。今回の取り組みが安定した後には、社内外の他の研修業務への展開も図っていきたいと思います」。

今後も「生成AIトレーナーBot」は、トレーナー業務の負担軽減と回答品質の向上を同時に実現するツールとして進化を続けていきます。社内外のさまざまな研修現場で活用されることで、サーバーワークスはAIを活用した新しい学びの形をつくり、次世代の人材育成を加速していくことでしょう。