転職求人

34,356 件

業務概要:当社は、当グループ会社として設立されました。
AIエージェントの出力品質は、企業の業務運営に直結します。
「なんとなく動く」では許されません。
自社サービスが「企業の頭脳」として、承認ワークフロー、リソース配分、見込み客発見などのタスクを自律的に実行する世界では、AIの誤った出力は、却下されるべき承認が通ったり、不正確な人員配置が行われたり、不適切な顧客にアプローチしたりすることを意味します。
「企業の頭脳」が信頼されるためには、生成された応答の正確性、安全性、一貫性を科学的に評価し、保証するシステムが不可欠です。
従来のQAエンジニアリングはテストケースの設計と実行が中心でしたが、LLMエージェントの品質保証には、評価指標自体の研究開発、LLM-as-Judgeのキャリブレーション理論、報酬モデリング、統計的実験計画、ベンチマーク設計といったML/DSの専門知識が求められます。
当社は、世界的に先駆けている「AI評価科学」を日本のエンタープライズAIの文脈で確立するため、AI Quality Scientistを募集しています。
具体的な業務:ミッション: 「AIの品質を科学する 評価の研究開発を通じてエージェントの信頼性を証明する。
」機械学習、統計学、心理測定学の手法を用いて、LLM/AIエージェントの出力品質を定量的に評価し、改善します。
評価指標の研究開発から自動評価パイプラインの本番展開まで、「AI評価科学」を社内の新しい研究分野として確立し、本番利用される製品の品質を科学的に保証します。
AI Quality Scientistとして、AIエージェントの品質評価における研究と実装の両面を主導します。
1. 評価指標の研究開発: LLM-as-Judgeキャリブレーション、報酬モデリング、ベンチマーク設計を通じて、「品質とは何か」を科学的に定義します。
2. 自動評価パイプラインの設計と構築: 研究成果を本番CI/CDに統合し、スケーラブルな品質ゲートを提供します。
3. レッドチームと安全性検証: 敵対的テストを自動化し、ポリシー準拠検証フレームワークを構築します。
4. 統計的実験計画による品質改善の推進: A/Bテストと有意性検定を通じて、プロンプト戦略とモデル変更の有効性を定量的に検証します。
5. 評価シグナルを研究開発チームにフィードバック: モデル改善のための複利ループを構築します。
6. 「品質の科学」アプローチを通じて、本番利用される製品の品質を保証します。
詳細な業務内容:* 評価指標の研究開発:* LLM-as-Judgeキャリブレーション手法（ルーブリック設計、バイアス検出、適切なスコアリングルール）の研究と実装。
* 評価ベンチマーク（構成概念妥当性、汚染検出）の設計、構築、検証。
* 報酬モデリング/選好学習の評価への応用研究。
* 評価指標（勝率、タスク成功率、事実性、有害性検出）の選択と設計。
* 評価セット（合成データ + 実ログ）の設計、構築、維持。
* 自動評価パイプラインの設計と開発:* スケーラブルな自動評価パイプラインの設計と実装。
* 評価パイプラインをCI/CDに統合し、品質ゲートを構築。
* エージェント評価ハーネス（マルチターン、ツール使用、長文コンテキストサポート）の設計。
* 評価パイプラインの再現性と信頼性の確保。
* 安全性と品質検証:* 自動レッドチーム（自動敵対的テスト）の研究と実装。
* 安全性およびポリシー準拠検証フレームワークの構築。
* ハルシネーション検出とキャリブレーション手法の研究と実装。
* プロンプト/ツール回帰テストの設計と実行。
* 統計分析と実験計画:* 統計的実験（A/Bテスト、有意性検定）の設計と分析。
* 品質トレンドの可視化と回帰検出の自動化。
* 品質レポートと改善提案の作成。
* 評価シグナルを研究開発チームにフィードバック。
主要な成果（KR/指標）:* 評価カバレッジ率（テストケースカバレッジ）* 回帰検出率（リリース前品質劣化検出 >= 95%）* 評価パイプライン実行時間（CI/CD内で完了）* LLM-as-Judgeと人間評価の一致率* 偽陽性/偽陰性率* 安全インシデント率（リリース後）チーム体制:開発組織にはメンバーが所属しています。
AI QA Specialistは、専任の品質保証機能として、以下のメンバーと密接に連携して業務を行います。
* Agentic Product Engineer エージェント機能開発* Research Engineer 研究開発、モデル改善* Agent Harness Engineer / Software Engineer (AI Platform) AI実行インフラ開発* Product Manager 製品設計と品質要件定義ポジション
・部門の魅力:* 実践的な評価科学: 世界的に投資されている「AI評価科学」を、日本のエンタープライズAIの文脈で実践できます。
評価手法そのものが研究対象となる、世界的に稀なポジションです。
* ML/DSスキルの新しい応用: 機械学習と統計学の専門知識を「モデル構築」ではなく「モデル評価」に応用します。
報酬モデリング、LLM-as-Judgeキャリブレーション理論、ベンチマーク設計など、研究と実装の両面にわたる知的な挑戦があります。
* 品質が製品の信頼を決定: 本番環境において、あなたが構築する評価インフラはリリース品質の最後の砦となります。
品質保証がビジネスに直接与える影響を実感できます。
* グリーンフィールドポジション: AIエージェント評価科学という全く新しい専門領域をゼロから設計
・構築します。
評価指標の研究開発から自動評価パイプラインの本番展開まで、大きな裁量を持つことができます。
* AI安全の最前線: 自動レッドチーム、敵対的テスト、ポリシー準拠検証を含む責任あるAIの実践に携わります。
AIエージェントが「企業の頭脳」としてビジネスオペレーションを自律的に実行する世界で、安全性を科学的に保証する重要な役割を担います。
* 急成長環境で、技術的な意思決定において大きな裁量を持つことができます。
リサーチエンジニアやエージェントハーネスエンジニアと密接に連携し、製品スイート全体の品質に影響を与えます。