LLMトレーニングエンジニア（シニア / Post-training）/生成AI・音声AI技術を活用したソリューションの開発・提供企業の求人

【業務概要】
モデルを特訓（ポストトレーニング）で最適化するLLMトレーニングエンジニアのポジションです。学習の手法・報酬設計・学習データを自ら設計し、モデルの品質に責任を持ちます。汎用AIをユースケースに最適化し、将来はその性能をAPIとして外部提供する事業化も見据えます。

【具体的な業務】
1. ポストトレーニングの設計・実装・運用
・SFT／選好最適化（DPO・KTO・ORPO・SimPO 等）／オンラインRL（PPO・GRPO・RLOO 等）の設計・実装・運用
・long CoT／reasoning、tool use・function calling・エージェント用途のポストトレーニング
・ポストトレーニングのアルゴリズム改良（損失関数・KLペナルティ・advantage推定の改善、学習の安定化・サンプル効率の改善）

2. 報酬設計
・報酬モデル、RLVR（検証可能報酬）、LLM-as-a-Judge パイプラインの構築
・報酬ハッキング・報酬の過最適化の検知・分析・対処

3. 学習データの品質管理
・合成データ生成とデータ品質管理（混合比の最適化、難易度制御、重複除去、ベンチマーク汚染検査）
・選好データ・合成データの生成・フィルタリング

4. 評価基盤の内製化
・製品品質と相関する社内評価セットの新規設計
・評価基盤の設計・内製化、人手評価・A/Bテストの設計とアノテーションガイドライン整備

【ポジション・部門の魅力】
1. モデルを賢くするコアに責任を持てる
汎用LLMをユースケースに最適化する学習アルゴリズム・報酬・データのコアを担い、単一モデルのポストトレーニング品質に責任を持てます。基盤を使うのではなく、モデルの性能そのものを設計する立場です。

2. 事業の第二の柱を一から作れる
ポストトレーニングで得た性能をAPIとして外部提供し、事業の第二の柱に育てる構想があり、プロダクト最適化から事業化までを見据えて動けます。

3. 最先端の手法を本番で回せる
GRPO等のオンラインRL、long CoT・reasoning、エージェント用途のポストトレーニングなど、最先端の手法を本番運用するプロダクトに直接適用できます。

【必須スキル】
・英語を用いた専門的な技術コミュニケーション能力
・LLMに対しSFT・選好最適化（DPO 等）を本番モデルに適用し、リリースまで完遂した経験
・RLHF／RLAIFを理論と実装の両面で理解していること（PPO・GRPOを実装レベルで説明でき、KLペナルティ設計や報酬ハッキングに実際に対処した経験）
・ポストトレーニングのアルゴリズムを自ら改良・最適化した経験（損失関数やKLペナルティ・advantage推定の改良、学習の安定化・サンプル効率の改善）
・報酬設計・報酬モデル構築の経験（報酬モデルの学習、RLVR、LLM-as-a-Judge）と、報酬ハッキング・過最適化を検知・分析し改善した経験
・ベンチマークスコアに留まらず、製品品質と相関する評価指標を自ら定義した経験
・学習データの品質・混合比がモデル性能を左右する前提で、データパイプラインを設計・改善した経験（選好／合成データの生成、フィルタリング、難易度制御、重複除去、ベンチマーク汚染検査）
・学習データ・モデル出力を定量的に分析し、失敗パターンの原因を特定してデータ・報酬の改善につなげた経験（エラー分析、アブレーション設計）
・PyTorchによる分散学習の実務経験（FSDP／DeepSpeed／Megatron-LM のいずれか）で、マルチノード学習を自ら設計・デバッグした経験
・PythonおよびPyTorchでの高品質な実装力

【歓迎スキル】
・マルチモーダル（画像・音声）のポストトレーニングの経験
・日本語特化モデル、トークナイザ設計、継続事前学習の経験
・推論最適化（量子化、投機的デコーディング、KVキャッシュ最適化）の知見
・大規模クラスタでの学習安定化・障害対応の経験
・主要国際会議（NeurIPS／ICML／ICLR／ACL 等）での発表、またはOSS・技術ブログでの顕著な実績
・日本語または中国語でのコミュニケーション能力

【求める人物像】
・ベンチマークの数字に留まらず、失敗パターンの原因をデータと実験で特定し、報酬・データの改善につなげられる方
・既存手法をそのまま使うだけでなく、損失関数や報酬設計まで踏み込んで改良できる方
・製品品質と相関する評価を自ら定義し、そこから学習を設計できる方
・最先端の手法を、本番モデルのリリースまで完遂できる方

生成AI・音声AI技術を活用したソリューションの開発・提供