シニアLLMトレーニングエンジニア（ポストトレーニング）/生成AI・音声AI技術を活用したソリューションの開発・提供企業の求人

【業務概要】
AIモデルのポストトレーニングを通して、プロダクト向けおよび外部提供向けに汎用LLMの性能を最適化・高度化させるポジションです。トレーニング手法の設計、モデル評価のための報酬設計、トレーニングデータの構築を一貫して主導し、モデルの知能・精度の根幹を担います。

【具体的な業務】
1. ポストトレーニングの設計・実装・実行
- SFT（教師あり微調整）、選好最適化（DPO、KTO、ORPO、SimPO等）、オンライン強化学習（PPO、GRPO、RLOO等）の設計および運用
- 長文CoT（思考の連鎖）、推論、ツール利用、ファンクションコーリング等のエージェント型ユースケース向けポストトレーニング
- 損失関数、KLペナルティ、アドバンテージ推定、学習安定性、サンプル効率などのアルゴリズム改善

2. 報酬設計（Reward Design）
- 報酬モデル、RLVR（検証可能報酬）、LLM-as-a-Judgeパイプラインの構築
- 報酬ハッキング（Reward Hacking）や過剰最適化の検知・分析・対策

3. トレーニングデータの品質管理
- 合成データ生成、データ混合比率の最適化、難易度調整、重複排除、ベンチマーク汚染チェック
- 選好データおよび合成データの生成・フィルタリング

4. 社内評価基盤の構築
- プロダクト品質と相関する独自の評価セット設計
- 評価プラットフォームの自社開発、人手評価・A/Bテスト・アノテーションガイドラインの策定

【ポジション・部門の魅力】
- モデルの知能の核心部分を自ら設計・構築し、成果をプロダクトや新事業に直接反映できる環境です。
- 最新のオンライン強化学習や長文推論など、最先端の手法を実際の商用環境へ適用・運用する経験が得られます。

【必須スキル】
- 英語での実務レベルのテクニカルコミュニケーション能力
- LLMへのSFTおよび選好最適化（DPO等）を商用プロダクトに適用しリリースした実績
- RLHF/RLAIFの理論および実装に関する深い理解（PPOやGRPOのコードレベルでの理解、KLペナルティ設計、報酬ハッキング対策の実績）
- ポストトレーニングアルゴリズム（損失関数、KLペナルティ、アドバンテージ推定、学習安定性向上等）の改善・最適化経験
- 報酬モデル構築（RLVR、LLM-as-a-Judge等）およびプロダクト品質に相関する評価指標の定義・運用経験
- データの品質・混合比率に着目したデータパイプライン設計・改善経験（合成データ生成、フィルタリング、難易度制御、重複排除等）
- 定量的なエラー分析およびアブレーション実験による失敗原因の特定とデータ・報酬改善への還元実績
- PyTorchでの分散学習経験（FSDP、DeepSpeed、Megatron-LM等）およびマルチノード学習の設計・デバッグ経験
- Python / PyTorchにおける高品質な実装力

【歓迎スキル】
- マルチモーダルモデル（画像・音声）のポストトレーニング経験
- 日本語特化モデル、トークナイザー設計、継続事前学習（Continued Pre-training）の知識・経験
- 推論最適化（量子化、Speculative Decoding、KVキャッシュ最適化等）に関する知識
- 大規模クラスタにおける学習安定化・障害対応の経験
- 主要国際学会（NeurIPS, ICML, ICLR, ACL等）での論文採択実績、オープンソースでの成果、または技術ブログ等の発信実績
- 日本語または中国語でのコミュニケーションスキル

【求める人物像】
- ベンチマーク数値だけに頼らず、データと実験に基づき根本原因を追求して改善に繋げられる方
- 既存手法をそのまま使うだけでなく、アルゴリズムや損失関数・報酬設計まで踏み込んで自ら改善できる方
- プロダクト品質から逆算し、実務価値のある評価軸やトレーニング設計を行える方
- 最先端の研究成果・手法を商用プロダクトレベルのリリースまで完遂できる方

生成AI・音声AI技術を活用したソリューションの開発・提供