シニアAI推論エンジニア（LLM・音声モデル）/生成AI・音声AI技術を活用したソリューションの開発・提供企業の求人

【業務概要】
音声モデルおよびLLM（大規模言語モデル）の推論フレームワークの設計・構築を行い、スループット向上とGPUコストの最適化を担当するポジションです。システム全体のアーキテクチャ設計から実装まで自ら主導して業務を進めます。

【具体的な業務】
1. 音声モデル用共通推論フレームワークの構築
・ASR（自動音声認識）、TTS（音声合成）、Speech-to-Speech、その他音声生成モデルに向けた共通推論アーキテクチャの設計
・共通モジュールとモデル固有モジュールの明確な分離、新規モデル導入用のプラグイン・アダプターインターフェースの開発
・モデル開発チームが利用する推論API、SDK、ツールの開発

2. 大規模音声バッチ推論の最適化
・可変長音声に対する動的バッチ処理およびバケッティングの適用、複数GPU・ノード間でのデータ並列推論の実装
・前処理、推論、後処理、ストレージI/Oをオーバーラップさせる非同期パイプラインの構築
・エンドツーエンドの処理時間とコストに基づくボトルネックの計測および削減

3. LLM推論の適応・最適化
・vLLMやSGLangなどの成熟した推論エンジン上でのLLM推論の立ち上げ
・テンソル/パイプライン並列処理、コンティニュアスバッチ処理、KVキャッシュ、プレフィックスキャッシュのチューニング
・Prefill/Decode特性やタスク優先度を考慮したスケジューリング設計

4. 推論ワークロード向けGPU利用計画
・バッチ推論および評価に向けたGPU割り当てとキャパシティプランニング
・Kubernetes、Slurm、Rayを活用したGPU推論ジョブのオーケストレーション
・モデルおよびタスクごとのGPU使用量と推論コストの追跡・削減

【ポジションの魅力】
・確立されたベストプラクティスが少ない音声・マルチモーダルモデルの推論領域において、技術基盤を自ら構築できます。
・音声とLLMの双方にわたり、フレームワーク設計からバッチ推論、スケジューリングまで推論全体を統合・最適化できます。
・推論効率の改善がGPUコストや応答レイテンシに直結するため、プロダクトの競争力向上に直接貢献できます。

【必須スキル】
・英語での実務レベルのテクニカルコミュニケーション能力
・PythonおよびPyTorchを用いたシステム設計・自力実装能力
・GPUクラスタにおける推論インフラ構築・運用経験、およびパフォーマンス分析やコスト削減の実績
・非同期/並行処理、分散データ処理、可変長データのバッチ処理・並列推論の実装経験
・複数の研究・モデル開発チームと技術的な調整を行える能力
・英語の技術文献の読解およびディスカッション能力
・以下のいずれか（または両方）の深い専門知識：
　- LLM推論（vLLM、SGLang等の実践経験、Prefill/Decode、KVキャッシュ等の推論メカニズムの深い理解）
　- 音声モデル推論（ASR、TTS等の実践経験、前処理から後処理に至る音声推論パイプラインの深い理解）

【歓迎スキル】
・音声生成モデル（ディフュージョン、フロー・マッチング）や音声コーデックの推論経験
・ASR、TTS、Speech-to-Speechなど複数のモデル種別にわたる実践経験
・RL（強化学習）ロールアウト推論環境の構築・最適化への関心・経験
・可変長音声に対する動的バッチ処理の設計、または複数GPU・ノード間での分散/並列推論の設計経験
・C++、CUDA、Triton、NCCLの実務知識、プロファイラを用いたボトルネック特定能力
・GPUコストおよび計算リソースの管理・最適化経験
・社内AIフレームワーク、推論ライブラリ、モデルSDKの設計経験
・vLLM、SGLang、PyTorch、Ray等オープンソースプロジェクトへの貢献実績
・技術ロードマップ、設計標準、コードレビューガイドラインの設定経験
・日本語または中国語の語学力（チームの基本言語は英語ですが、他チームとの連携に役立ちます）

【求める人物像】
・アーキテクチャ設計にとどまらず、自らコードを書いて実装の質にこだわる方
・直感ではなくプロファイラやベンチマークに基づきデータドリブンで課題解決を図り、システム全体を最適化できる方
・適切なオープンソースやフレームワークを選択・拡張できる現実的な思考をお持ちの方
・他チーム（特にモデル開発者）の生産性を高めるツールやライブラリの構築を楽しめる方

生成AI・音声AI技術を活用したソリューションの開発・提供