LINEヤフー株式会社/大手総合インターネット企業でのデータプラットフォームエンジニア（サービス開発におけるデータエンジニアリングを担当）の求人

データエンジニアリングを担当するポジションです。

■ポジション概要
数百PB規模のデータを扱う大規模データプラットフォームを、自社データセンター上に構築・運用しています。数千台規模のサーバーからなる分散システム基盤を通じて、複数事業・数千ユーザーのデータ利活用を支えています。
本ポジションでは、Hadoop/Spark/Trino等を用いたデータプラットフォームを「利用する側」ではなく「提供する側」として、基盤の設計・構築・運用および性能・信頼性・コストの最適化を担っていただきます。
※本ポジションは、データ分析やデータパイプライン開発を主業務とするポジションではありません。

データプラットフォームでは、以下のような技術スタックを活用しています。
* 分散処理フレームワーク：Apache Hadoop
* 分散メッセージングシステム：Apache Kafka
* 分散ストリーム処理システム：Flink
* 分散SQLエンジン：Trino
* 分散データストア：Druid
これらを組み合わせ、ビッグデータを安全かつ効率的に活用するための基盤を提供するとともに、データサイエンティストやプロダクトチームが迅速に価値創出できる環境の実現に貢献します。

■主な業務内容
* Hadoop/Spark/Trino等を用いたデータプラットフォーム基盤の設計・構築・運用
* 数千台規模クラスタにおけるパフォーマンスチューニング、ボトルネック分析
* 分散システムにおける障害対応およびトラブルシュート
* リソース管理・スケジューリングの最適化（YARN/Kubernetes等）
* マルチテナント環境における安定運用設計と改善
* 利用状況に基づくキャパシティプランニングおよびコスト最適化
* 運用課題の特定と継続的な改善（信頼性・可用性・運用効率の向上）
* データ利用者との要件定義、利用サポート
* 大規模データのテーブル設計、ETL開発、運用
* DataMartやFeature Storeの開発、運用
※変更の範囲：会社の定める全ての業務への配置転換の可能性あり

【必要な経験/スキル】
・HadoopやDWHを使ったデータ基盤構築・運用の経験（3年以上）
・Trino、Hive、Sparkなどを用いたビッグデータ基盤開発経験
・Hadoop/Spark/Trino等の分散処理基盤の運用・チューニング経験 ※利用経験のみは対象外
・分散システムにおける障害対応・トラブルシュート経験
・Linux環境でのシステム運用経験
・IaaS環境（オンプレミスまたはクラウド）上でのインフラ構築・運用経験

【あると望ましい経験/スキル】
・大規模データベースを扱った経験
・MLOpsの構築経験
・データサイエンス知見
・数百〜数千ノード規模の分散システム運用経験
・マルチテナント環境でのリソース管理・運用設計経験
・YARN / Kubernetes / 分散ストレージの運用経験
・Spark/Trinoなどのクエリエンジンのパフォーマンスチューニング経験
・キャパシティプランニング、コスト最適化の経験
・SLI/SLO設計や可観測性向上などのSREプラクティス

【求める人物像】
・結果にこだわり最後までやり抜く力がある方
・問題解決のために自ら考え行動できる方
・常に変化する状況を好み、適切に仕事を処理できる方
・データプラットフォームをサービスとして提供する視点を持てる方
・システム全体を俯瞰し、性能・信頼性・コストのトレードオフを設計できる方
・問題の表層対応ではなく、根本原因の特定と再発防止までやり切れる方
・定量的な指標（リソース使用率、性能、コスト等）に基づいた改善ができる方

日本最大級のポータルサイトおよびSNS運営事業者

有給休暇-