大手ポータルサイト会社のデータプラットフォームエンジニア（データ収集基盤）の求人

当社では、スケールする分散データ収集・処理基盤システムを提供するというミッションのもと、Apache Kafka、Apache Flink、Apache Sparkといった分散ミドルウエアやApache Airflow、Apache NiFiなどのワークフローエンジンのシステム構築を行い、社内のサービスエンジニア、データサイエンティスト向けにプラットフォームの提供をしています。
本職種ではデータプラットフォームエンジニアとしてシステムや運用業務の改善や、分散処理OSSの調査・検証を担っていただきます。
ネットワークを含めたハードウエアレイヤーからアプリケーションレイヤーまでの広い技術理解と、分散技術への理解が求められる、やりがいの大きい仕事です。

<主な業務内容>
Platform as a Serviceとして提供しているデータプラットフォームの運用、改善、利用者の支援
Apache Kafka、Apache Spark、Apache Flink、Apache Airflow、Apache NiFiにおける最新バージョンの追従に向けた調査、採用しているOSSのバージョンアップ
プラットフォームのパフォーマンスチューニング、障害対応
ApacheやCNCFのデータ関連プロダクトの調査、プラットフォームの新規提供検討

●必要な経験/スキル
・プラットフォームの開発、運用、トラブルシューティングの経験
・データ構造、アルゴリズム、計算量分析などのコンピューターサイエンスの基本理解
・Java、Python、Go、Rubyいずれかのプログラミングスキル

●あると望ましい経験/スキル
・Apache Kafkaを用いたデータパイプラインの構築・運用経験
・Amazon Kinesis、Cloud Pub/Subなどのメッセージングキューをベースにしたプラットフォームの運用・導入経験
・Apache Spark、Apache Flink、Apache AirflowやApache NiFiなどを用いたデータ処理プラットフォームの開発、利用経験
・KubernetesやCNCFのプロダクトを利用したプラットフォーム開発・構築・運用経験
・オープンソースへの積極的な貢献をした経験