【東京・大阪・福岡】大手ポータルサイト会社のデータプラットフォームエンジニア(AIプラットフォーム/データ基盤/DBA)の求人
求人ID:1222596
募集終了
転職求人情報
職種
データプラットフォームエンジニア(AIプラットフォーム/データ基盤/DBA)
ポジション
担当者
おすすめ年齢
20代
30代
40代
50代以上
年収イメージ
年収イメージ:〜1000万円(経験・能力を考慮の上当社規定により決定)
仕事内容
●業務内容
当社は、メディア、広告、検索、コマース、決済金融など多岐にわたる事業を通じて、日々大量のデータが蓄積されます。
本職種では、それらのデータ利活用を支えるために、データの蓄積・分析基盤のための分散コンピューティング環境を全社へ提供しています。
<担当いただく領域>
※担当領域および業務内容は、選考の過程で決定します。
【AIプラットフォーム領域】
社内のデータサイエンティスト向けに、機械学習のためのサービスやツールを提供し、AIプラットフォームを実現するための仕組み作りを目指しています。
本領域ではAIプラットフォームを実現するためのサービスやツールの開発、それらの保守・運用を担当いただきます。
また、利用方法に関する問い合わせ対応や、要望への対応、利用促進活動も行っていただきます。
<主な業務内容>
・マルチテナント大規模Kubernetesクラスタの提供
・上記Kubernetes上での機械学習向けミドルウエアやAPI、フレームワークの提供
【データ基盤領域】
スケールする分散システムを提供するというミッションのもと、HadoopやTrinoといった分散ミドルウエアのシステム構築を行い、これを全社向けに提供しています。
現在はミドルウエアレイヤーの開発・運用のほか、以下の課題に取り組んでいます。
・スケールさせるうえで発生するOSI参照モデルの各レイヤーでの課題
・マルチテナントで提供しているがゆえに発生するノイジーネイバーやリソース効率化の課題
・利用者が投入するアプリケーションの高速化
本領域ではインフラエンジニアとしてシステムや運用業務の改善を担っていただきます。
ネットワークを含めたハードウエアレイヤーからアプリケーションレイヤーまでの広い技術理解と、分散技術への理解が求められます。
<主な業務内容>
・マルチテナント大規模Hadoop、Trinoの提供
・Hadoop、Trinoにおける高可用性と高性能の両立
・計算リソース割り当ての分析、最適化手法の開発
・パブリッククラウドを活用したハイブリッド構成の検討
【DBA(データウェアハウス)領域】
DBAとしてTeradataのクエリチューニングやテーブル設計への助言等を担っていただきます。
また、各種データウェアハウス製品の比較検証を行い、より最適な技術の選択も行っていただきます。
<主な業務内容>
・大規模データウェアハウス(Teradata)の保守・運用
・新機能検証、クエリチューニングを含む負荷対策、障害対応
・利用者のサポート
当社は、メディア、広告、検索、コマース、決済金融など多岐にわたる事業を通じて、日々大量のデータが蓄積されます。
本職種では、それらのデータ利活用を支えるために、データの蓄積・分析基盤のための分散コンピューティング環境を全社へ提供しています。
<担当いただく領域>
※担当領域および業務内容は、選考の過程で決定します。
【AIプラットフォーム領域】
社内のデータサイエンティスト向けに、機械学習のためのサービスやツールを提供し、AIプラットフォームを実現するための仕組み作りを目指しています。
本領域ではAIプラットフォームを実現するためのサービスやツールの開発、それらの保守・運用を担当いただきます。
また、利用方法に関する問い合わせ対応や、要望への対応、利用促進活動も行っていただきます。
<主な業務内容>
・マルチテナント大規模Kubernetesクラスタの提供
・上記Kubernetes上での機械学習向けミドルウエアやAPI、フレームワークの提供
【データ基盤領域】
スケールする分散システムを提供するというミッションのもと、HadoopやTrinoといった分散ミドルウエアのシステム構築を行い、これを全社向けに提供しています。
現在はミドルウエアレイヤーの開発・運用のほか、以下の課題に取り組んでいます。
・スケールさせるうえで発生するOSI参照モデルの各レイヤーでの課題
・マルチテナントで提供しているがゆえに発生するノイジーネイバーやリソース効率化の課題
・利用者が投入するアプリケーションの高速化
本領域ではインフラエンジニアとしてシステムや運用業務の改善を担っていただきます。
ネットワークを含めたハードウエアレイヤーからアプリケーションレイヤーまでの広い技術理解と、分散技術への理解が求められます。
<主な業務内容>
・マルチテナント大規模Hadoop、Trinoの提供
・Hadoop、Trinoにおける高可用性と高性能の両立
・計算リソース割り当ての分析、最適化手法の開発
・パブリッククラウドを活用したハイブリッド構成の検討
【DBA(データウェアハウス)領域】
DBAとしてTeradataのクエリチューニングやテーブル設計への助言等を担っていただきます。
また、各種データウェアハウス製品の比較検証を行い、より最適な技術の選択も行っていただきます。
<主な業務内容>
・大規模データウェアハウス(Teradata)の保守・運用
・新機能検証、クエリチューニングを含む負荷対策、障害対応
・利用者のサポート
必要スキル
●必要な経験/スキル
【AIプラットフォーム領域】
・Kubernetes、Dockerを使ったミドルウエアやサービスの開発と運用の経験
・Go、Java、Pythonでのコーディングスキル(できれば複数が望ましい)
・プロフェッショナルが多い環境下で、自律自走して業務遂行するスキル
【データ基盤領域】
・大規模なプラットフォームやインフラの設計構築、運用経験
・Go、Java、Pythonでのコーディングスキル(できれば複数が望ましい)
【DBA(データウェアハウス)領域】
・Teradata、Oracle、Redshift等のDBA経験
・TeradataやExadata等アプライアンスの運用経験、またはRedshiftで複数インスタンスを運用した経験
●あると望ましい経験/スキル
【AIプラットフォーム領域】
・機械学習のシステム開発やプログラムの実装経験
・Google Cloud Platform、Amazon Web ServicesでのAI開発経験
・Kubernetes管理者認定(CKA)
・Kubernetesアプリケーション開発者認定(CKAD)
【データ基盤領域】
・Hadoop、Spark、Hive、Trinoの使用経験
・Kubernetes、Dockerの使用経験
・Google Cloud Platform、Amazon Web Services、Azureなどのパブリッククラウドの使用経験
・オープンソースへの積極的な貢献をした経験
【DBA(データウェアハウス)領域】
・TBクラス、または数十億件のテーブルを扱うクエリチューニング経験(データウェアハウス全体としては数10TB 数PBのデータ量を想定)
・Redshift等のクラウドネイティブなデータベース経験
・Hadoopのクエリエンジン経験(Hive、Trino、Spark等)
・Talend等のETLツールやAmazon EMRを利用したデータ処理経験
・Tableau等のBIツールの利用に適したテーブル実装経験
・SQL、Python、Java、シェル等でのコーディングスキル
【AIプラットフォーム領域】
・Kubernetes、Dockerを使ったミドルウエアやサービスの開発と運用の経験
・Go、Java、Pythonでのコーディングスキル(できれば複数が望ましい)
・プロフェッショナルが多い環境下で、自律自走して業務遂行するスキル
【データ基盤領域】
・大規模なプラットフォームやインフラの設計構築、運用経験
・Go、Java、Pythonでのコーディングスキル(できれば複数が望ましい)
【DBA(データウェアハウス)領域】
・Teradata、Oracle、Redshift等のDBA経験
・TeradataやExadata等アプライアンスの運用経験、またはRedshiftで複数インスタンスを運用した経験
●あると望ましい経験/スキル
【AIプラットフォーム領域】
・機械学習のシステム開発やプログラムの実装経験
・Google Cloud Platform、Amazon Web ServicesでのAI開発経験
・Kubernetes管理者認定(CKA)
・Kubernetesアプリケーション開発者認定(CKAD)
【データ基盤領域】
・Hadoop、Spark、Hive、Trinoの使用経験
・Kubernetes、Dockerの使用経験
・Google Cloud Platform、Amazon Web Services、Azureなどのパブリッククラウドの使用経験
・オープンソースへの積極的な貢献をした経験
【DBA(データウェアハウス)領域】
・TBクラス、または数十億件のテーブルを扱うクエリチューニング経験(データウェアハウス全体としては数10TB 数PBのデータ量を想定)
・Redshift等のクラウドネイティブなデータベース経験
・Hadoopのクエリエンジン経験(Hive、Trino、Spark等)
・Talend等のETLツールやAmazon EMRを利用したデータ処理経験
・Tableau等のBIツールの利用に適したテーブル実装経験
・SQL、Python、Java、シェル等でのコーディングスキル
就業場所
就業形態
正社員
企業名
大手総合インターネット企業
企業概要
日本最大級のポータルサイトおよびSNS運営事業者
企業PR
業務カテゴリ
組織カテゴリ
備考
【勤務地】東京、大阪、福岡
データベースエンジニアの求人情報
事業会社の求人情報
インターネットの求人情報
転職体験記
- これまでの経験を活かして、ECサイト、決済サービス運営ベンチャー企業へ(50代/男性/専門学校卒)
- キャリアアップを希望、テクノロジーとコンサルティング双方を持つITコンサルティング企業へ(30代/男性/専門学校卒)
- 証券会社から有名メガベンチャー資本の急成長フィンテック企業へ(40代/男性/私立大学卒)
- 予てから希望していたIT業界へ(30代/男性/県立高校卒)
- 地方での転職、ソフトウェアの品質保証、テストサービスを主力事業とするIT企業へ(40代/男性/私立大学卒)
- 幅広い経験を活かして、日本を代表する電機・通信機器メーカーへ(30代/男性/私立大学卒)
- ソフトウェアの品質保証、テストサービスを主力事業とするIT企業へ(40代/男性/私立大学卒)
- 信頼できるコンサルタントからの案件を丁寧に活動、日本を代表する電機・通信機器メーカーへ(50代/男性/私立大学卒)
- スキルアップを目指し、クラウド黎明期から市場を牽引し続けるベンチャー企業へ(30代/男性/国立大学卒)
- IT領域での経験を活かして、大手日系生命保険会社へ(30代/男性/国立大学院卒)