国産求人検索エンジン運営企業でのデータエンジニアの求人
求人ID:1233993
募集終了
転職求人情報
職種
データエンジニア
ポジション
メンバークラス〜シニアクラス
おすすめ年齢
20代
30代
40代
50代以上
年収イメージ
年収イメージ:〜1600万円(経験・能力を考慮の上当社規定により決定)
仕事内容
データエンジニアとして、ビッグデータ解析/分散処理基盤開発をお任せします。
●具体的には
・AWSを利 したビッグデータ解析 分散処理基盤のアーキテクチャ選定から設計・実装、運 フロー 動化の提案、実装
・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定
・各所ニーズ(マーケター、サイエンティスト、機械学習エンジニアなど)に応じたデータセットの作成
・機械学習エンジニアと協業し、機械学習モデルのAPI環境の実装や、git、CI/CDの仕組み作りと維持
●開発環境
サーバーサイド:Go,Scala, Play Framework, ZIO, Flink, Akka
フロントエンド:TypeScript, Vue.js, Nuxt.js, Jest, Cypress, Storybook
クラウドサービス:AWS(ECS, EKS, Fargate, Kinesis Data Stream, Lambda, EMR, RDS, Aurora, S3, CloudFront, ElastiCache)
仮想化基盤:Docker, Kubernetes
検索:Elasticsearch, Solr,Vespa
分析基盤:fluentd, AWS(Glue, Athena, CDK), Airflow, BigQuery, Google Data Studio, Redash
プロビジョニング:Terraform, Ansible
監視:DataDog, Kibana
ミドルウェア:nginx, MySQL, ClickHouse
その他使用言語:Python, Go, Rust
開発ツール:Github, Slack, Intellij IDEA, Jenkins, JIRA, SlackBot
●具体的には
・AWSを利 したビッグデータ解析 分散処理基盤のアーキテクチャ選定から設計・実装、運 フロー 動化の提案、実装
・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定
・各所ニーズ(マーケター、サイエンティスト、機械学習エンジニアなど)に応じたデータセットの作成
・機械学習エンジニアと協業し、機械学習モデルのAPI環境の実装や、git、CI/CDの仕組み作りと維持
●開発環境
サーバーサイド:Go,Scala, Play Framework, ZIO, Flink, Akka
フロントエンド:TypeScript, Vue.js, Nuxt.js, Jest, Cypress, Storybook
クラウドサービス:AWS(ECS, EKS, Fargate, Kinesis Data Stream, Lambda, EMR, RDS, Aurora, S3, CloudFront, ElastiCache)
仮想化基盤:Docker, Kubernetes
検索:Elasticsearch, Solr,Vespa
分析基盤:fluentd, AWS(Glue, Athena, CDK), Airflow, BigQuery, Google Data Studio, Redash
プロビジョニング:Terraform, Ansible
監視:DataDog, Kibana
ミドルウェア:nginx, MySQL, ClickHouse
その他使用言語:Python, Go, Rust
開発ツール:Github, Slack, Intellij IDEA, Jenkins, JIRA, SlackBot
必要スキル
●必須スキル・ご経験(MUST)
・ソフトウエアエンジニアとして業務としてのアプリケーションの開発経験
・AWS もしくは GCPを利用したサービスの構築経験(1年以上)
・SQL による簡単なデータ分析の経験
●歓迎スキル・ご経験 (WANT)
・ データ処理基盤の設計/構築、または運用経験(1年以上)
・クラウドベースのデータ基盤チームの立ち上げ、チームリードの経験
・Terraform, AWS CDK などを用いた IaC によるリソース管理の経験
・Apache Airflow (Amazon MWAA, Google Cloud Composer) などのワークフローオーケストレーションを利用した開発経験
・AWS Glue, Amazon EMR などによる ETL 処理の開発経験
・Amazon Athena, Amazon Redshift, BigQuery などの DWH 製品の利用・運用経験
・Amazon Kinesis Data Streams, Apache Kafka などを用いたストリーム処理の開発経験
・Apache Spark, Apache Flink 等の分散処理フレームワークを利用した開発経験
・アジャイル (スクラムベース)での開発経験 (CSM, CSPO, CSD保有者歓迎)
・ソフトウエアエンジニアとして業務としてのアプリケーションの開発経験
・AWS もしくは GCPを利用したサービスの構築経験(1年以上)
・SQL による簡単なデータ分析の経験
●歓迎スキル・ご経験 (WANT)
・ データ処理基盤の設計/構築、または運用経験(1年以上)
・クラウドベースのデータ基盤チームの立ち上げ、チームリードの経験
・Terraform, AWS CDK などを用いた IaC によるリソース管理の経験
・Apache Airflow (Amazon MWAA, Google Cloud Composer) などのワークフローオーケストレーションを利用した開発経験
・AWS Glue, Amazon EMR などによる ETL 処理の開発経験
・Amazon Athena, Amazon Redshift, BigQuery などの DWH 製品の利用・運用経験
・Amazon Kinesis Data Streams, Apache Kafka などを用いたストリーム処理の開発経験
・Apache Spark, Apache Flink 等の分散処理フレームワークを利用した開発経験
・アジャイル (スクラムベース)での開発経験 (CSM, CSPO, CSD保有者歓迎)
就業場所
就業形態
正社員
企業名
国産求人検索エンジン運営企業
企業概要
全国の仕事情報から自分のニーズにあった最適な求人を探すことのできる求人検索エンジンを運営しています。
企業PR
業務カテゴリ
組織カテゴリ
備考
データベースエンジニアの求人情報
事業会社の求人情報
成長中の求人情報
転職体験記
- これまでの経験を活かして、ECサイト、決済サービス運営ベンチャー企業へ(50代/男性/専門学校卒)
- キャリアアップを希望、テクノロジーとコンサルティング双方を持つITコンサルティング企業へ(30代/男性/専門学校卒)
- 証券会社から有名メガベンチャー資本の急成長フィンテック企業へ(40代/男性/私立大学卒)
- 予てから希望していたIT業界へ(30代/男性/県立高校卒)
- 地方での転職、ソフトウェアの品質保証、テストサービスを主力事業とするIT企業へ(40代/男性/私立大学卒)
- 幅広い経験を活かして、日本を代表する電機・通信機器メーカーへ(30代/男性/私立大学卒)
- ソフトウェアの品質保証、テストサービスを主力事業とするIT企業へ(40代/男性/私立大学卒)
- 信頼できるコンサルタントからの案件を丁寧に活動、日本を代表する電機・通信機器メーカーへ(50代/男性/私立大学卒)
- スキルアップを目指し、クラウド黎明期から市場を牽引し続けるベンチャー企業へ(30代/男性/国立大学卒)
- IT領域での経験を活かして、大手日系生命保険会社へ(30代/男性/国立大学院卒)