大手地銀でのデータ分析基盤のデータレイクエンジニアの求人

・当行のデータ活用基盤であるデータレイクの開発・運用・保守を担当していただきます。
・データエンジニアとして、多様なデータソースからのデータ取り込み、データの品質管理、データパイプラインの構築・最適化、データレイク基盤の安定運用などを通じて、ビジネス部門やデータサイエンティストが効率的にデータを活用できる環境を提供していただきます。
・また、LLMや生成AI、マルチモーダルデータ処理に対応したデータ基盤の拡張も重要な業務となります。

▼具体的な業務内容
・AWS上でのデータレイク基盤の設計・構築・運用・保守
・ETL/ELTプロセスの設計・開発・運用（データの抽出・変換・ロード処理）
・データパイプラインの構築・最適化・監視およびパフォーマンス調整
・データ品質管理とデータガバナンスの実装、メタデータ管理とデータカタログの整備
・データセキュリティとアクセス制御の実装、コンプライアンス対応
・障害対応とトラブルシューティング、システム安定運用の維持
・LLMや生成AIのための学習データ準備とRAG（Retrieval-Augmented Generation）システム構築支援
・画像・音声・動画などのマルチモーダルデータの取り込み・処理・保存基盤の構築
・データサイエンティストやビジネス部門との連携によるデータ要件の定義と実装
・新技術の評価と導入検討、生成AIを活用したデータ処理の自動化・効率化

必須スキル・経験
・データエンジニアリングに関する実務経験（3年以上）をお持ちの方
・クラウド環境（AWS）でのデータレイク構築経験がある方
・Python(必須)、SQL、Sparkなどのデータ処理技術に精通している方

歓迎スキル・経験
・金融機関でのデータエンジニアリング経験
・ビッグデータ技術（Hadoop、Spark、Kafka等）の実務経験とデータガバナンスフレームワークの実装経験
・MLOpsやデータサイエンスプラットフォームの構築経験
・ETL/ELTツールの使用経験がある方（特にGlue）
・クラウドサービスの認定資格（AWS認定ソリューションアーキテクト、Azure Data Engineer等）
・LLMや生成AI（OpenAI API、LangChain、Hugging Face等）の実装経験
・ベクトルデータベース（Pinecone、Weaviate等）の構築・運用とRAGシステムの設計・実装経験

▼技術スタック・環境
・言語：Python、VBA、PowerShell ※後者2つは内部ツール開発など副次的に利用
・データベース：DB2、TERADATA、SQLServer、PostgreSQL、MySQL
・ソースコード管理：AWS CodeCommit（GIT）
・プロジェクト管理：nulab ※チケット管理
・情報共有ツール：Teams、Mattermost、GLOWI
・その他：ソースコード開発環境 → AWS Sagemaker notebook （JupyterLab）

求める人物像
・新たな技術にチャレンジしていきたい方
・周囲と協力しながら開発を進めていける方
・ユーザーとの対話を重ね、責任をもって開発に取り組んでいただける方