【データエンジニア＜データ品質管理・パイプライン開発＞】東証プライム上場企業、日系のFA・金型用部品専門商社（東京都）の求人情報

■AI検索サービス向けデータ基盤において、データの品質保証（Data Quality）、およびETLパイプラインの実装・運用をご担当いただきます。 【具体的には】 ■データ品質管理（Data Quality）の実装と監視：40% AIモデルが常に「正しいデータ」を利用できるよう、データの品質を監視・維持する仕組みを実装していただきます。 ・データテストの実装：Dataformやdbt等を用い、データの欠損・重複・異常値を検知するテストコード（Assertion）の作成と実装 ・モニタリング環境の整備：データの鮮度や品質低下を検知した際、即座にSlack等へ通知し、原因を特定できるダッシュボードや監視フローの構築 ・データリネージの管理：データの発生源から利用箇所までの流れ（リネージ）を整理し、メタデータ管理ツールへの登録・更新を行い、トレーサビリティを確保 ■データパイプライン（ETL／ELT）の開発・改善：40% 設計されたアーキテクチャに基づき、実際のデータ処理フローを開発していただきます。 ・ETL処理の実装：PythonやSQLを用いて、ログデータや商品データを収集・加工する処理のコーディング ・ワークフローの移行・自動化：手動で行われている既存のデータ処理を、WorkflowEngine（Airflow／VertexAIPipelines）上での自動実行ジョブへ書き換え ・パフォーマンスチューニング：クエリの最適化を行い、データ処理時間の短縮やコスト削減（BigQueryのコスト管理等） ■データサイエンティストとの連携・サポート：20% データサイエンティストからの「こんな特徴量が欲しい」「データがおかしい」といった要望・問い合わせに対し、SQLを用いた調査やデータ抽出、マート作成を行っていただきます。

※下記いずれも必須 ・SQLを用いたデータ抽出・集計・加工作業の実務経験（目安：1年以上／複雑なJOINやウィンドウ関数が書けるレベル）をお持ちの方 ・Python等のスクリプト言語を用いた開発経験をお持ちの方 ・データの不整合やエラーに対し、根気強く原因を調査し解決した経験をお持ちの方 ・何らかのDB（RDBまたはDWH）におけるテーブル設計やデータ管理の基礎知識をお持ちの方

・GCP（BigQuery）または AWS（Redshift,Athena）でのデータ処理経験をお持ちの方 ・Dataform,dbt等のELTツールを用いたデータモデリング・テスト実装経験をお持ちの方 ・Airflow等のワークフローエンジンを用いたジョブ管理の経験をお持ちの方 ・Git／GitHubを用いたチーム開発経験をお持ちの方 ・データ品質（DataQuality）に関する関心・知識をお持ちの方 ・Webサービスのログ設計やデータ収集に関する知識をお持ちの方

・「正確さ」に拘れる方： 1つのデータミスがAIの挙動を変えてしまうことを理解し、細部まで確認を怠らない方 ・改善マインドを持つ方：同じエラーや手作業が繰り返されることを嫌い、「次はどう自動化するか」「どう検知するか」を主体的に考えられる方 ・コミュニケーション力をお持ちの方：データサイエンティストやリーダーと連携し、仕様の確認やアラート報告をスムーズに行える方

※年収：月30時間の残業代を含む。月30時間を超える残業代は別途支給。