【データプラットフォームエンジニア】国内大手Web系企業（東京都）の求人情報

■自社サービス開発のための、大規模データ向け分散システム（Hadoop、Kafka、Flink、Trino、Druidなど）として提供するData Platform の開発を担当いただきます。 【具体的には】 同社では、日々大量のデータが発生し、大量のデータがData Platformに蓄積されています。トータルでは数百PB以上のデータを蓄積・処理し、データ利活用に役立てています。 この膨大なデータを安定して収集・蓄積・処理するために、専用のデータセンターを活用し、数千台のサーバーを用いて分散システム基盤を構築・運用しています。 ・分散処理フレームワーク: Hadoop ・分散メッセージングシステム: Kafka ・分散ストリーム処理システム: Flink ・分散SQLエンジン: Trino ・分散データストア: Druid 上記の技術を駆使して、ビッグデータを安全かつ効率的に活用するためのインフラを提供しています。 また、データサイエンティストが簡単にAI活用できることを目指して、機械学習プラットフォーム（AIプラットフォーム）も独自で構築し提供しています。

※いずれも必須 ・分散システムを利用したデータ基盤の構築、運用の経験(1年以上) ・Python・Java・Goいずれかのプログラミング業務経験(1年以上) ・Kubernetes、Dockerを使ったミドルウェアやサービスの開発と運用の経験

・100台規模以上の分散システムにおけるソフトウェア エンジニアリングまたはシステム エンジニアリングの経験 ・Apache Hadoop、Apache Kafka、Apache Flink、Apache Druidなどを利用したアプリケーションの開発・運用の経験 ・Apache Hadoop、Apache Kafka、Apache Flink、Apache Druidなどエコシステムの運用保守設計、及び運用改善経験 ・KubernetesのClusterやエコシステムの設計、構築、運用経験 ・Web Applicationの開発・運用の経験 ・CI/CDなどによるシステム自動化の経験 ・機械学習のシステム開発やプログラムの実装経験 ・Google Cloud Platform、Amazon Web ServicesでのAI開発経験 ・オープンソースへの貢献

・正解のない問題解決を楽しみ、スピード感を持って品質高く解決に導ける方 ・複数のステークホルダーの要求のなかで課題の優先順位をつけながら解決できる方 ・結果にこだわり最後までやり抜く力がある方

始業および終業の時刻は個人に委ねられています。 但し、標準時間として始業時刻は9:30、終業時刻は18:15です。 ※部署により通常勤務（9:30～18:15）、シフト勤務あり。 ※コアタイムなし