国内大手Web系企業
国内大手Web系企業
データプラットフォームエンジニア
転勤なし
職種/業界
データサイエンティスト / インターネットサービス年収
600万円～1,800万円勤務地
東京都■自社サービス開発のための、大規模データ向け分散システム（Hadoop、Kafka、Flink、Trino、Druidなど）として提供するData Platform の開発を担当いただきます。 【具体的には】 同社では、日々大量のデータが発生し、大量のデータがData Platformに蓄積されています。トータルでは数百PB以上のデータを蓄積・処理し、データ利活用に役立てています。 この膨大なデータを安定して収集・蓄積・処理するために、専用のデータセンターを活用し、数千台のサーバーを用いて分散システム基盤を構築・運用しています。 ・分散処理フレームワーク: Hadoop ・分散メッセージングシステム: Kafka ・分散ストリーム処理システム: Flink ・分散SQLエンジン: Trino ・分散データストア: Druid 上記の技術を駆使して、ビッグデータを安全かつ効率的に活用するためのインフラを提供しています。 また、データサイエンティストが簡単にAI活用できることを目指して、機械学習プラットフォーム（AIプラットフォーム）も独自で構築し提供しています。