企業情報を見る
データエンジニアリング<運転支援・自動運転システムの研究開発>
■商品開発にフィードバックするデータドリブン開発を支援するためのデータエンジニアリング業務を担っていただきます。 【具体的には】 ・データパイプラインの構築:世界中の顧客が使っている同社製品から集めた市場データや、開発車両による公道走行で取得したデータを高速かつ低コストに集約し、使いやすい形に加工変換し、保管するため一連のデータ流れ(ELT/ETL)の設計・構築 ・データ基盤の設計・構築:収集したデータを効率的に管理するため仕組み(データレイク、データウェアハウスなど)をクラウド上に構築また、保存されているデータの可視化や、使いたいデータを検索するためのダッシュボードを構築 ・データ品質管理(データクレンジング):データの欠損や不整合などを解消し、分析に使える品質の高いデータに整える ・データガバナンス:データのセキュリティやアクセス管理など、データを適切に管理・利用するためのルールの作成と徹底 【開発ツール】 業務では以下のような開発ツールを使用していますが、全てについて使用経験がある必要はありません。 ■AWS: Lambda、SageMaker, Athena, Redshift 等 ■CI/CD: GitLab, Docker, Ansible, Terraform, Jenkins 等 ■データウェアハウスツール:SnowFlake、Databricks ■言語:Python, SQL ■データ分析・AIライブラリ:numpy, scipy, scikit-learn, Jupyter Notebook, PyTorch)