データエンジニアリング<運転支援・自動運転システムの研究開発>
■商品開発にフィードバックするデータドリブン開発を支援するためのデータエンジニアリング業務を担っていただきます。
【具体的には】
・データパイプラインの構築:世界中の顧客が使っている同社製品から集めた市場データや、開発車両による公道走行で取得したデータを高速かつ低コストに集約し、使いやすい形に加工変換し、保管するため一連のデータ流れ(ELT/ETL)の設計・構築
・データ基盤の設計・構築:収集したデータを効率的に管理するため仕組み(データレイク、データウェアハウスなど)をクラウド上に構築また、保存されているデータの可視化や、使いたいデータを検索するためのダッシュボードを構築
・データ品質管理(データクレンジング):データの欠損や不整合などを解消し、分析に使える品質の高いデータに整える
・データガバナンス:データのセキュリティやアクセス管理など、データを適切に管理・利用するためのルールの作成と徹底
【開発ツール】
業務では以下のような開発ツールを使用していますが、全てについて使用経験がある必要はありません。
■AWS: Lambda、SageMaker, Athena, Redshift 等
■CI/CD: GitLab, Docker, Ansible, Terraform, Jenkins 等
■データウェアハウスツール:SnowFlake、Databricks
■言語:Python, SQL
■データ分析・AIライブラリ:numpy, scipy, scikit-learn, Jupyter Notebook, PyTorch)