AIバリューエンジニア＜品質・評価＞
■AIバリューエンジニアとして生成AI／AIエージェントの品質／評価をご担当いただきます。 【具体的には】 ■顧客成果に基づくAI品質設計／評価基盤の構築（50%）：AIの回答／提案によって顧客の作業が前進したかを定義／検証し、リリース可否を判断できる評価の仕組みを作ります ・テキスト、商品画像、図面、CAD画面を扱うAIについて、正確さ、根拠の明確さ、タスク完遂率、安全性に加え、選定／見積もり／購買などの顧客成果を測る評価指標と評価データセットを設計 ・モデル、プロンプト、検索、ルーティングを対象にした自動テスト／人手評価／回帰テストの評価パイプラインを開発 ・実利用ログ、ユーザーフィードバック、A／Bテストを分析し、顧客成果を阻害する要因の特定と優先順位付けを実施 ・精度、顧客成果、応答速度、推論コストのトレードオフを可視化し、リリース基準と改善目標を事業／開発チームと合意 ■AIプロダクトの価値検証／継続改善（30%）：AIが顧客の設計／選定／見積もり／購買をどこまで前進させたかを測定し、改善を主導します ・ECサイトおよびものづくり支援サービスで、ユースケース別の顧客成果指標、検証計画、実験設計を作成 ・AIアーキテクト、プロダクトマネージャー、ドメイン専門家と連携し、品質課題をモデル／データ／検索／体験設計の改善施策へ変換 ・PoCから本番運用まで、品質モニタリング、異常検知、顧客成果と事業KPIへの改善効果の測定を推進 ■モデル／評価手法の研究開発と標準化（20%） ・LLM、SLM、マルチモーダルAIの評価／最適化手法を調査／検証し、製造業のユースケースへ適用 ・評価結果、既知の制約、利用条件を文書化し、チームの品質基準／レビュー手法として定着 ・論文読解、社内勉強会、技術発信を通じたチームのAI品質向上