事業横断ソフトウェアエンジニア<LLM>
同社にて、以下業務をご担当いただきます。
【具体的には】
■LLMワークフローの設計・実装
・多段プロンプト、条件分岐、ツール呼び出し、エージェントワークフローの設計・実装
・LangChain / LangGraph等を用いたワークフロー構築、既存ワークフローの改善
・ストリーミング、コンテキスト長・出力トークン管理、リトライ、タイムアウト、フォールバックなどLLM特有の挙動を踏まえた設計
・LLMマイクロサービスの実装
・評価用・アノテーション用社内ツールの実装
■プロダクト開発・運用改善
・PdMや事業部エンジニアと連携した要件定義、コア価値・コアユーザーの探索
・ユーザー体験上の課題がLLMワークフロー、UI/UX、サーバー、データのどこにあるかを切り分けるための仕組みづくり
・立ち上げ期は検証速度を重視し、運用改善期は保守性・スケーラビリティを高める開発
・本番運用に必要なセキュリティ、権限管理、監査ログ、障害対応、コスト管理
■LLMOps・評価基盤の構築
・入出力ログ、ユーザー行動ログ、評価ログの収集・構造化・保存設計
・評価データセットや評価ケースを用いた評価ハーネスの構築
・LLM-as-a-judge、自動評価、回帰テスト、品質モニタリングの仕組み化
・プロンプトやワークフロー変更の影響を定量的に確認できるCI/CD・検証フローの整備
・レスポンス品質、レイテンシ、コスト、エラー率などの可視化・監視