【2024/04/04】LLMアプリケーションの実験管理・評価の工夫を紹介〜PromptLayerを使った本番運用〜【アーカイブ】
Автор: StudyCo
Загружено: 2024-04-05
Просмотров: 689
発表者Twitter： / ueeeeniki （ぜひフォローお願いします！）
===
LLMアプリケーションの開発が行われるようになり、本番運用している企業も増えてきました。 よいLLMアプリケーションを作るための工夫としてのプロンプトエンジニアリングやRAGなどの手法は、エンジニア界隈では広く一般に知られるようになってきました。
一方、LLMの実験管理や評価の方法についてはまだベストプラクティスが出揃っておらず、各社が手探りで行っているような状態です。評価ができなれば、どれだけLLMアプリケーションの精度改善のプラクティスが出ても、継続的に精度改善していくことはできません。 また、本番運用されるLLMアプリケーションは、精度やビジネスインパクトへの評価だけではなく、コストやレイテンシーを継続的にモニタリングしていくことも重要です。
発表者が所属するPharmaX社でも例に漏れず、手探りで評価方法を確立しようと奮闘しています。本発表では、発表者が得た知見や工夫を整理して発表したいと思います。
※本イベントは発表者の上野 が自社にて行ったイベント『LLMアプリケーションの実験管理・評価についての知見をまとめてみた』の内容と7割程度被ります
こちらの記事もご参考にしてください
・『LLMアプリケーションの実験管理の運用をまとめてみた〜PromptLayerを使った本番運用〜』
(https://zenn.dev/pharmax/articles/d31...)
・『LLMアプリケーションの評価の運用についてまとめてみた』(https://zenn.dev/pharmax/articles/48e...)
===
00:00 はじめに
03:44 LLMアプリケーションの実験管理・評価の工夫を紹介〜PromptLayerを使った本番運用〜
1:13:41 告知
1:16:00 質疑
===
2024/04/04に開催したオンラインセミナーのアーカイブ動画です。
イベントページ：https://studyco.connpass.com/event/31...
===
運営：https://studyco.io
Доступные форматы для скачивания:
Скачать видео mp4
-
Информация по загрузке:
