LEXam: Сравнительный анализ навыков юридического мышления на 340 экзаменах по праву.

Дата: 8 декабря 2025 г. (понедельник)
Время: 17:00 – 18:00
Место проведения: Комната 723, 7-й этаж, башня Ченг Ю Тун, Гонконгский университет

Докладчик: Ю Фан (аспирант, Центр права и экономики, ETH Zurich)

Развернутое юридическое рассуждение остается ключевой проблемой для больших языковых моделей (LLM), несмотря на недавние достижения в масштабировании времени тестирования. Мы представляем LEXam, новый эталонный набор данных, полученный на основе 340 экзаменов по праву, охватывающих 116 курсов юридических факультетов по различным предметам и уровням образования. Набор данных включает 4886 экзаменационных вопросов по праву на английском и немецком языках, в том числе 2841 развернутый вопрос открытого типа и 2045 вопросов с множественным выбором. Помимо эталонных ответов, открытые вопросы также сопровождаются подробными указаниями, описывающими ожидаемый подход к юридическому рассуждению, такой как выявление проблем, запоминание правил или применение правил. Наша оценка как открытых вопросов, так и вопросов с множественным выбором представляет собой значительные трудности для современных моделей юридического анализа; в частности, они испытывают проблемы с открытыми вопросами, требующими структурированного, многоэтапного юридического рассуждения. Более того, наши результаты подчеркивают эффективность набора данных в различении моделей с различными возможностями. Применяя парадигму «юридический аналитик как судья» с тщательной проверкой экспертами, мы демонстрируем, как шаги рассуждения, сгенерированные моделью, могут быть оценены последовательно и точно. Наша схема оценки предоставляет масштабируемый метод оценки качества юридического рассуждения, выходящий за рамки простых показателей точности.

Ю Фан — аспирант Центра права и экономики в ETH Zurich и ассоциированный исследователь в Центре искусственного интеллекта ETH. Его научный руководитель — профессор Эллиот Эш, а соруководитель — профессор Мринмая Сачан. До прихода в Центр он работал научным сотрудником в D-MTEC, ETH Zurich. В сферу его научных интересов входят обработка естественного языка, юридическая обработка естественного языка и вычислительные социальные науки, а текущие проекты сосредоточены на юридическом мышлении и поиске информации.

Модератор: Бенджамин Чен, доцент и директор Центра права и технологий, юридический факультет Гонконгского университета.