airi_summer_llm_metrics

"Efficient LLM-based metrics for NLG" project at AIRI 2023 Summer School
Презентация

Состав команды

Ментор: Даниил Ларионов
Участники:

1. Алешина Эллина
2. Висков Василий
3. Илюхин Владислав
4. Кокуш Георгий

Инструкция

LLM с регрессионной головой

В файле MT0Regressor/experiments_list.md перечислен полный список всех экспериментов.
Все необходимые модули можно найти в MT0Regressor/requirements.txt
Для воспроизведения каждого из экспериментов достаточно находясь в одной директории с M50Regressor.py запустить код всех ячеек сверхну вниз.
Содержание:

1. MT0Regressor/MT0Regressor.py - главный файл модели, содержит класс MT0Regressor и шаблон для конфига
2. MT0Regressor/eval_mqm.ipynb - ноутбук для валидации на датасете MQM
3. MT0Regressor/experiment_5.ipynb - эксперимент с основной конфигурацией mt0-base encoder+MLP
4. MT0Regressor/experiment_10.ipynb - эксперимент с конфигурацией LoRA mt0-base encoder+MLP
5. MT0Regressor/experiment_12.ipynb - эксперимент с конфигурацией LoRA mt0-large encoder+MLP

LlaMa 2 chat GEMBA promts

Содержание:

1. LlaMa_2_chat_enru_ende.ipynb - ноутбук с экспериментом LlaMa 2 chat с GEMBA-промтом для языковых пар en-d, en-ru,zh-en
2. LlaMa_2_chat_few_shot_promt_ende_enru_zhen.ipynb - ноутбук с экспериментом LlaMa 2 chat с few shot промтом для языковых пар en-d, en-ru,zh-en

txt2txt/seq2seq

Содержание:

1. Approach1_text_generation.ipynb - ноутбук для экспериментов с дообучением LlaMa-2 в варианте causal LM на текстовую генерацию
2. Approach1_seq2seq.ipynb - ноутбук для экспериментов с дообучением MT0 в seq2seq-постановке на генерацию DA-метки
3. Approach1_classification.ipynb - ноутбук для экспериментов с дообучением LlaMa-2 на классификацию последовательности на 3 класса, соответствующие линейному отображению метки DA в натуральное множество меток от 1 до 3 ("звездочки")