Benchmarki dla LLM

[Kleczyk]

Jaki jest cel tego tego zadania

Celem tego zadania jest opracowanie całej logiki przeprowadzania benchmarków, przygotowanie wskaźników określających jakość modeli oraz przygotowanie datasetów dla poszczególnych benchmarków tak aby było to łatow rozszerzalne.

Jak wygląda rozwiązanie?

Rozwiązanie obejmuje stworzenie infrastruktury, w której łatwo można dodawać nowe modele językowe, benchmarki oraz łatwo uruchamiać je na serwerze.

TODO

• Baza danych sqlite
• Benchmark Filtrujący Słabe Modele
• Benchmark Ilościowy w JP (Języku Polskim)
• Benchmark Dialogowy
• Benchmark Matematyczny
• Benchmark Programowania
• Benchmark Wyciągania Danych z Źródła Dokumentu
• Benchmark z Niepoprawnymi Danymi i Błędami w Pisowni
• Benchmark Dotyczący Bezstronności i Etyki

Dodatkowe linki