Skip to content

Basic vLLM backend Test

Danna edited this page Nov 3, 2024 · 1 revision
  1. vllm_example_compile 파일 참고해서 RBLN SDK로 컴파일하기
  2. vllm_api_example.py 파일 참고해서 실행시키기.

compile_tutorial.py 는 기본 llama3 8B 모델
그외에 bllossom, luxia 모델 추가

Clone this wiki locally