파일 설명

docker

• docker container (mysql)

init

• mysql db : malhaedgh_db 생성 init 쿼리 정의 (init.sql)

malhaedgh_backend

$ uvicorn main:app --host 0.0.0.0 --port 8000 --reload 여기서 로컬 서버 실행

• prompt

  • sLLM이 실행하는 prompt 모음 > 버전별로 관리

• rag_data

  • sLLM이 하나의 Alert 생성마다 사용한 크롤링 data input 모음 (추후에 RAG시 사용)
• ModelLoader.py : vLLM으로 실제 sLLM 돌리고 추론하는 파일

ETC

• dockerfile : mysql-container image 생성용 파일

• ko_llama3-luxia-8B_compile.py : luxia-8B ko파인튜닝 rbln compile용 파일

• llama-3-Korean-Bllossom-8B_compile.py : Bllossom-8B ko파인튜닝 rbln compile용 파일

• simple_vllm_client.py : 기본 grpcio rbln 모델 동작 코드

• compile_tutorial.py : 기본 rbln zoo llama3 8B 컴파일 코드

• inference_tutorial.py : 기본 rbln zoo llama3 8B 컴파일모델 추론 코드

• vllm_api_example.py : Continuous Batching vllm-rbln 예제코드 llama3 8B 수정 .ver

• vllm_example_compile.py : vllm_api_example.py 코드 실행을 위한 batch size 4 모델 컴파일 코드

vllm_example_compile.py에서 batchsize 등 모델 관련 수정해서 vllm_backend에 넣어줘야함.