Some Python related errors resulting in "Host [llama-gpt-api:8000] not yet available..." and exit code of 1

[shareef-dweikat]

I am trying to run ./run.sh --model 7b, i get the following error log ending with llama-gpt-llama-gpt-api-1 exited with code 1

llama-gpt-llama-gpt-api-1 | /usr/local/lib/python3.11/site-packages/setuptools/command/develop.py:40: EasyInstallDeprecationWarning: easy_install command is deprecated. llama-gpt-llama-gpt-api-1 | !! llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | ******************************************************************************** llama-gpt-llama-gpt-api-1 | Please avoid running ``setup.py`` and ``easy_install``. llama-gpt-llama-gpt-api-1 | Instead, use pypa/build, pypa/installer or other llama-gpt-llama-gpt-api-1 | standards-based tools. llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | See https://github.com/pypa/setuptools/issues/917 for details. llama-gpt-llama-gpt-api-1 | ******************************************************************************** llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | !! llama-gpt-llama-gpt-api-1 | easy_install.initialize_options(self) llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | [0/1] Install the project... llama-gpt-llama-gpt-api-1 | -- Install configuration: "Release" llama-gpt-llama-gpt-api-1 | -- Up-to-date: /app/_skbuild/linux-aarch64-3.11/cmake-install/llama_cpp/libllama.so llama-gpt-llama-gpt-api-1 | copying _skbuild/linux-aarch64-3.11/cmake-install/llama_cpp/libllama.so -> llama_cpp/libllama.so llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | running develop llama-gpt-llama-gpt-api-1 | /usr/local/lib/python3.11/site-packages/setuptools/_distutils/cmd.py:66: SetuptoolsDeprecationWarning: setup.py install is deprecated. llama-gpt-llama-gpt-api-1 | !! llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | ******************************************************************************** llama-gpt-llama-gpt-api-1 | Please avoid running ``setup.py`` directly. llama-gpt-llama-gpt-api-1 | Instead, use pypa/build, pypa/installer or other llama-gpt-llama-gpt-api-1 | standards-based tools. llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | See https://blog.ganssle.io/articles/2021/10/setup-py-deprecated.html for details. llama-gpt-llama-gpt-api-1 | ******************************************************************************** llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | !! llama-gpt-llama-gpt-api-1 | self.initialize_options() llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | running egg_info llama-gpt-llama-gpt-api-1 | writing llama_cpp_python.egg-info/PKG-INFO llama-gpt-llama-gpt-api-1 | writing dependency_links to llama_cpp_python.egg-info/dependency_links.txt llama-gpt-llama-gpt-api-1 | writing requirements to llama_cpp_python.egg-info/requires.txt llama-gpt-llama-gpt-api-1 | writing top-level names to llama_cpp_python.egg-info/top_level.txt llama-gpt-llama-gpt-api-1 | reading manifest file 'llama_cpp_python.egg-info/SOURCES.txt' llama-gpt-llama-gpt-api-1 | adding license file 'LICENSE.md' llama-gpt-llama-gpt-api-1 | writing manifest file 'llama_cpp_python.egg-info/SOURCES.txt' llama-gpt-llama-gpt-api-1 | running build_ext llama-gpt-llama-gpt-api-1 | Creating /usr/local/lib/python3.11/site-packages/llama-cpp-python.egg-link (link to .) llama-gpt-llama-gpt-api-1 | llama-cpp-python 0.1.78 is already the active version in easy-install.pth llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | Installed /app llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | Processing dependencies for llama-cpp-python==0.1.78 llama-gpt-llama-gpt-api-1 | Searching for diskcache==5.6.1 llama-gpt-llama-gpt-api-1 | Best match: diskcache 5.6.1 llama-gpt-llama-gpt-api-1 | Processing diskcache-5.6.1-py3.11.egg llama-gpt-llama-gpt-api-1 | Adding diskcache 5.6.1 to easy-install.pth file llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | Using /usr/local/lib/python3.11/site-packages/diskcache-5.6.1-py3.11.egg llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | Searching for numpy==1.26.0b1 llama-gpt-llama-gpt-api-1 | Best match: numpy 1.26.0b1 llama-gpt-llama-gpt-api-1 | Processing numpy-1.26.0b1-py3.11-linux-aarch64.egg llama-gpt-llama-gpt-api-1 | Adding numpy 1.26.0b1 to easy-install.pth file llama-gpt-llama-gpt-api-1 | Installing f2py script to /usr/local/bin llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | Using /usr/local/lib/python3.11/site-packages/numpy-1.26.0b1-py3.11-linux-aarch64.egg llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | Searching for typing-extensions==4.7.1 llama-gpt-llama-gpt-api-1 | Best match: typing-extensions 4.7.1 llama-gpt-llama-gpt-api-1 | Adding typing-extensions 4.7.1 to easy-install.pth file llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | Using /usr/local/lib/python3.11/site-packages llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | Finished processing dependencies for llama-cpp-python==0.1.78 llama-gpt-llama-gpt-api-1 | Initializing server with: llama-gpt-llama-gpt-api-1 | Batch size: 2096 llama-gpt-llama-gpt-api-1 | Number of CPU threads: 4 llama-gpt-llama-gpt-api-1 | Number of GPU layers: 0 llama-gpt-llama-gpt-api-1 | Context window: 4096 llama-gpt-llama-gpt-api-1 | /usr/local/lib/python3.11/site-packages/pydantic/_internal/_fields.py:127: UserWarning: Field "model_alias" has conflict with protected namespace "model_". llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | You may be able to resolve this warning by setting model_config['protected_namespaces'] = ('settings_',). llama-gpt-llama-gpt-api-1 | warnings.warn( llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | llama.cpp: loading model from /models/llama-2-7b-chat.bin llama-gpt-llama-gpt-api-1 | llama_model_load_internal: format = ggjt v3 (latest) llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_vocab = 32000 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_ctx = 4096 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_embd = 4096 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_mult = 5504 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_head = 32 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_head_kv = 32 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_layer = 32 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_rot = 128 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_gqa = 1 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: rnorm_eps = 5.0e-06 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_ff = 11008 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: freq_base = 10000.0 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: freq_scale = 1 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: ftype = 2 (mostly Q4_0) llama-gpt-llama-gpt-api-1 | llama_model_load_internal: model size = 7B llama-gpt-llama-gpt-api-1 | llama_model_load_internal: ggml ctx size = 0.01 MB llama-gpt-llama-gpt-api-1 | error loading model: llama.cpp: tensor 'layers.1.ffn_norm.weight' is missing from model llama-gpt-llama-gpt-api-1 | llama_load_model_from_file: failed to load model llama-gpt-llama-gpt-api-1 | Traceback (most recent call last): llama-gpt-llama-gpt-api-1 | File "<frozen runpy>", line 198, in _run_module_as_main llama-gpt-llama-gpt-api-1 | File "<frozen runpy>", line 88, in _run_code llama-gpt-llama-gpt-api-1 | File "/app/llama_cpp/server/__main__.py", line 46, in <module> llama-gpt-llama-gpt-api-1 | app = create_app(settings=settings) llama-gpt-llama-gpt-api-1 | ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ llama-gpt-llama-gpt-api-1 | File "/app/llama_cpp/server/app.py", line 317, in create_app llama-gpt-llama-gpt-api-1 | llama = llama_cpp.Llama( llama-gpt-llama-gpt-api-1 | ^^^^^^^^^^^^^^^^ llama-gpt-llama-gpt-api-1 | File "/app/llama_cpp/llama.py", line 328, in __init__ llama-gpt-llama-gpt-api-1 | assert self.model is not None llama-gpt-llama-gpt-api-1 | ^^^^^^^^^^^^^^^^^^^^^^ llama-gpt-llama-gpt-api-1 | AssertionError llama-gpt-llama-gpt-api-1 exited with code 1 llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api:8000] not yet available...

[thgoebel]

I had the same issue. I got it to work by removing the SHA pin: https://github.com/getumbrel/llama-gpt/blob/4b66ea3/docker-compose-gguf.yml#L6

image: ghcr.io/abetlen/llama-cpp-python:latest

This Docker Compose hasn't been updated in ~1 year, so it's likely that abetlen/llama-cpp-python image has had fixes since then...