fixes, so many fixes [circular import bonanza] (#11032)

.github/workflows/unit_test.yml

@@ -11,7 +11,7 @@ env:
 
 jobs:
   test:
-    runs-on: ubuntu-latest-4core
+    runs-on: ubuntu-latest-unit-tester
     strategy:
       # You can use PyPy versions in python-version.
       # For example, pypy-2.7 and pypy-3.8

docs/examples/pipeline/query_pipeline.ipynb

@@ -982,14 +982,14 @@
     "    OutputKeys,\n",
     ")\n",
     "from typing import Dict, Any\n",
-    "from llama_index.core.llms.llm import BaseLLM\n",
+    "from llama_index.core.llms.llm import LLM\n",
     "from pydantic import Field\n",
     "\n",
     "\n",
     "class RelatedMovieComponent(CustomQueryComponent):\n",
     "    \"\"\"Related movie component.\"\"\"\n",
     "\n",
-    "    llm: BaseLLM = Field(..., description=\"OpenAI LLM\")\n",
+    "    llm: LLM = Field(..., description=\"OpenAI LLM\")\n",
     "\n",
     "    def _validate_component_inputs(\n",
     "        self, input: Dict[str, Any]\n",

docs/module_guides/models/llms/usage_custom.md

@@ -180,7 +180,7 @@ from llama_index.core.llms import (
     CompletionResponseGen,
     LLMMetadata,
 )
-from llama_index.core.llms.base import llm_completion_callback
+from llama_index.core.llms.callbacks import llm_completion_callback
 from llama_index.core import Settings
 
 

llama-index-core/llama_index/core/__init__.py

@@ -1,6 +1,6 @@
 """Init file of LlamaIndex."""
 
-__version__ = "0.10.7"
+__version__ = "0.10.8.post1"
 
 import logging
 from logging import NullHandler

llama-index-core/llama_index/core/agent/legacy/react/base.py

@@ -34,7 +34,7 @@
     AgentChatResponse,
     StreamingAgentChatResponse,
 )
-from llama_index.core.llms.base import ChatMessage, ChatResponse
+from llama_index.core.base.llms.types import ChatMessage, ChatResponse
 from llama_index.core.llms.llm import LLM
 from llama_index.core.memory.chat_memory_buffer import ChatMemoryBuffer
 from llama_index.core.memory.types import BaseMemory

llama-index-core/llama_index/core/agent/react/step.py

@@ -42,7 +42,7 @@
     AgentChatResponse,
     StreamingAgentChatResponse,
 )
-from llama_index.core.llms.base import ChatMessage, ChatResponse
+from llama_index.core.base.llms.types import ChatMessage, ChatResponse
 from llama_index.core.llms.llm import LLM
 from llama_index.core.memory.chat_memory_buffer import ChatMemoryBuffer
 from llama_index.core.memory.types import BaseMemory

llama-index-core/llama_index/core/agent/react_multimodal/step.py

@@ -32,7 +32,7 @@
     AGENT_CHAT_RESPONSE_TYPE,
     AgentChatResponse,
 )
-from llama_index.core.llms.base import ChatMessage, ChatResponse
+from llama_index.core.base.llms.types import ChatMessage, ChatResponse
 from llama_index.core.memory.chat_memory_buffer import ChatMemoryBuffer
 from llama_index.core.memory.types import BaseMemory
 from llama_index.core.multi_modal_llms.base import MultiModalLLM

llama-index-core/llama_index/core/agent/runner/base.py

@@ -23,7 +23,7 @@
     ChatResponseMode,
     StreamingAgentChatResponse,
 )
-from llama_index.core.llms.base import ChatMessage
+from llama_index.core.base.llms.types import ChatMessage
 from llama_index.core.llms.llm import LLM
 from llama_index.core.memory import BaseMemory, ChatMemoryBuffer
 from llama_index.core.memory.types import BaseMemory

llama-index-core/llama_index/core/agent/runner/parallel.py

@@ -24,7 +24,7 @@
     ChatResponseMode,
     StreamingAgentChatResponse,
 )
-from llama_index.core.llms.base import ChatMessage
+from llama_index.core.base.llms.types import ChatMessage
 from llama_index.core.llms.llm import LLM
 from llama_index.core.memory import BaseMemory, ChatMemoryBuffer
 from llama_index.core.memory.types import BaseMemory

llama-index-core/llama_index/core/agent/utils.py

@@ -1,9 +1,7 @@
 """Agent utils."""
 
-
 from llama_index.core.agent.types import TaskStep
-from llama_index.core.base.llms.types import MessageRole
-from llama_index.core.llms.base import ChatMessage
+from llama_index.core.base.llms.types import ChatMessage, MessageRole
 from llama_index.core.memory import BaseMemory
 
 

llama-index-core/llama_index/core/chat_engine/condense_plus_context.py

@@ -14,7 +14,7 @@
 from llama_index.core.indices.base_retriever import BaseRetriever
 from llama_index.core.indices.query.schema import QueryBundle
 from llama_index.core.indices.service_context import ServiceContext
-from llama_index.core.llms.generic_utils import messages_to_history_str
+from llama_index.core.base.llms.generic_utils import messages_to_history_str
 from llama_index.core.llms.llm import LLM
 from llama_index.core.memory import BaseMemory, ChatMemoryBuffer
 from llama_index.core.postprocessor.types import BaseNodePostprocessor

llama-index-core/llama_index/core/chat_engine/condense_question.py

@@ -13,7 +13,7 @@
 )
 from llama_index.core.chat_engine.utils import response_gen_from_query_engine
 from llama_index.core.embeddings.mock_embed_model import MockEmbedding
-from llama_index.core.llms.generic_utils import messages_to_history_str
+from llama_index.core.base.llms.generic_utils import messages_to_history_str
 from llama_index.core.llms.llm import LLM
 from llama_index.core.memory import BaseMemory, ChatMemoryBuffer
 from llama_index.core.prompts.base import BasePromptTemplate, PromptTemplate

llama-index-core/llama_index/core/llms/custom.py

@@ -12,7 +12,7 @@
     llm_chat_callback,
     llm_completion_callback,
 )
-from llama_index.core.llms.generic_utils import (
+from llama_index.core.base.llms.generic_utils import (
     completion_response_to_chat_response,
     stream_completion_response_to_chat_response,
 )

llama-index-core/llama_index/core/llms/llm.py

@@ -33,11 +33,11 @@
     validator,
 )
 from llama_index.core.callbacks import CBEventType, EventPayload
-from llama_index.core.llms.base import BaseLLM
-from llama_index.core.llms.generic_utils import (
+from llama_index.core.base.llms.base import BaseLLM
+from llama_index.core.base.llms.generic_utils import (
     messages_to_prompt as generic_messages_to_prompt,
 )
-from llama_index.core.llms.generic_utils import (
+from llama_index.core.base.llms.generic_utils import (
     prompt_to_messages,
 )
 from llama_index.core.prompts import BasePromptTemplate, PromptTemplate

llama-index-core/llama_index/core/prompts/base.py

@@ -34,11 +34,11 @@
     validate_and_convert_stringable,
 )
 from llama_index.core.bridge.pydantic import BaseModel
-from llama_index.core.llms.base import BaseLLM
-from llama_index.core.llms.generic_utils import (
+from llama_index.core.base.llms.base import BaseLLM
+from llama_index.core.base.llms.generic_utils import (
     messages_to_prompt as default_messages_to_prompt,
 )
-from llama_index.core.llms.generic_utils import (
+from llama_index.core.base.llms.generic_utils import (
     prompt_to_messages,
 )
 from llama_index.core.prompts.prompt_type import PromptType

llama-index-core/llama_index/core/prompts/utils.py

@@ -1,7 +1,7 @@
 from string import Formatter
 from typing import List
 
-from llama_index.core.llms.base import BaseLLM
+from llama_index.core.base.llms.base import BaseLLM
 
 
 def get_template_vars(template_str: str) -> List[str]:

llama-index-core/llama_index/core/service_context.py

@@ -13,7 +13,7 @@
     LLMPredictor,
     BaseLLMPredictor,
 )
-from llama_index.core.llms.base import LLMMetadata
+from llama_index.core.base.llms.types import LLMMetadata
 from llama_index.core.llms.llm import LLM
 from llama_index.core.llms.utils import LLMType, resolve_llm
 from llama_index.core.service_context_elements.llama_logger import LlamaLogger

llama-index-core/pyproject.toml

@@ -42,7 +42,7 @@ name = "llama-index-core"
 packages = [{include = "llama_index"}]
 readme = "README.md"
 repository = "https://github.com/run-llama/llama_index"
-version = "0.10.8"
+version = "0.10.8.post1"
 
 [tool.poetry.dependencies]
 SQLAlchemy = {extras = ["asyncio"], version = ">=1.4.49"}

llama-index-finetuning/llama_index/finetuning/callbacks/finetuning_handler.py

@@ -187,7 +187,7 @@ def save_finetuning_events(self, path: str) -> None:
         },
         ...
         """
-        from llama_index.core.llms.generic_utils import messages_to_history_str
+        from llama_index.core.base.llms.generic_utils import messages_to_history_str
 
         events_dict = self.get_finetuning_events()
         json_strs = []

llama-index-integrations/agent/llama-index-agent-openai/llama_index/agent/openai/base.py

@@ -18,7 +18,7 @@
 from llama_index.agent.openai.step import OpenAIAgentWorker
 from llama_index.core.agent.runner.base import AgentRunner
 from llama_index.core.callbacks import CallbackManager
-from llama_index.core.llms.base import ChatMessage
+from llama_index.core.base.llms.types import ChatMessage
 from llama_index.core.llms.llm import LLM
 from llama_index.core.memory.chat_memory_buffer import ChatMemoryBuffer
 from llama_index.core.memory.types import BaseMemory

llama-index-integrations/agent/llama-index-agent-openai/llama_index/agent/openai/step.py

@@ -28,7 +28,7 @@
     ChatResponseMode,
     StreamingAgentChatResponse,
 )
-from llama_index.core.llms.base import ChatMessage, ChatResponse
+from llama_index.core.base.llms.types import ChatMessage, ChatResponse
 from llama_index.core.llms.llm import LLM
 from llama_index.core.memory import BaseMemory, ChatMemoryBuffer
 from llama_index.core.objects.base import ObjectRetriever

llama-index-integrations/callbacks/llama-index-callbacks-arize-phoenix/examples/query_pipeline.ipynb

@@ -937,20 +937,19 @@
    "metadata": {},
    "outputs": [],
    "source": [
-    "from llama_index.query_pipeline import (\n",
+    "from llama_index.core.query_pipeline import (\n",
     "    CustomQueryComponent,\n",
-    "    InputKeys,\n",
-    "    OutputKeys,\n",
     ")\n",
+    "from llama_index.core.base.query_pipeline.query import InputKeys, OutputKeys\n",
     "from typing import Dict, Any\n",
-    "from llama_index.llms.llm import BaseLLM\n",
+    "from llama_index.core.llms.llm import LLM\n",
     "from pydantic import Field\n",
     "\n",
     "\n",
     "class RelatedMovieComponent(CustomQueryComponent):\n",
     "    \"\"\"Related movie component.\"\"\"\n",
     "\n",
-    "    llm: BaseLLM = Field(..., description=\"OpenAI LLM\")\n",
+    "    llm: LLM = Field(..., description=\"OpenAI LLM\")\n",
     "\n",
     "    def _validate_component_inputs(self, input: Dict[str, Any]) -> Dict[str, Any]:\n",
     "        \"\"\"Validate component inputs during run_component.\"\"\"\n",
@@ -1080,9 +1079,9 @@
  ],
  "metadata": {
   "kernelspec": {
-   "display_name": "llama_integrations",
+   "display_name": "llama-index-4aB9_5sa-py3.10",
    "language": "python",
-   "name": "llama_integrations"
+   "name": "python3"
   },
   "language_info": {
    "codemirror_mode": {

llama-index-integrations/embeddings/llama-index-embeddings-anyscale/llama_index/embeddings/anyscale/utils.py

@@ -1,6 +1,6 @@
 from typing import Optional, Tuple
 
-from llama_index.core.llms.generic_utils import get_from_param_or_env
+from llama_index.core.base.llms.generic_utils import get_from_param_or_env
 
 DEFAULT_ANYSCALE_API_BASE = "https://api.endpoints.anyscale.com/v1"
 DEFAULT_ANYSCALE_API_VERSION = ""

llama-index-integrations/embeddings/llama-index-embeddings-azure-openai/llama_index/embeddings/azure_openai/base.py

@@ -4,7 +4,7 @@
 from llama_index.core.bridge.pydantic import Field, PrivateAttr, root_validator
 from llama_index.core.callbacks.base import CallbackManager
 from llama_index.core.constants import DEFAULT_EMBED_BATCH_SIZE
-from llama_index.core.llms.generic_utils import get_from_param_or_env
+from llama_index.core.base.llms.generic_utils import get_from_param_or_env
 from llama_index.embeddings.openai import (
     OpenAIEmbedding,
     OpenAIEmbeddingMode,

llama-index-integrations/embeddings/llama-index-embeddings-jinaai/llama_index/embeddings/jinaai/base.py

@@ -9,7 +9,7 @@
 )
 from llama_index.core.bridge.pydantic import Field, PrivateAttr
 from llama_index.core.callbacks.base import CallbackManager
-from llama_index.core.llms.generic_utils import get_from_param_or_env
+from llama_index.core.base.llms.generic_utils import get_from_param_or_env
 
 MAX_BATCH_SIZE = 2048
 

llama-index-integrations/embeddings/llama-index-embeddings-mistralai/llama_index/embeddings/mistralai/base.py

@@ -8,7 +8,7 @@
 )
 from llama_index.core.bridge.pydantic import PrivateAttr
 from llama_index.core.callbacks.base import CallbackManager
-from llama_index.core.llms.generic_utils import get_from_param_or_env
+from llama_index.core.base.llms.generic_utils import get_from_param_or_env
 
 from mistralai.async_client import MistralAsyncClient
 from mistralai.client import MistralClient

llama-index-integrations/embeddings/llama-index-embeddings-openai/llama_index/embeddings/openai/utils.py

@@ -2,7 +2,7 @@
 import os
 from typing import Any, Callable, Optional, Tuple, Union
 
-from llama_index.core.llms.generic_utils import get_from_param_or_env
+from llama_index.core.base.llms.generic_utils import get_from_param_or_env
 from tenacity import (
     before_sleep_log,
     retry,

llama-index-integrations/llms/llama-index-llms-ai21/llama_index/llms/ai21/base.py

@@ -12,7 +12,7 @@
 from llama_index.core.callbacks import CallbackManager
 from llama_index.core.llms.callbacks import llm_chat_callback, llm_completion_callback
 from llama_index.core.llms.custom import CustomLLM
-from llama_index.core.llms.generic_utils import (
+from llama_index.core.base.llms.generic_utils import (
     completion_to_chat_decorator,
     get_from_param_or_env,
 )

llama-index-integrations/llms/llama-index-llms-ai21/tests/test_llms_ai21.py

@@ -1,4 +1,4 @@
-from llama_index.core.llms.base import BaseLLM
+from llama_index.core.base.llms.base import BaseLLM
 from llama_index.llms.ai21 import AI21
 
 

llama-index-integrations/llms/llama-index-llms-anthropic/llama_index/llms/anthropic/base.py

@@ -18,7 +18,7 @@
     llm_chat_callback,
     llm_completion_callback,
 )
-from llama_index.core.llms.generic_utils import (
+from llama_index.core.base.llms.generic_utils import (
     achat_to_completion_decorator,
     astream_chat_to_completion_decorator,
     chat_to_completion_decorator,

llama-index-integrations/llms/llama-index-llms-anthropic/tests/test_llms_anthropic.py

@@ -1,4 +1,4 @@
-from llama_index.core.llms.base import BaseLLM
+from llama_index.core.base.llms.base import BaseLLM
 from llama_index.llms.anthropic import Anthropic
 
 

llama-index-integrations/llms/llama-index-llms-anyscale/llama_index/llms/anyscale/base.py

@@ -3,7 +3,7 @@
 from llama_index.core.base.llms.types import ChatMessage, LLMMetadata
 from llama_index.core.callbacks import CallbackManager
 from llama_index.core.constants import DEFAULT_NUM_OUTPUTS, DEFAULT_TEMPERATURE
-from llama_index.core.llms.generic_utils import get_from_param_or_env
+from llama_index.core.base.llms.generic_utils import get_from_param_or_env
 from llama_index.core.types import BaseOutputParser, PydanticProgramMode
 from llama_index.llms.anyscale.utils import (
     anyscale_modelname_to_contextsize,

llama-index-integrations/llms/llama-index-llms-anyscale/llama_index/llms/anyscale/utils.py

@@ -1,7 +1,7 @@
 from typing import Any, Dict, List, Optional, Sequence, Tuple
 
 from llama_index.core.base.llms.types import ChatMessage, MessageRole
-from llama_index.core.llms.generic_utils import get_from_param_or_env
+from llama_index.core.base.llms.generic_utils import get_from_param_or_env
 
 DEFAULT_ANYSCALE_API_BASE = "https://api.endpoints.anyscale.com/v1"
 DEFAULT_ANYSCALE_API_VERSION = ""

llama-index-integrations/llms/llama-index-llms-anyscale/tests/test_llms_anyscale.py

@@ -1,4 +1,4 @@
-from llama_index.core.llms.base import BaseLLM
+from llama_index.core.base.llms.base import BaseLLM
 from llama_index.llms.anyscale import Anyscale
 
 

llama-index-integrations/llms/llama-index-llms-azure-openai/llama_index/llms/azure_openai/base.py

@@ -4,7 +4,7 @@
 from llama_index.core.base.llms.types import ChatMessage
 from llama_index.core.bridge.pydantic import Field, PrivateAttr, root_validator
 from llama_index.core.callbacks import CallbackManager
-from llama_index.core.llms.generic_utils import get_from_param_or_env
+from llama_index.core.base.llms.generic_utils import get_from_param_or_env
 from llama_index.core.types import BaseOutputParser, PydanticProgramMode
 from llama_index.llms.azure_openai.utils import (
     refresh_openai_azuread_token,

llama-index-integrations/llms/llama-index-llms-azure-openai/tests/test_llms_azure_openai.py

@@ -1,4 +1,4 @@
-from llama_index.core.llms.base import BaseLLM
+from llama_index.core.base.llms.base import BaseLLM
 from llama_index.llms.azure_openai import AzureOpenAI
 
 

llama-index-integrations/llms/llama-index-llms-bedrock/llama_index/llms/bedrock/base.py

@@ -20,7 +20,7 @@
     llm_chat_callback,
     llm_completion_callback,
 )
-from llama_index.core.llms.generic_utils import (
+from llama_index.core.base.llms.generic_utils import (
     completion_response_to_chat_response,
     stream_completion_response_to_chat_response,
 )

llama-index-integrations/llms/llama-index-llms-bedrock/llama_index/llms/bedrock/utils.py

@@ -3,7 +3,7 @@
 from typing import Any, Callable, Optional, Sequence
 
 from llama_index.core.base.llms.types import ChatMessage
-from llama_index.core.llms.generic_utils import (
+from llama_index.core.base.llms.generic_utils import (
     prompt_to_messages,
 )
 from llama_index.llms.anthropic.utils import messages_to_anthropic_prompt

llama-index-integrations/llms/llama-index-llms-bedrock/tests/test_llms_bedrock.py

@@ -1,4 +1,4 @@
-from llama_index.core.llms.base import BaseLLM
+from llama_index.core.base.llms.base import BaseLLM
 from llama_index.llms.bedrock import Bedrock
 
 

llama-index-integrations/llms/llama-index-llms-cohere/tests/test_llms_cohere.py

@@ -1,4 +1,4 @@
-from llama_index.core.llms.base import BaseLLM
+from llama_index.core.base.llms.base import BaseLLM
 from llama_index.llms.cohere import Cohere
 
 

llama-index-integrations/llms/llama-index-llms-dashscope/tests/test_llms_dashscope.py

@@ -1,4 +1,4 @@
-from llama_index.core.llms.base import BaseLLM
+from llama_index.core.base.llms.base import BaseLLM
 from llama_index.llms.dashscope import DashScope