LlamaIndex

LlamaIndex 提供了专用于第三方兼容服务的 OpenAILike 模块。与标准的 OpenAI 类相比，该模块允许传入自定义的模型标识符，不会在客户端进行严格的官方模型白名单校验。

安装依赖模块

pip install llama-index-llms-openai-like

配置 OpenAILike 模型

在构造 OpenAILike 实例时，指定服务端 Base URL 与模型参数：

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="MODEL_ID",
    api_base="https://console.anystarx.com/v1",
    api_key=os.environ["ANYSTARX_API_KEY"],
    is_chat_model=True,
    is_function_calling_model=True,
)

response = llm.complete("请用一句话介绍 AnyStarX。")
print(response)

关键参数配置说明：

• is_chat_model=True：强制客户端调用 /chat/completions 路由而非传统的文本补全接口，接入当前端点时必须启用。
• is_function_calling_model：声明模型是否支持结构化工具调用。使用具备函数调用能力的模型时配置为 True；如果使用的模型不支持该特性，应配置为 False，避免在 Agent 场景中触发协议异常。

配置全局默认 LLM

如果希望在整个应用程序（包含索引构建、查询引擎与检索管道）中默认使用该模型，可以通过全局设置进行注入：

from llama_index.core import Settings

Settings.llm = llm

接入说明与排错

• OpenAILike 组件仅负责处理文本生成与对话模型。如果知识库检索涉及向量化嵌入（Embedding），需要单独配置相应的向量模型组件。
• 若调用时收到 model_not_found 报错，首先确认 model 参数传入的标识符与控制台列表完全一致，并确认 api_base 仅填写至 /v1，未在末尾追加具体接口路由。