LazyLLM 中的 TrainableModule 为通盘腹地模子 (包括 llm、Embedding、多模态模子等) 提供职业，可用于腹地模子的测验、微销毁推理。调用腹地大模子依赖于其推理职业九游体育app官网，咱们总结一下使用腹地模子进行推理的身手：

（1）通过推理框架入手腹地模子职业；

（2）在 python 剧本中进行接口调用。

LazyLLM 提供了一种特别 lazy 的完满方法，只需将模子场合的旅途传入 LazyLLM 的 TrainableModule 然后通过 start() 函数入手职业即可。这里需要您传入模子文献的悉数旅途，不详建树环境变量 LAZYLLM_MODEL_PATH 指定模子场合的目次，然后将模子称号传入 TrainableModule。若是您腹地莫得该模子，LazyLLM 会为您下载对应模子并存入模子缓存目次，默许情况下会下载到您的家目次下的 ".lazyllm/model" 目次；您不错通过建树“LAZYLLM_MODEL_CACHE_DIR” 环境变量指定模子缓存目次。

值得一提的是 LazyLLM 扶植多种推理框架九游体育app官网，如：LightLLM 和 vLLM 等，在不指定明确框架下 LazyLLM 会阐明模子大小和测试数据等信息，自动为用户遴荐适合的推理框架。若是要明确指定一个推理框架，咱们不错这样来设定