【环境配置】大模型推理、微调、评估、智能体——从零开始

AI摘要:这篇文章主要介绍了在使用Hugging Face模型时的下载环境配置和开源模型部署,以及模型评估的相关步骤。在下载环境配置方面,文章提到了使用huggingface-cli进行模型和数据集的下载,并介绍了国内镜像站的添加方法以及下载加速模块的安装和启用方法。在开源模型部署方面,以Llama-Chinese项目为例,介绍了克隆GitHub项目和下载🤗模型的步骤,以及使用vLLM + Gradio进行推理部署的方法,包括vLLM后端和Gradio前端的安装和启动步骤。在模型评估方面,文章介绍了使用opencompass进行环境配置、数据集下载以及评估任务的具体步骤,并提供了相关参数的设置示例。

- 阅读全文 -

【环境配置】运行环境的封装与迁移指南

AI摘要:这篇文章主要介绍了在使用conda管理Python环境时的几种常见操作方法。首先,作者提到了通过conda的离线安装方式,包括从官网下载和使用TUNA镜像站。接着,文章介绍了如何在本地克隆环境以及如何在同一操作系统中迁移环境,其中包括生成环境的规范列表和通过environment.yml文件导出和重现环境。此外,对于不同平台和操作系统之间的迁移,作者提供了使用conda-pack的方法,详细说明了打包和解包虚拟环境的步骤,并提醒了一些可能出现的问题以及解决方法。最后,文章留下了一个待完成的部分,即关于Docker的内容。

- 阅读全文 -