Lancedb是一个用于人工智能的开源矢量数据库，旨在存储、管理、查询和检索大规模多模式数据的嵌入。Lancedb的核心是用Rust编写的，并构建在Lance之上，专为高性能 ML 工作负载和快速随机...

Chroma是一款AI开源向量数据库，用于快速构建基于LLM的应用，支持Python和Javascript语言。具备轻量化、快速安装等特点，可与Langchain、LlamaIndex等知名LLM框架...

Ollama是一款免费开源的工具，拥有开箱即用的大模型，省去安装环境和下载模型的步骤，让零基础的人也能用起大模型。

在LLM出现之前，传统的深度学习模型就已经需要大量的数据进行训练和微调。没有足够的数据，或者数据需要进行二次加工，这些问题都成为限制深度学习模型泛化的关键。对于第一个问题，一般就是从网络上爬虫或者花大...

通过向量模型对文本进行切分

本文整理了一些简单的文本切分方式，适用于大语言模型经典应用RAG或相似场景。