ggaaooppeenngg

这篇文章对VLM的架构解释得非常清楚。

一种方法是使用适配器将图片转换为tokens，例如LLaVA使用的prompt based适配器。这种方法类似于RAG的形式，将图片理解的内容补充在对话的上文中。这种适配器会占用LLM的上下文长度，因为图片的tokens会被放入LLM的上文中。目前来说性能会好一些。

前言

在现代数据驱动的世界中，对高效且可扩展的数据存储方案的需求前所未有地强烈。键值数据库因其简洁性和卓越性能而备受推崇。对于那些热爱Rust编程并希望构建自己的键值数据库的开发者来说，这本书将是您的理想起点。笔者将引导您一步一步，从零开始，使用Rust设计和实现一个键值数据库。

Prompt缓存可以从两个角度来处理：

基于相似度的外部缓存

一种是对提示词和结果做相似性对比，对结果缓存，这一部分可以在外部来做，例如 langchain的 llm caching。具体实现方法包括：