港大首推「轻量级RAG神器」MiniRAG，5B模型手机端轻松运行，引领新潮流

MiniRAG针对小型语言模型(SLMs)的局限，重新设计了信息检索和生成流程，实现了高效的知识增强系统，无需依赖大型语言模型，同时保护用户数据隐私。主要设计思路基于对SLMs的三个关键发现，并据此提出了两个核心创新组件：异构图索引和轻量级基于图的知识检索。为评估MiniRAG在实际应用中的表现，研究团队推出了评测数据集LiHua-World，全面覆盖端侧场景下的需求。

实验结果显示，MiniRAG在替换大型语言模型为小型语言模型时，展现出优秀的稳定性，性能降幅远小于其他RAG系统。同时，MiniRAG在存储空间上实现了显著优化。研究团队还通过消融实验和实际场景案例研究，深入分析了MiniRAG各组件的性能贡献和实际应用中的优势。MiniRAG的成功标志着设备端RAG系统研究的重要进展，为边缘AI应用提供了新的发展方向。

标签：

版权声明：本文由用户上传，如有侵权请联系删除！