该项目主要研究如何能够让LLM之类的巨大模型能够成功部署并运行在消费级设备上，目前的Chatbot方面的demo已经包含了iOS、消费级PC以及WebGPU平台。运行在本地的LLM会大大减少有限上下文的问题对模型造成的限制，去掉了网络调用和token成本，只要本地处理速度逐步提升，就可以给用户几乎无限上下文的体验。如果本地模型和云端模型结合使用，理论上应该能够完美的实现真正的终端智能化。
数据统计
相关导航
暂无评论...
该项目主要研究如何能够让LLM之类的巨大模型能够成功部署并运行在消费级设备上，目前的Chatbot方面的demo已经包含了iOS、消费级PC以及WebGPU平台。运行在本地的LLM会大大减少有限上下文的问题对模型造成的限制，去掉了网络调用和token成本，只要本地处理速度逐步提升，就可以给用户几乎无限上下文的体验。如果本地模型和云端模型结合使用，理论上应该能够完美的实现真正的终端智能化。