主流高端车型已“尝鲜”Agent应用,但以车机APP调用云端第三方Agent服务为主,只能在第三方Agent服务能力范围内设计场景,无法根据自身需求灵活扩展,而且网络延迟较大,体验远达不到用户预期,“尝鲜”之后便极少使用。
随着座舱Agent从纯云端向云+端发展,从各Agent彼此独立向多Agent协作演进,主机厂迫切需要以场景需求出发来选择合适的LLM能力,并且可以Finetuning模型到车机端进行推理,降低延迟的同时保护用户隐私,给用户更加主动、自然、实时且安全的座舱体验。
当前,使用ToC为主的云端大模型服务平台开发Agent限制较多,难以满足主机厂定制化需求;使用开源框架易用性及拓展性不足,难以应对越来越复杂的场景需求,并且不管使用哪种方式,都难以快速迁移到端侧。解决办法是打造一套满足座舱云Agent+端Agent架构的LLM基础设施,支持云端及终端使用相同的开发流程开发Agent,并且可以灵活应对客户的扩展及定制需求。
足下科技面向智能座舱的云+端LLM开发基础设施,支持云端X86架构和车机端ARM架构使用相同的框架开发Agent应用,支持模型Finetuning及推理优化,并可根据客户需求,灵活扩展与定制,用最简单的开发流程,助力客户快速开发高体验可持续维护的Agent应用。