(资料图)

天眼查APP显示，近日，浙江大学,运达能源科技集团股份有限公司申请的“一种面向混合专家模型的细粒度推理加速方法及装置”专利公布。 摘要显示，本发明公开了一种混合专家模型的细粒度推理加速方法及装置，适用于边缘设备内存受限、难以运行大型模型进行基本推理的场景。为解决这一问题，本发明创新性地提出了基于分区缓存的专家与专家预加载策略，旨在显著提升混合专家模型在边缘环境下的推理效率。针对可能出现的专家预取失败情况，本发明还设计了一套基于细粒度的专家取用保障机制，该机制能够有效减轻因预取专家失败所带来的时间延误，确保推理过程的连续性和高效性。本发明通过这一系列设计，实现了对混合专家模型推理加速过程的全面优化，解决了边缘设备在资源受限条件下难以高效运行复杂推理模型的问题。