PCIe-CIM™系列AI推理芯片
存储:2-12GB DRAM
算力:40-80T@INT8,支持多颗级联
性能:150 tokens/s @llama-7b-int4,最高300 tokens/s
功耗:平均功耗<4W
接口:PCIe
优势:高TPS性能,低功耗,低成本
应用:AI 手机、AI PC、IOT、服务器
PCIe-CIM™系列AI推理芯片
存储:2-12GB DRAM
算力:40-80T@INT8,支持多颗级联
性能:150 tokens/s @llama-7b-int4,最高300 tokens/s
功耗:平均功耗<4W
接口:PCIe
优势:高TPS性能,低功耗,低成本
应用:AI 手机、AI PC、IOT、服务器