Teco-vLLM作為面向大模型推理的關鍵框架，向上為開發(fā)者提供與標準vLLM一致的推理接口，向下充分利用太初AI加速卡的算力資源。開發(fā)者無需深入了解太初元碁硬件的底層物理細節(jié)，只需遵循標準的vLLM使用方式，即可快速在太初AI加速卡上運行大模型推理任務，享受由Teco-vLLM帶來的高效推理。目前，Teco-vLLM已在政務、科研、智能辦公等領域，助力用戶高效實現(xiàn)國產(chǎn)算力大模型應用落地。

產(chǎn)品亮點

• 兼容vLLM生態(tài)，代碼可以無縫遷移至太初AI加速卡運行

Teco-vLLM通過插件機制，將太初AI加速卡接入vLLM框架，實現(xiàn)與原生vLLM框架完全一致的推理接口和方法。運行在GPU上的vLLM大模型應用，無需修改模型代碼和啟動方式，即可無縫遷移至太初AI加速卡運行，降低生態(tài)切換成本，實現(xiàn)“一次開發(fā)，跨平臺部署”的工業(yè)級易用性。

• 支持主流的大模型推理技術(shù)，突破吞吐與顯存瓶頸

Teco-vLLM支持PagedAttention、Continuous Batching、PD分離、量化壓縮等關鍵技術(shù)，配合動態(tài)編譯優(yōu)化、多維并行策略、存算分離式顯存管理等，能夠有效降低顯存壓力并提升批處理規(guī)模，使系統(tǒng)在應對海量推理請求時，提升吞吐、降低延遲。

• 智能算子融合，提升計算效能

Teco-vLLM通過深度圖優(yōu)化技術(shù)，自動識別并融合計算圖中的細粒度算子，減少內(nèi)核調(diào)度開銷與顯存訪問頻次，在長序列推理等復雜場景中，降低計算延遲，為高并發(fā)任務提供強勁動力。

• 硬件級特性優(yōu)化，動態(tài)匹配最優(yōu)算子實現(xiàn)

Teco-vLLM結(jié)合太初AI加速卡的硬件特性，針對不同輸入數(shù)據(jù)形狀與張量布局，在推理預熱階段，自動感知數(shù)據(jù)特征，動態(tài)選擇最優(yōu)的算子實現(xiàn)，端到端提升模型推理的計算效能。