產品介紹
大模型主機 M 是面向中大型項目的 AI 中臺算力核心，提供 4卡與8卡兩個子系列。4卡款覆蓋中型業務并發，8卡款滿足高并發場景，均支持 2B~32B 多模型并行復審，統一調度算法與數據，打破孤島、保護既有投資。
模型規模 2~32B
多模型并行
復審 ≤512~1000路
實時 ≤128~256 路
4卡/8卡 GPU
可選
單請求 ≤3秒
AI 中臺核心
核心優勢
中臺級算力
多核處理器加 4卡/8卡 高性能 GPU 可選，2B~32B 模型并行，作為 AI 中臺核心節點統一調度算法。
兩檔靈活選型
4卡款滿足中型并發，8卡款支撐高并發場景，按業務規模按需選擇、平滑擴展。
平臺對接
標準化接口接入既有安防與業務平臺，打破數據孤島、保護既有投資。
算法工廠
Prompts 零樣本創建加模型微調雙路徑，復雜業務邏輯快速落地。
產品參數
| 產品型號 | 大模型主機 M（4卡） | 大模型主機 M（8卡） |
|---|---|---|
| 產品定位 | 中型業務并發 / AI 中臺節點 | 高并發業務場景 / AI 中臺核心節點 |
| CPU | 高性能多核處理器 ×2 | 高性能多核處理器 ×2 |
| GPU 算力配置 | 4× 高性能 GPU | 8× 高性能 GPU |
| 模型規模 | 2B~32B | 2B~32B |
| 大模型并發能力（復審 / 實時） | 復審 ≤512 路 / 實時 ≤128 路 | 復審 ≤1000 路 / 實時 ≤256 路 |
| 單請求響應 | ≤3 秒 | ≤3 秒 |
| 網絡接口 | 雙 10GE 光口 + 千兆管理口 | 四 10GE 光口 + 千兆管理口 |
| 服務支持 | 原廠 3 年質保 · 7×24 技術支持 | 原廠 3 年質保 · 7×24 技術支持 |
| 預裝軟件環境 | Ubuntu + 主流深度學習框架 | Ubuntu + 主流深度學習框架 |
| 部署形態 | 標準 2U 機架式 | 標準 4U 機架式 |
產品定位
- 大模型主機 M（4卡）
- 中型業務并發 / AI 中臺節點
- 大模型主機 M（8卡）
- 高并發業務場景 / AI 中臺核心節點
CPU
- 大模型主機 M（4卡）
- 高性能多核處理器 ×2
- 大模型主機 M（8卡）
- 高性能多核處理器 ×2
GPU 算力配置
- 大模型主機 M（4卡）
- 4× 高性能 GPU
- 大模型主機 M（8卡）
- 8× 高性能 GPU
模型規模
- 大模型主機 M（4卡）
- 2B~32B
- 大模型主機 M（8卡）
- 2B~32B
大模型并發能力（復審 / 實時）
- 大模型主機 M（4卡）
- 復審 ≤512 路 / 實時 ≤128 路
- 大模型主機 M（8卡）
- 復審 ≤1000 路 / 實時 ≤256 路
單請求響應
- 大模型主機 M（4卡）
- ≤3 秒
- 大模型主機 M（8卡）
- ≤3 秒
網絡接口
- 大模型主機 M（4卡）
- 雙 10GE 光口 + 千兆管理口
- 大模型主機 M（8卡）
- 四 10GE 光口 + 千兆管理口
服務支持
- 大模型主機 M（4卡）
- 原廠 3 年質保 · 7×24 技術支持
- 大模型主機 M（8卡）
- 原廠 3 年質保 · 7×24 技術支持
預裝軟件環境
- 大模型主機 M（4卡）
- Ubuntu + 主流深度學習框架
- 大模型主機 M（8卡）
- Ubuntu + 主流深度學習框架
部署形態
- 大模型主機 M（4卡）
- 標準 2U 機架式
- 大模型主機 M（8卡）
- 標準 4U 機架式
注：表中并發路數為建議基準，實際性能視算法復雜度、視頻分辨率與點位規模評估；大模型實時檢測按每算法 >5 秒一幀設計。
