產品介紹
大模型主機 L 是城市級數據中心算力底座,承載 200B 級旗艦大模型與千路以上視頻并發。多節點集群高可用部署,匯聚多域視頻做跨部門協同研判,支撐全局態勢感知與治理決策。
核心優勢
旗艦算力
8 卡旗艦級 GPU,200B 級大模型本地部署,支撐最復雜推理任務。
千路級并發
千路以上視頻并發復審與實時檢測,作為城市級感知中樞穩定運行。
集群可擴展
多節點集群部署,算力隨業務平滑擴展,高可用冗余電源保障。
全局智能中樞
匯聚多域視頻做跨部門協同研判,支撐城市級治理與決策進化。
產品參數
| 產品型號 | 大模型主機 L |
|---|---|
| 產品定位 | 大規模并發 / 數據中心級部署 |
| CPU | 高性能多核處理器 ×2 |
| GPU 算力配置 | 8× 旗艦級 GPU |
| 模型規模 | 2B~200B |
| 大模型并發能力(復審 / 實時) | 復審 ≥1000 路+ / 實時 ≥512 路+ |
| 單請求響應 | ≤3 秒 |
| 網絡接口 | 四 10GE 光口 + 千兆管理口 |
| 服務支持 | 7×24 技術支持 |
| 預裝軟件環境 | Ubuntu + 主流深度學習框架 |
| 部署形態 | 標準 4U 機架式 |
產品定位
- 大規模并發 / 數據中心級部署
CPU
- 高性能多核處理器 ×2
GPU 算力配置
- 8× 旗艦級 GPU
模型規模
- 2B~200B
大模型并發能力(復審 / 實時)
- 復審 ≥1000 路+ / 實時 ≥512 路+
單請求響應
- ≤3 秒
網絡接口
- 四 10GE 光口 + 千兆管理口
服務支持
- 7×24 技術支持
預裝軟件環境
- Ubuntu + 主流深度學習框架
部署形態
- 標準 4U 機架式
注:表中并發路數為建議基準,實際性能視算法復雜度、視頻分辨率與點位規模評估;大模型實時檢測按每算法 >5 秒一幀設計。