產(chǎn)品介紹
云邊融合-20260916/ID_2CE9F2BDD2A849A0AD7B9B781DB28103.png)
大模型主機(jī) S 是魅視 AI 多模態(tài)云邊融合的輕量推理款，面向中小型場景與邊緣部署。以 2B~9B 大模型本地運(yùn)行，對小模型初篩結(jié)果做多模態(tài)語義復(fù)審，用可控成本把復(fù)雜場景識別準(zhǔn)確率從 65% 提升到 85% 以上。
2B~9B 模型規(guī)模
輕量大模型本地部署
復(fù)審 ≤256路
實(shí)時檢測 ≤128 路
4×推理級或2×高性能
按需選配 GPU 算力資源
單請求 ≤3秒
標(biāo)準(zhǔn)機(jī)架部署
核心優(yōu)勢
輕量大模型
2B~9B 模型本地運(yùn)行，中小場景也能用上大模型能力，無需中心集群與高額投入。
語義復(fù)審降誤報(bào)
對小模型告警做多模態(tài)語義二次過濾，復(fù)雜場景誤報(bào)顯著下降、識別準(zhǔn)確率提升。
零樣本自定義
通過 Prompts 指令庫零樣本創(chuàng)建算法，無需重訓(xùn)模型即可應(yīng)對碎片化業(yè)務(wù)需求。
開箱即用
預(yù)裝 ubuntu 與主流深度學(xué)習(xí)框架，標(biāo)準(zhǔn)機(jī)架部署，快速完成上線。
產(chǎn)品參數(shù)
| 產(chǎn)品型號 | 大模型主機(jī) S |
|---|---|
| 產(chǎn)品定位 | 輕量級推理 / 小型企業(yè) / 邊緣部署 |
| CPU | 高性能多核處理器 ×2 |
| GPU 算力配置 | 4× 推理級 GPU 或 2× 高性能 GPU |
| 模型規(guī)模 | 2B~9B |
| 大模型并發(fā)能力（復(fù)審 / 實(shí)時） | 復(fù)審 ≤256 路 / 實(shí)時 ≤128 路 |
| 單請求響應(yīng) | ≤3 秒 |
| 網(wǎng)絡(luò)接口 | 雙 10GE 光口 + 千兆管理口 |
| 服務(wù)支持 | 7×24 技術(shù)支持 |
| 預(yù)裝軟件環(huán)境 | Ubuntu + 主流深度學(xué)習(xí)框架 |
| 部署形態(tài) | 標(biāo)準(zhǔn) 2U 機(jī)架式 |
產(chǎn)品定位
- 輕量級推理 / 小型企業(yè) / 邊緣部署
CPU
- 高性能多核處理器 ×2
GPU 算力配置
- 4× 推理級 GPU 或 2× 高性能 GPU
模型規(guī)模
- 2B~9B
大模型并發(fā)能力（復(fù)審 / 實(shí)時）
- 復(fù)審 ≤256 路 / 實(shí)時 ≤128 路
單請求響應(yīng)
- ≤3 秒
網(wǎng)絡(luò)接口
- 雙 10GE 光口 + 千兆管理口
服務(wù)支持
- 7×24 技術(shù)支持
預(yù)裝軟件環(huán)境
- Ubuntu + 主流深度學(xué)習(xí)框架
部署形態(tài)
- 標(biāo)準(zhǔn) 2U 機(jī)架式
注：表中并發(fā)路數(shù)為建議基準(zhǔn)，實(shí)際性能視算法復(fù)雜度、視頻分辨率與點(diǎn)位規(guī)模評估；大模型實(shí)時檢測按每算法 >5 秒一幀設(shè)計(jì)。
