硬體算力與 GPU 加速

OneASR 針對多類計算硬體深度最佳化，能夠在多卡 GPU 伺服器至輕薄筆記型電腦上發揮出色的算力能效。

---

1. NVIDIA CUDA & TensorRT

針對高並行、高吞吐量的伺服器正式環境，推薦使用 NVIDIA 顯示卡：

ASR-Providers:
  faster-whisper:
    enable: true
    load:
      device: "cuda"
      compute_type: "float16" # 顯示卡記憶體受限時可設為 int8_float16

顯示卡記憶體需求與並行對照表

引擎 / 模型規格	最小記憶體 (int8)	推薦記憶體 (fp16)	並行處理能力
Faster-Whisper Tiny/Base	1.0 GB	2.0 GB	20+ 路並行
Faster-Whisper Small/Medium	2.5 GB	5.0 GB	8 - 12 路並行
Faster-Whisper Large-v3	4.5 GB	8.0 GB	4 - 6 路並行
X-ASR (Zipformer ONNX)	< 500 MB	< 1.0 GB	50+ 路並行
Qwen3-ASR (1.7B)	3.5 GB	6.0 GB	4 - 8 路並行

---

2. Apple Silicon (M1 / M2 / M3 / M4)

在 macOS 裝置上，OneASR 藉由統一記憶體與 Apple Silicon 高效能 CPU 核心：

ASR-Providers:
  faster-whisper:
    enable: true
    load:
      device: "cpu"
      compute_type: "int8"

TIP

在搭載 Apple Silicon 晶片的 Mac 上，使用 int8 量化與 4 個 CPU 執行緒可達到 4 倍以上即時轉錄速率 (RTF < 0.25)，且功耗與發熱極低。