v3.2.1 — Secure Instance
Status
Lokalni rezim
Hardware
CPU—
GPU—
RAM—
VRAM—
Aktivni model
ModelLlama-3.1-405B
KvantizaceGPTQ-4bit-128g
Parametry405B
Kontext131 072 tok
BackendCUDA 12.4
Accelerator8x H100 NVLink
EnginevLLM 0.6.2
Nova konverzace Llama-3.1-405B
Air-Gapped
Local Only
Veskera komunikace probiha lokalne. Zadna data neopousteji tento server.