AW-V64
Inferencia de IA Estándar
El AW-V64 duplica la memoria y el almacenamiento del V32 básico, proporcionando espacio para modelos más grandes y cargas de trabajo de inferencia simultáneas. Con 256 GB de RAM y 4 TB NVMe, puede almacenar en caché varios modelos simultáneamente y manejar solicitudes de inferencia por lotes sin recargar. El sistema de refrigeración líquido permite una futura actualización a refrigeración líquida para un funcionamiento sostenido de carga alta. Ideal para canales de inferencia de producción que prestan servicio a múltiples puntos finales.
Especificaciones Técnicas
Configuración detallada de hardware de AW-V64
Pruebas de Rendimiento
Datos de rendimiento real de nuestro laboratorio
Características Clave
Por qué elegir AW-V64
GPU NVIDIA V100/A100 única con 256 GB de RAM del sistema
SSD NVMe de 4 TB: almacena en caché varios modelos simultáneamente
Chasis listo para líquidos para futuras actualizaciones de refrigeración
Maneja más de 50 sesiones de inferencia simultáneas
Ubuntu precargado + Administrador de modelos ALWork
Factor de forma optimizado para rack de 2U
Ideal Para
Servicio de inferencia de IA de producción, equipos que necesitan almacenar en caché varios modelos para una conmutación rápida y cargas de trabajo que requieren un mayor ancho de banda de memoria para el preprocesamiento de datos.
Preguntas Frecuentes
Preguntas frecuentes sobre AW-V64
¿Cuántos modelos puede almacenar en caché el AW-V64 simultáneamente?
Con 256 GB de RAM, el AW-V64 puede almacenar de 3 a 5 modelos 7B o 2 modelos 13B en la memoria simultáneamente, lo que permite el cambio instantáneo de modelo sin demoras en la carga del disco.
¿Qué significa listo para líquido?
El chasis incluye puntos de montaje, conductos de plomería y sensores térmicos para refrigeración líquida. Se puede instalar un kit de refrigeración líquida en el sitio sin necesidad de modificar el chasis.
¿Listo para desplegar AW-V64?
Obtenga una cotización personalizada según sus requerimientos de carga.
Solicitar Cotización