Noticia

El servidor Edge AI AIR-520, impulsado por un procesador AMD EPYC serie 7003, integra SSDs SQ ai100 AI, tarjetas GPU NVIDIA RTX, un SDK Edge AI y NVIDIA AI Enterprise de forma que proporciona una solución lista para implantar.

Las herramientas de IA generativa, como los modelos de lenguaje de gran tamaño (Large Language Models, LLM), están transformando la gestión del conocimiento empresarial, al automatizar la organización, la recuperación y el análisis de datos, de forma que se potencia la productividad y se mejora el proceso de toma de decisiones. Los LLM personalizados mejoran la precisión, mientras que el entrenamiento en el perímetro aumenta la privacidad de los datos, aunque puede resultar más costoso. Esta solución admite el ajuste fino de LLM con entre 1 y 4 tarjetas GPU y SSD de IA SQ ai100, lo que permite a las empresas entrenar LLM de forma rentable, a la vez que mantienen la seguridad de los datos confidenciales en el perímetro.

Cuatro ofertas de soluciones para distintas aplicaciones
Advantech ofrece cuatro opciones: AIR-520-L13B/L33B/L70B y L70B-Plus, adaptados a diferentes escalas y aplicaciones. El L13B es ideal para aplicaciones en tiempo real, como chatbots y traducción de idiomas. El L33B está más enfocado a tareas más complejas, como la mejora de la productividad y la innovación en la creación de contenidos. El L70B destaca en el análisis sofisticado de datos y la toma de decisiones en ámbitos especializados. Además, el L70B-Plus, equipado con la Plataforma de software NVIDIA AI Enterprise ofrece SDK de IA completos, fiables y optimizados con soporte a largo plazo y servicios de consultoría experta, lo que garantiza la implementación eficiente de las aplicaciones empresariales.

Instalación fácil y rápida optimizada para mejorar la rentabilidad
Todas las versiones incluyen unidades SSD SQ ai100 AI, basadas en la tecnología aiDAPTIV+ de Phison. Estas unidades SSD actúan como extensión de la vRAM de la GPU , lo que permite al sistema ajustar con precisión los LLM con un mínimo de tarjetas GPU. Este enfoque no solo reduce el presupuesto, sino que también permite que el servidor Edge AI sea más compacto en comparación con los grandes servidores tradicionales de montaje en bastidor. El servidor Edge AI AIR-520 ha sido diseñado para su uso en una amplia gama de aplicaciones Edge AI. Su tamaño es comparable al de un PC de sobremesa y se puede montar en bastidor con los accesorios adecuados. Su bajo perfil permite desplegar fácilmente un entorno de perfeccionamiento de IA en el perímetro, de manera que las preocupaciones por el espacio y el mantenimiento se reducen.

Aceleración del desarrollo de GenAI con servicios de software
Además de las capacidades de ajuste de LLM, Advantech proporciona un SDK de Edge AI con GenAI Training Studio, precargado con modelos Llama-2 13B/33B/70B para aplicaciones como chatbots y análisis de datos. Esto simplifica y acelera el entrenamiento del modelo LLM específico del cliente y la evaluación de la inferencia en el AIR-520. Además, DeviceOn de Advantech proporciona actualizaciones OTA de software/contenedores y gestión remota, lo que facilita la orquestación eficiente de la IA de perímetro y el mantenimiento a largo plazo.

Servicio de personalización
Para los clientes que necesiten una versión personalizada de este producto, el equipo europeo de DMS de Advantech ofrece una amplia gama de servicios locales de diseño y fabricación.