NVIDIA EGX se creó para satisfacer la creciente demanda de realizar AI de alto rendimiento instantáneo en el límite, donde se crean los datos, con tiempos de respuesta garantizados, al tiempo que reduce la cantidad de datos que deben enviarse a la nube.
Para 2025, 150 mil millones de sensores de máquinas y dispositivos IoT transmitirán datos continuos que deberán procesarse (1): órdenes de magnitud más que las producidas en la actualidad por personas que usan teléfonos inteligentes. Los servidores Edge como los de la plataforma NVIDIA EGX se distribuirán en todo el mundo para procesar datos en tiempo real desde estos sensores.
«Las empresas demandan una computación más poderosa en el borde para procesar sus océanos de datos sin procesar, que se transmiten a partir de innumerables interacciones con los clientes e instalaciones, para tomar decisiones rápidas y mejoradas por la inteligencia artificial que pueden impulsar su negocio», dijo Bob Pette, vicepresidente y general Gerente de Enterprise y Edge Computing en NVIDIA. «Una plataforma escalable como NVIDIA EGX les permite implementar sistemas fácilmente para satisfacer sus necesidades en las instalaciones, en la nube o en ambos».
Escalabilidad
EGX comienza con el pequeño NVIDIA Jetson Nano , que en unos pocos vatios puede proporcionar medio trillón de operaciones por segundo (TOPS) de procesamiento para tareas como el reconocimiento de imágenes. Y se extiende hasta un rack completo de servidores NVIDIA T4, que ofrece más de 10,000 TOPS para el reconocimiento de voz en tiempo real y otras tareas de AI en tiempo real.
Grado empresarial
NVIDIA se ha asociado con Red Hat para integrar y optimizar NVIDIA Edge Stack con OpenShift, la plataforma líder de orquestación de contenedores Kubernetes para empresas.
NVIDIA Edge Stack es un software optimizado que incluye controladores NVIDIA, un complemento de Kubernetes CUDA®, un tiempo de ejecución de contenedor CUDA, bibliotecas CUDA-X ™ y frameworks y aplicaciones de AI en contenedores, que incluyen TensorRT , Servidor de inferencia TensorRT y DeepStream. NVIDIA Edge Stack está optimizado para servidores certificados y puede descargarse desde el registro NVIDIA NGC.
«Red Hat se compromete a proporcionar una experiencia consistente para cualquier carga de trabajo, espacio y ubicación, desde la nube híbrida hasta el borde», dijo Chris Wright, director de tecnología de Red Hat. «Al combinar Red Hat OpenShift y las plataformas habilitadas para NVIDIA EGX, los clientes pueden optimizar mejor sus operaciones distribuidas con un entorno consistente, de alto rendimiento y centrado en el contenedor».
Un «On-Prem AI Cloud-in-a-Box»
EGX combina la gama completa de tecnologías de computación NVIDIA AI con Red Hat OpenShift y NVIDIA Edge Stack junto con Mellanox y las tecnologías de seguridad, redes y almacenamiento de Cisco. Esto permite a las empresas de las industrias más grandes (telecomunicaciones, manufactura, comercio minorista, atención médica y transporte) hacer frente rápidamente a las infraestructuras de IA de nivel empresarial, seguras y de nivel empresarial.
«Los conmutadores y las NIC inteligentes de Mellanox proporcionan la conectividad de E / S ideal para el acceso a datos que va desde el borde hasta los centros de datos a hipescala», dijo Michael Kagan, director de tecnología de Mellanox Technologies. «La combinación de redes de alto rendimiento, baja latencia y acelerada proporciona una nueva infraestructura de infraestructura que es fundamental para acceder de manera eficiente y suministrar los datos necesarios para alimentar la próxima generación de soluciones avanzadas de inteligencia artificial en plataformas avanzadas como NVIDIA EGX».
«Cisco se complace en colaborar con NVIDIA para proporcionar soluciones de pila completa de extremo a núcleo para nuestros clientes, aprovechando las plataformas habilitadas para EGX de Cisco con el software de cálculo, tejido, almacenamiento y administración de Cisco y nuestras tecnologías de red líderes basadas en Ethernet e IP. ”Dijo Kaustubh Das, vicepresidente de Cisco Computing Systems.
Habilita Hybrid-Cloud y Multi-Cloud IoT
NVIDIA AI computing se ofrece en las principales nubes y es compatible con la arquitectura con NVIDIA EGX. Las aplicaciones de AI desarrolladas en la nube pueden ejecutarse en NVIDIA EGX y viceversa. NVIDIA Edge Stack se conecta a los principales servicios de IoT en la nube, y los clientes pueden administrar de forma remota su servicio desde AWS IoT Greengrass y Microsoft Azure IoT Edge.
«Azure IoT Edge ayuda a los clientes a implementar el servicio en la nube en sus dispositivos IoT de forma rápida y segura», dijo Sam George, director de Azure IoT Edge. «Esperamos apoyar la plataforma EGX edge de NVIDIA en los dispositivos Azure IoT Edge para que los clientes puedan implementar cargas de trabajo de AI dirigidas al hardware compatible con EGX».
Soporte generalizado para desarrolladores
NVIDIA EGX está optimizando la inteligencia artificial para un creciente ecosistema de soluciones de software.
Estas incluyen aplicaciones de análisis de video, que son ideales para grandes cadenas minoristas y ciudades inteligentes, de proveedores de software como AnyVision, DeepVision, IronYun y Malong Technologies, así como ofertas de software específicas para el cuidado de la salud de 12 Sigma, Infervision, Quantib y Subtle Medical.
Adopción por los principales fabricantes de computadoras del mundo
Los servidores EGX están disponibles a través de los proveedores globales de computación empresarial ATOS, Cisco, Dell EMC, Fujitsu, Hewlett Packard Enterprise, Inspur y Lenovo. También están disponibles en los principales servidores y fabricantes de sistemas IoT Abaco, Acer, ADLINK, Advantech, ASRock Rack, ASUS, AverMedia, Cloudian, Connect Tech, Curtiss-Wright, GIGABYTE, Leetop, MiiVii, Musashi Seimitsu, QCT, Sugon, Supermicro, Tyan, WiBase y Wiwynn.
Los servidores NVIDIA EGX están optimizados para NVIDIA Edge Stack y NGC-Ready validado para contenedores acelerados por CUDA.
Apoyo de más de 40 empresas, organizaciones
Los primeros en adoptar incluyen más de 40 empresas y organizaciones líderes en la industria.
Entre ellos se encuentra BMW Group Logistics. Basándose en la computación de vanguardia EGX de NVIDIA y las plataformas robóticas de Isaac, pueden llevar el poder de la IA directamente al borde de sus procesos logísticos y manejar logística cada vez más compleja con eficiencia en tiempo real.
Otros líderes de la industria que adoptan EGX incluyen:
“Las líneas de producción de PC de Foxconn están limitadas por la velocidad de inspección porque actualmente requiere cuatro segundos para inspeccionar manualmente cada parte. Nuestro objetivo es aumentar el rendimiento de la línea de producción de PC en más del 40 por ciento utilizando la plataforma NVIDIA EGX para la toma de decisiones inteligentes en tiempo real. «Nuestro modelo detecta y clasifica 16 tipos de defectos y ubicaciones simultáneamente usando redes neuronales rápidas que se ejecutan en las GPU NVIDIA, logrando una precisión del 98 por ciento a una tasa de rendimiento sobrehumana».
– Mark Chien, gerente general de Foxconn D Group
“La IA es fundamental para lograr una salud de precisión y debe estar disponible de forma generalizada desde la nube hasta el borde y directamente en dispositivos médicos. El EGX de NVIDIA permite a GE Healthcare ofrecer tiempos de adquisición de RM rápidos, mejora la calidad de la imagen y reduce la variabilidad al incorporar las GPU NVIDIA T4 directamente en nuestros dispositivos médicos, todo para promover nuestro objetivo de mejorar los resultados de los pacientes. Los casos de uso de atención crítica en tiempo real exigen AI en el límite. Es por eso que creamos nuestra oferta de inteligencia Edison y nos asociamos con NVIDIA para incorporar AI en nuestros dispositivos médicos y dispositivos Edison Edge, y por eso estamos trabajando con ACR AI-LAB para democratizar AI ”.
– Jason Polzin, Ph.D., gerente general de MR Applications, GE Healthcare
“Los hospitales utilizan cada vez más la IA para predecir eventos adversos del paciente, apoyar la toma de decisiones clínicas y operar de manera más eficiente. Sin embargo, estas aplicaciones de IA se basan en los datos del paciente. «La plataforma de computación avanzada EGX AI de NVIDIA proporciona a los hospitales una infraestructura de AI fácil para mantener seguros los datos del paciente, ofrecer AI en tiempo real y escalar a miles de aplicaciones de AI que se necesitan para mejorar la atención al paciente y reducir el costo de la atención».
– Keith Dreyer, D.O., Ph.D., director de ciencia de datos en Partners Healthcare y profesor asociado de radiología, Harvard Medical School
“En Seagate hemos implementado una solución de visión inteligente basada en GPU en nuestras plantas de fabricación para inspeccionar la calidad de nuestros cabezales de lectura y escritura en el disco duro. La plataforma NVIDIA EGX acelera dramáticamente la inferencia en el borde, permitiéndonos ver defectos sutiles que los operadores humanos no han podido ver en el pasado. «Esperamos lograr una mejora de hasta un 10 por ciento en el rendimiento de fabricación y un retorno de la inversión de hasta un 300 por ciento a partir de una mayor eficiencia y mejor calidad»
– Bruce King, científico principal de datos de Seagate Technology
