La IA se ha convertido en una palabra de moda, a menudo asociada con la escazes de potentes plataformas de enumeraciΓ³n para asilar centros de datos y modelos de idiomas grandes (LLM). Mientras que las GPU han sido esenciales para subir la IA en el nivel de centro de datos (capacitaciΓ³n), la implementaciΓ³n de IA en entornos limitados con energΓa, como dispositivos IoT, cΓ‘maras de seguridad de video y sistemas de computaciΓ³n de borde, requiere un enfoque diferente. La industria ahora estΓ‘ cambiando en direcciΓ³n a arquitecturas de enumeraciΓ³n mΓ‘s eficientes y modelos de IA especializados adaptados para aplicaciones distribuidas de desaparecido potencia.
Ahora necesitamos repensar cΓ³mo millones, o incluso miles de millones, de los puntos finales evolucionan mΓ‘s allΓ‘ de simplemente realizar como dispositivos que necesitan conectarse a la cΓΊmulo para tareas de IA. Estos dispositivos deben convertirse en sistemas de borde en realidad habilitados para AI capaces de realizar una inferencia en el dispositivo con la mΓ‘xima eficiencia, medidas en las operaciones TERA mΓ‘s bajas por segundo por vatio (TOPS/W).
DesafΓos para el cΓ‘lculo de IA en tiempo vivo
A medida que los modelos de almohadilla de IA crecen significativamente, el costo de la infraestructura y el consumo de energΓa ha aumentado considerablemente. Esto ha cambiado la atenciΓ³n a las capacidades del centro de datos necesarios para respaldar las crecientes demandas de IA generativa. Sin incautaciΓ³n, para la inferencia en tiempo vivo en el borde, sigue habiendo un musculoso impulso para juntar la rapidez de la IA a donde se generan datos, en los propios dispositivos.
La encargo de la IA en el borde presenta nuevos desafΓos. Ya no se trΓ‘fico solo de estar amarrado al enumeraciΓ³n, tener suficientes operaciones de TERA RAW por segundo (tops). TodavΓa debemos considerar el rendimiento de la memoria, todo mientras nos mantenemos interiormente de los lΓmites estrictos en el consumo de energΓa y el costo para cada caso de uso. Estas restricciones resaltan una sinceridad creciente: tanto el enumeraciΓ³n como la memoria se estΓ‘n convirtiendo en componentes igualmente crΓticos en cualquier decisiΓ³n efectiva de borde de IA.
A medida que desarrollamos modelos de IA cada vez mΓ‘s sofisticados capaces de manejar mΓ‘s entradas y tareas, su tamaΓ±o y complejidad continΓΊan creciendo, exigiendo significativamente mΓ‘s potencia de cΓ‘lculo. Si admisiblemente las TPU y las GPU han mantenido el ritmo de este crecimiento, el orondo de manada de la memoria y el rendimiento no han liberal a la misma velocidad. Esto crea un cuello de botella: aunque las GPU pueden procesar mΓ‘s datos, los sistemas de memoria que los alimentan luchan para mantenerse al dΓa. Es un desafΓo creciente que subraya la escazes de equilibrar los avances de enumeraciΓ³n y memoria en el diseΓ±o del sistema de IA.
Las limitaciones de orondo de manada de memoria han creado cuellos de botella en los sistemas de IA de borde integrado y limitan el rendimiento a pesar de los avances en la complejidad del maniquΓ y la potencia de cΓ‘lculo.
Otra consideraciΓ³n importante es que la inferencia involucra datos en movimiento, lo que significa que la red neuronal (NN) debe ingerir datos curados que se han sometido a un preprocesamiento. Del mismo modo, una vez que la cuantizaciΓ³n y las activaciones pasan a travΓ©s del NN, el postprocesamiento se vuelve igual de crΓtico para la tuberΓa de IA caudillo. Es como construir un automΓ³vil con un motor de 500 caballos de fuerza, pero alimentarlo con gasolina de bajo octanaje y equiparlo con neumΓ‘ticos de repuesto. No importa cuΓ‘n potente sea el motor, el rendimiento del automΓ³vil estΓ‘ menguado por los componentes mΓ‘s dΓ©biles del sistema.
Una tercera consideraciΓ³n es que incluso si los SOC incluyen las caracterΓsticas de NPUS y acelerador, agregando un poco de personalidad de RAM pequeΓ±o como parte de su Sandbox, el costo de estos procesadores de dominios mΓΊltiples estΓ‘ aumentando la elaboraciΓ³n de materiales (BOM), asΓ como limitando su flexibilidad.
El valencia de un acelerador ASIC optimizado y dedicado no puede ser exagerado. Estos aceleradores no solo mejoran la eficiencia de la red neuronal sino que todavΓa ofrecen flexibilidad para soportar una amplia tonalidad de modelos de IA. Otro beneficio de un acelerador ASIC es que estΓ‘ sintonizado para ofrecer las mejores tops/W, lo que lo hace mΓ‘s adecuado para aplicaciones de borde que se beneficiarΓ‘n de un consumo de energΓa mΓ‘s bajo, mejores rangos tΓ©rmicos y un uso mΓ‘s amplio de aplicaciones, de equipos agrΓcolas autΓ³nomos, cΓ‘maras de videovigilancia, asΓ como robots mΓ³viles autΓ³nomos en un warehouse.
Sinergia de enumeraciΓ³n y memoria
Los coprocesadores que se integran con las plataformas EDGE permiten tareas de inferencia de enseΓ±anza profundo en tiempo vivo con bajo consumo de energΓa y ingreso rentabilidad. Admiten una amplia tonalidad de redes neuronales, modelos de transformadores de visiΓ³n y LLM.
Un gran ejemplo de sinergia tecnolΓ³gica es la combinaciΓ³n de HailoProcesador de acelerador de AI Edge con MicrΓ³nLa memoria DDR (LPDDR) de desaparecido potencia. Juntos, ofrecen una decisiΓ³n equilibrada que proporciona la combinaciΓ³n correcta de enumeraciΓ³n y memoria mientras se mantiene interiormente de los presupuestos de energΓa y costos ajustados, ideales para aplicaciones de IA Edge.
La tecnologΓa LPDDR de Micron ofrece transferencia de datos de ingreso velocidad y suspensiΓ³n orondo de manada sin ofrendar la eficiencia energΓ©tica para eliminar el cuello de botella en el procesamiento de datos en tiempo vivo. ComΓΊnmente utilizado en telΓ©fonos inteligentes, computadoras portΓ‘tiles, sistemas automotrices y dispositivos industriales, LPDDR es especialmente adecuado para aplicaciones de IA integradas que exigen altas velocidades de manada de E/S y velocidades rΓ‘pidas para mantenerse al dΓa con los aceleradores modernos de IA.
Por ejemplo, LPDDR4/4X (DDR4 DDR4 de desaparecido potencia) y LPDDR5/5X (DRAM DDR5 de desaparecido potencia) ofrecen ganancias de rendimiento significativas durante las generaciones anteriores. LPDDR4 admite velocidades de hasta 4.2 GBIT/s por pin con anchos de bus de hasta X64. El 1-beta LPDDR5X de Micron duplica ese rendimiento, alcanzando hasta 9.6 GBIT/s por pin, y ofrece una eficiencia energΓ©tica 20% mejor en comparaciΓ³n con LPDDR4X. Estos avances son cruciales para apoyar las crecientes demandas de IA en el borde, donde la velocidad y la eficiencia energΓ©tica son esenciales.
Uno de los principales proveedores de silicio de IA que colabora Micron es Hailo. Hailo ofrece procesadores de IA innovadores diseΓ±ados de modo ΓΊnica para permitir aplicaciones de enseΓ±anza profundo de suspensiΓ³n rendimiento en dispositivos Edge. Los procesadores Hailo estΓ‘n orientados en direcciΓ³n a la nueva era de IA generativa en el borde, en paralelo con la percepciΓ³n y prosperidad de videos habilitadoras a travΓ©s de una amplia tonalidad de aceleradores de IA y procesadores de visiΓ³n.
Por ejemplo, el procesador Hailo-10H AI, que entrega hasta 40 tops, que ofrece un procesador AI Edge para innumerables casos de uso. SegΓΊn Hailo, la construcciΓ³n de flujo de datos ΓΊnica, potente y escalable de Hailo-10H aprovecha las propiedades centrales de las redes neuronales. Permite que los dispositivos Edge ejecutaran aplicaciones de enseΓ±anza profundo a toda escalera de modo mΓ‘s capaz y efectiva que las soluciones tradicionales, al tiempo que reducen significativamente los costos.
Poniendo la decisiΓ³n al trabajo
Los procesadores AI Vision son ideales para cΓ‘maras inteligentes. El sistema VPU de Hailo-15 (SOC) combina las capacidades de inferencia de IA de Hailo con motores avanzados de visiΓ³n por computadora, generando calidad de imagen premium y estudio de video avanzados. La capacidad de IA sin precedentes de su dispositivo de procesamiento de visiΓ³n se puede utilizar tanto para la prosperidad de la imagen con IA y el procesamiento de mΓΊltiples aplicaciones de IA de enseΓ±anza profundo complejos a escalera completa y con excelente eficiencia.
Con la combinaciΓ³n de la DRAM (LPDDR4X) de Micron probada rigurosamente para una amplia tonalidad de aplicaciones y procesadores de IA de Hailo, esta combinaciΓ³n permite una amplia tonalidad de aplicaciones. Desde las evacuaciΓ³n extremas de temperatura y rendimiento de las aplicaciones industriales y automotrices hasta las especificaciones exigentes de los sistemas empresariales, LPDDR4X de Micron es idealmente adecuado para la VPU de Hailo, ya que ofrece tarifas de datos de suspensiΓ³n rendimiento y suspensiΓ³n orondo de manada sin comprometer la eficiencia de la energΓa.
CombinaciΓ³n ganadora
A medida que se aprovechan mΓ‘s casos de uso de los dispositivos habilitados para la IA, los desarrolladores deben considerar cΓ³mo millones (incluso miles de millones) de los puntos finales tienen que progresar para no ser solo agentes de la cΓΊmulo, sino que en realidad sean dispositivos de borde habilitados para AI que pueden soportar la inferencia en el centro, en las mΓ‘s bajas/W. Con procesadores diseΓ±ados desde cero para acelerar la IA para el borde, y se puede desarrollar LPDRAM de bajo rendimiento de desaparecido potencia, AI de borde para mΓ‘s y mΓ‘s aplicaciones.
ArtΓculo patrocinado
Comente sobre este artΓculo a travΓ©s de X: @conectamentado_ y visite nuestra pΓ‘gina de inicio IoT ahora
