A medida que la adopción de la IA generativa crece a una velocidad récord y aumentan las demandas de procesamiento, la informática híbrida se vuelve más importante que nunca.
Una arquitectura de IA híbrida distribuye y coordina las cargas de trabajo de la IA entre la nube y los dispositivos de borde, en lugar de procesarlas únicamente en la nube. La nube y los dispositivos periféricos -teléfonos inteligentes, coches, computadoras personales y dispositivos del Internet de las cosas (IoT)- trabajan juntos para ofrecer una IA más potente, eficiente y altamente optimizada.
Índice de temas
La principal motivación es la reducción de gastos
Por ejemplo, se calcula que el costo de la búsqueda basada en la IA generativa por consulta se multiplica por 10 en comparación con los métodos de búsqueda tradicionales, y esta es solo una de las muchas aplicaciones de la IA generativa.
La IA híbrida permitirá a los desarrolladores y proveedores de IA generativa explotar las capacidades informáticas disponibles en los dispositivos periféricos para reducir costos. Una arquitectura de IA híbrida (o que ejecute la IA únicamente en el dispositivo) ofrece las ventajas adicionales del rendimiento, la personalización, la privacidad y la seguridad a escala global.
Estas arquitecturas pueden tener diferentes opciones de descarga para distribuir el procesamiento entre la nube y los dispositivos, en función de factores como la complejidad del modelo y de la consulta. Por ejemplo, si el tamaño del modelo, la consulta y la longitud de generación están por debajo de un determinado umbral y proporcionan una precisión aceptable, la inferencia puede realizarse completamente en el dispositivo. Si la tarea es más compleja, el modelo puede ejecutarse en la nube y en los dispositivos.
La IA híbrida permite incluso que los dispositivos y la nube ejecuten modelos simultáneamente, con los dispositivos ejecutando versiones ligeras del modelo mientras la nube procesa múltiples tokens del modelo completo en paralelo y corrige las respuestas de los dispositivos según sea necesario.
Ampliación de la IA generativa con dispositivos de borde
El potencial de la IA híbrida crece aún más a medida que los potentes modelos de IA generativa se hacen más pequeños, mientras que las capacidades de procesamiento de los dispositivos siguen mejorando. Los modelos de IA con más de 1.000 millones de parámetros ya se ejecutan en teléfonos con niveles de rendimiento y precisión similares a los de la nube, y los modelos con 10.000 millones de parámetros o más se ejecutarán en dispositivos en un futuro próximo.
El enfoque de la IA híbrida es aplicable a prácticamente todas las aplicaciones y segmentos de dispositivos de IA generativa, incluidos teléfonos, computadoras portátiles, auriculares de realidad extendida, autos e IoT. Este enfoque es crucial para que la IA generativa se amplíe y satisfaga las necesidades de las empresas y los consumidores de todo el mundo.
Referencias
1: Buchholz, K. (24 de enero de 2023). ChatGPT llega a un millón de usuarios. Estadista. Recuperado el 2 de mayo de 2023 de https://www.statista.com/chart/29174/time-to-one-million-users/
2: Sheth, S. (25 de febrero de 2023). La IA generativa conduce a una explosión de cálculos: la necesidad inminente de una IA sostenible. ángulo de silicio Recuperado el 2 de mayo de 2023 de https://siliconangle.com/2023/02/05/generative-ai-drives-explosion-compute-looming-need-sustainable-ai/
3: Dastin, J. et al. (22 de febrero de 2023). Para los gigantes tecnológicos, las IA como Bing y Bard representan un problema de investigación de miles de millones de dólares. Reuters. Recuperado el 2 de mayo de 2023 de https://www.reuters.com/technology/tech-giants-ai-like-bing-bard-poses-billion-dollar-search-problem-2023-02-22
Artículo publicado en ai4business.it.
Prohibida su reproducción total o parcial.