Foto de Ivan Babydov

Azure Kaito, oficialmente conocido como el Kubernetes AI Toolchain Operator (Kaito), es una herramienta diseñada para simplificar la implementación y gestión de modelos de inteligencia artificial de código abierto (OSS) en clústeres de Azure Kubernetes Service (AKS). Con Kaito, puedes desplegar modelos de IA como Falcon y Llama2 en tu clúster de AKS como un complemento gestionado, lo que facilita la configuración de infraestructura y permite centrarse más en el uso y desarrollo de modelos de IA.

Características Clave de Kaito

  1. Gestión de Imágenes de Contenedor: Kaito permite gestionar modelos de lenguaje mediante imágenes de contenedor y proporciona un servidor HTTP para realizar llamadas de inferencia.
  2. Configuración de Hardware GPU: Kaito elimina la necesidad de ajustar manualmente los parámetros de despliegue para adaptarse al hardware GPU, aplicando configuraciones preestablecidas automáticamente según los requisitos del modelo.
  3. Aprovisionamiento Automático de Nodos GPU: Kaito aprovisiona automáticamente los nodos GPU necesarios para garantizar que las cargas de trabajo de inferencia de IA tengan los recursos necesarios.
  4. Integración con Microsoft Container Registry (MCR): Kaito puede alojar imágenes de modelos de lenguaje en MCR, facilitando el acceso y despliegue de los modelos.

Componentes Principales

  • Controlador de Workspace: Gestiona el recurso personalizado de workspace, crea recursos de máquina para activar el aprovisionamiento automático de nodos y configura la carga de trabajo de inferencia.
  • Controlador de Aprovisionamiento de Nodos: Interactúa con el controlador de workspace usando Karpenter para añadir nuevos nodos GPU al clúster de AKS.

Modelos Soportados

  • Llama 2: Modelos de lenguaje preentrenados y refinados, optimizados para escenarios de diálogo.
  • Falcon: Serie de modelos de lenguaje causal de alto rendimiento.
  • Mistral: Modelo de lenguaje de 7 mil millones de parámetros, optimizado para seguir instrucciones y realizar tareas complejas.
  • Phi-2: Modelo Transformer con 2.7 mil millones de parámetros, entrenado en textos sintéticos de NLP y sitios web filtrados.

Beneficios

  • Aprovisionamiento y Configuración Automática de Nodos GPU: Reduce la carga operativa de gestionar nodos GPU y configurar parámetros de despliegue.
  • Reducción de Costos: Optimiza costos al distribuir la inferencia en nodos GPU de menor costo y más disponibles.
  • Soporte para Modelos de Código Abierto Populares: Facilita la gestión y despliegue de modelos de código abierto en AKS.
  • Control Granular: Permite un control completo sobre la seguridad de datos y privacidad, la transparencia en el desarrollo y configuración de modelos, y la capacidad de ajustar el modelo para casos de uso específicos.
  • Seguridad de Red y Datos: Asegura que los modelos estén protegidos dentro de la red de la organización y que los datos no salgan del clúster de Kubernetes.

Despliegue y uso

No quiero copiar y pegar el árticulo de la documentación de Microsoft, por tanto, nada mejor que ir al enlace oficial si quieres desplegar Azure Kaito.

Relación de Azure Kaiyo y Azure Confidential Computing.

Por la información que he podido obtener en la Web oficial y los proyectos, Azure Kaito y Azure Confidential Computing son dos tecnologías que pueden complementarse para ofrecer una solución robusta y segura para la implementación y gestión de modelos de inteligencia artificial.

Aquí os explico como se pueden relacionar:

  1. Protección de Datos Sensibles:
    • Azure Kaito puede beneficiarse de Azure Confidential Computing para proteger los datos sensibles durante el entrenamiento y la inferencia de modelos de IA.
    • Los modelos de IA y los datos de entrada/salida pueden procesarse dentro de enclaves seguros, garantizando que los datos no sean accesibles por otros procesos o usuarios.
  2. Seguridad Mejorada:
    • Kaito ya ofrece control granular sobre la seguridad de los datos y la privacidad. Al integrarse con Azure Confidential Computing, se añade una capa adicional de seguridad que protege los datos en uso.
    • Esto es especialmente útil para industrias que manejan información altamente sensible, como la salud, las finanzas y el gobierno.
  3. Conformidad y Cumplimiento:
    • La integración asegura que las soluciones de IA cumplan con regulaciones estrictas de privacidad y seguridad de datos, como GDPR, HIPAA, etc.
    • Azure Confidential Computing facilita el cumplimiento al proporcionar enclaves que protegen los datos durante su procesamiento.
  4. Aislamiento de Cargas de Trabajo:
    • Kaito puede utilizar enclaves de Azure Confidential Computing para aislar las cargas de trabajo de inferencia y entrenamiento, asegurando que solo el código autorizado puede acceder a los datos sensibles.
    • Esto reduce el riesgo de compromisos de seguridad y garantiza la integridad de las operaciones de IA.