El Machine Learning y la Inteligencia Artificial (ML/AI) son dos tecnologías avanzadas con el poder de transformar la forma en que operan las empresas y la forma en que interactuamos. ML/AI ya está impactando industrias como FinTech, atención médica, educación y transporte, y no se detendrá allí. Las empresas se están enfocando cada vez más en el valor de la IA, saliendo de la fase de experimentación y realmente enfocándose en acelerar su adopción. Esto significa que los ingenieros de software preparados para ocupar roles de desarrollo de ML/IA pronto tendrán mayor demanda.

Estas son las siete habilidades que necesita para aprovechar la creciente oportunidad de crear excelentes soluciones de ML/AI:

Lenguajes de programación

Para convertirse en un experto en aprendizaje automático, es importante aumentar su experiencia con los lenguajes de programación. Según GitHub, estos son los 10 principales lenguajes de Machine Learning para dominar

• Python
• C++
• JavaScript
• Java
• C#
• Julia
• Shell
• R
• TypesScript
• Scala

Si bien Python es el lenguaje más común entre los repositorios de ML en GitHub, Scala se está volviendo cada vez más común, especialmente cuando se trata de interactuar con marcos de big data como Apache Spark.

Ingeniería de datos

El primer paso en el desarrollo del Machine Learning es el procesamiento previo y el almacenamiento de datos sin procesar generados por sus sistemas. Por ejemplo, imaginemos una tienda en línea que vende una variedad de productos a clientes de todo el mundo. Esta tienda en línea creará muchos datos relacionados con eventos particulares. Cuando un cliente hace clic en la descripción de un producto o compra un producto, se generan nuevos datos y deberá crear canalizaciones de extracción, transformación y carga (ETL) que procesen, limpien y almacenen datos para que sean fácilmente accesibles para otros procesos. como análisis y predicciones.

Para almacenar datos, puede utilizar un almacenamiento de objetos como AWS S3 o un almacén de datos como AWS Redshift.

Análisis de datos

Ser capaz de realizar análisis de datos en un conjunto de datos es una habilidad especialmente importante porque permite descubrir patrones interesantes en los datos, identificar ciertas anomalías y probar hipótesis. Deberias ser capaz de:

Crear estadísticas de resumen para un conjunto de datos, por ejemplo:

Número de filas y columnas

• Tipos de datos de columna
• Columnas que aceptan valores nulos o no
• Media de columna, desviación estándar, valores mínimos y máximos, percentil, etc.
• Crear representaciones gráficas que permitan una fácil visualización de datos, por ejemplo:

Histogramas: para visualizar la distribución de un conjunto de datos

• Diagramas de caja: para una forma estandarizada de mostrar la distribución de datos cuantitativos basada en un resumen de cinco números: mínimo, primer cuartil, mediana, tercer cuartil y máximo (también puede identificar valores atípicos y ver si la distribución de datos es simétrica o sesgada.)
• Mapas de calor: para identificar correlaciones entre variables de un conjunto de datos

Limpiar y preparar los datos para el modelado, por ejemplo:

• Eliminar valores atípicos de su conjunto de datos
• Eliminar variables correlacionadas

Realizar ingeniería de funciones para extraer más información de su conjunto de datos, de modo que pueda mejorar los modelos de aprendizaje automático que creará.

Modelos

Si deseas ser un profesional en ML, debe dominar los algoritmos. Pero eso no es suficiente; también necesitas saber cuándo aplicarlos.

Por ejemplo, si tienes un conjunto de datos con una serie de entradas con sus correspondientes salidas y desea encontrar un modelo que describa la relación entre ellas, debe usar algoritmos de aprendizaje supervisado, que se pueden agrupar en regresión (cuando la variable de salida es un valor real, como “peso” o “edad”) y algoritmos de clasificación (cuando la variable de salida es una categoría, como “sí/no”).

Si sólo tienes un conjunto de entradas sin salidas y desea identificar diferentes patrones en las entradas y agruparlos de acuerdo con las similitudes, querrá usar algoritmos de aprendizaje no supervisados.

Además, es importante mencionar que para realizar tareas más complejas como la clasificación de imágenes, la detección de objetos, el reconocimiento facial, la traducción automática, la generación de diálogos, etc., necesitará algoritmos más complejos que caen en la categoría de aprendizaje profundo, que se basa en redes neuronales artificiales.

Servicios

Una vez que hayas definido el modelo de machine learning más apropiado para resolver un problema determinado, deberá decidir si implementar el modelo desde cero o utilizar los servicios existentes. Por ejemplo:

• Si necesita integrar interfaces conversacionales agradables (chatbots) en cualquier aplicación que utilice voz y texto, AWS Lex proporciona funcionalidades avanzadas de aprendizaje profundo de reconocimiento de voz automático (ASR) para convertir voz en texto y comprensión del lenguaje natural para reconocer la intención del texto, para permitirle crear aplicaciones con experiencias de usuario muy atractivas e interacciones conversacionales realistas.
• Para descubrir la información y las relaciones en los datos de texto no estructurados, AWS

Comprehend ayuda con:

• Identificar el idioma del texto
• Extracción de frases clave, lugares, personas, marcas o eventos
• Realización de análisis de sentimiento, para determinar qué tan positivo o negativo es un texto
• Organizar automáticamente una colección de archivos de texto por tema

Si desea integrar un servicio de traducción automática neuronal que brinde una traducción de idiomas rápida, asequible y de alta calidad en su aplicación, eche un vistazo a AWS Translate.

Si desea agregar análisis de imágenes y videos a sus aplicaciones, AWS Rekognition puede ser una opción interesante, ya que proporciona una API para identificar objetos, personas, rostros, texto, escenas y actividades, así como para detectar cualquier contenido inapropiado.

Ahora, si necesita crear sus propios modelos de aprendizaje automático y desea una plataforma totalmente administrada que le permita crearlos, capacitarlos e implementarlos rápida y fácilmente en un entorno alojado listo para la producción, AWS SageMaker es una excelente opción.

Despliegue

Para implementar soluciones de aprendizaje automático en AWS, debe tener en cuenta parámetros clave, como el rendimiento, la disponibilidad, la escalabilidad, la resiliencia y la tolerancia a fallas. Con ese fin, AWS brinda soluciones y mejores prácticas que lo ayudarán en el proceso. Por ejemplo, puede habilitar el monitoreo en sus soluciones para que pueda verificar el rendimiento y escalar sus servicios hacia arriba o hacia abajo según corresponda. Incluso puede habilitar el ajuste de escala automático para que AWS se encargue de eso por usted. También puede implementar sus soluciones en varias zonas de disponibilidad para garantizar la máxima disponibilidad.

Seguridad

Como en todas las soluciones de software, administrar la seguridad de las soluciones de machine learning de AWS es una tarea crucial, especialmente porque los modelos de aprendizaje automático necesitan una gran cantidad de datos para ser entrenados, y el acceso a esos datos solo debe proporcionarse a personas y aplicaciones autorizadas. La buena noticia es que AWS tiene un servicio específico para esto: El servicio Identity and Access Management (IAM).

imagen: @biancoblue