Rol del Machine Learning Engineer

Ahora que sabes qué es el Machine Learning, entendamos un poco más sobre el rol que juega este profesional.

Dentro de las carreras de datos, Machine Learning Engineer fue el último que surgió, ocupándose de la parte de monitoreo y poniendo los modelos en producción, estructurando y facilitando el deploit de Data Scientit.

Para hacerlo más fácil, comencemos analizando los pasos de un proyecto de Data Science para una mejor comprensión.

En este primer momento, se produce la cuestión empresarial y la comprensión, el cliente presenta los problemas y luego hay una comprensión real del dolor del cliente. Después de comprender las raíces de los problemas, llegamos a la fase de recopilación de datos, donde hay una gran cantidad de SQL, solicitudes y APIs distribuidas en un solo lugar. Una vez realizado este paso y la limpieza de datos, se entiende qué es un problema sistémico y cuál es un problema intrínseco del negocio.

Posteriormente se realiza la exploración de datos, donde se utilizan técnicas y estadísticas para comprender el fenómeno que se está modelando a través de los datos, en ese momento en que se genera inshtg, para comprender las variables y el modelo que será mejor aplicado. Pasando al paso de modelado es donde el algoritmo comienza a aprender y aplicar transformaciones y separaciones para preparar los datos.

A partir de esta fase se inicia el algoritmo de Machine Learning, donde se aplican los algoritmos para aprender el comportamiento o asignación deseada, luego se realiza la evaluación de este algoritmo, separando lo que es bueno, de lo que no y luego de este análisis de desempeño del modelo se irá para producción, donde se traslada a un entorno Cloud donde el dispositivo de Internet es capaz de consumir las previsiones que el modelo proporciona. La continuación de este proceso es el papel del Machine Learning Engineer. Obviamente, el desarrollo en sí no es tan simple como parece.

Responsabilidad del Machine Learning después del proceso

Todo comienza con la productización del flujo de datos, de donde sacas todas las tareas, desde la recopilación de datos hasta el modelo de producción, para convertirse en un producto que sea fácil de escalar, fácil de mantener y siempre mantenido de forma organizada para el trabajo de otros profesionales.

Después de volverse un producto, integraremos el modelo; ejemplo: frontend consume las predicciones de sus modelos, cada vez que el usuario ingresa y la página de inicio se está cargando, el frontend consume la predicción del modelo y habla sobre la propensión de los productos del cliente, por lo que no puede demorar en regresar sino ralentiza el sitio, para eso necesitamos integrar en otros sistemas respetando los requisitos. Finalmente, es necesario crear Técnicas de Monitoreo, donde se crean métricas para saber si el modelo es correcto o si los errores están aumentando; como es la distribucion de variables, etc.

Te explicamos el proceso

Data Scientits recolecta los datos, entrena el modelo y luego pasará a producción para ser aplicado, a partir de este punto comienza el rol del Machine Learning.

Recordando que los clientes pueden consumir el resultado a través del backend, sitio web, dispositivo móvil e IBA, para conectar a las personas que necesitan las predicciones con los modelos que las brindan, es necesario realizar una API (conexión entre los dos mundos de cliente y servicio, según se explica en nuestras redes sociales) los clientes comienzan a realizar solicitudes a la API, ésta interpretará la solicitud y si tiene permiso para acceder a estos datos.

Los datos de API son datos sin procesar, es decir, datos de RO, porque los datos no vienen con las transformaciones que usamos allí en Model Training. Por lo tanto, es necesario cambiar los datos de RO para la feature, así se realizará la predicción.

Podemos usar la siguiente idea como ejemplo: una persona tiene la aplicación y quiere ver la predicción de los ingresos de la tienda. Una de las features es la edad del usuario, cuánto tiempo está abierta la tienda… esta feature se almacena en el Feature Store, donde puede encontrar varias características que los Data Scientits crearon para poder modelar y entrenar los modelos de Machine Learning.

Dentro de la Feature Store, en este caso, encontraríamos en su interior varios datos, como la fecha en que la tienda comenzó a operar. Luego, la API va a Feature Story y recupera las features solicitadas por el modelo que fue entrenado para hacer esta predicción y regresa al modelo de Machine Learning con el conjunto de features, hace la predicción y regresa a la API, que devuelve la información a el cliente que hizo la predicción.

Este ejemplo sería un proceso simple, la diferencia es que tiene la función precalculada dentro de una tienda de funciones, que debe actualizarse cada vez. *Farture consumpotin, es el proceso de consumir la feature.

Para mantener la feature store actualizada, es necesaro consultar el Data Warehouse, donde se encuentran los datos modelados (realizados por el Data Engineer), para crear una feature y así almacenarla en la feature store, este proceso se llama Feature Creation.

Echa un vistazo a la ejemplicación mediante un modelo visual

Esta imagen representa el papel completo del Machine Learning Engineer, centrado en la producción en lugar del desarrollo, lo que ayuda a los Data Scientes a poner los modelos en producción más rápido.

Machine Learning ayuda a crear las clases donde los Data Scients importan y reescriben los métodos para realizar el entrenamiento, después de que el modelo se entrena y se devuelve con todos los métodos utilizados y las características creadas se aplican en producción.

Esperamos que te haya resultado más fácil comprender cómo funciona el rol del Machine Learning Engineer. Si tienes alguna pregunta, comentario o sugerencia, estaremos encantados de ayudarte y responder. Es importante recordar que contamos con contenido rápido y muy útil en nuestras redes sociales, allí también ponemos casillas de preguntas para apoyarte lo más posible en este camino de conocimiento y aprendizaje.

Escrito por: Mayara Pimentel | Adaptación: Karina Ríos | Revisión: Raphael Silva

Más artículos sobre el tema