La creación de algoritmos y sistemas capaces de procesar y almacenar grandes cantidades de datos representa un gran reto científico, económico y práctico. La aplicación del aprendizaje automático (ML) a estos problemas no es trivial, y menos aún si el procesamiento de estos algoritmos necesita ser distribuido para manejar la gran carga computacional del análisis de datos y la toma de decisiones. Este trabajo presenta una arquitectura distribuida y robusta para entrenar, desplegar y ejecutar pipelines distribuidos de algoritmos de detección de fallos mejorando su Robustez y Precisión. La solución se basa en Smart Operational Realtime Bigdata Analytics (SORBA), una arquitectura distribuida patentada. La arquitectura combina las métricas de robustez y precisión para optimizar automáticamente la selección de algoritmos de aprendizaje automático de detección de fallos industriales y sus hiperparámetros. Se desarrolla un sistema de módulos para la adquisición, normalización, acondicionamiento de datos, entrenamiento, despliegue y ejecución en línea de pipelines de algoritmos de aprendizaje automático. La solución se validó comparando los resultados de Machine Learning (ML) de dos casos de uso: un motor industrial y una batería de locomotora, con los obtenidos con Spark. Los experimentos mostraron una mejora media de la puntuación de precisión del 28,76% y del índice de robustez del 10,9%. La solución agiliza la implementación de aplicaciones de éxito y mejora el rendimiento de estos indicadores con respecto a las soluciones disponibles actualmente en la MLlib de Spark.
Leer más La creación de algoritmos y sistemas capaces de procesar y almacenar grandes cantidades de datos representa un gran reto científico, económico y práctico. La aplicación del aprendizaje automático (ML) a estos problemas no es trivial, y menos aún si el procesamiento de estos algoritmos necesita ser distribuido para manejar la gran carga computacional del análisis de datos y la toma de decisiones. Este trabajo presenta una arquitectura distribuida y robusta para entrenar, desplegar y ejecutar pipelines distribuidos de algoritmos de detección de fallos mejorando su Robustez y Precisión. La solución se basa en Smart Operational Realtime Bigdata Analytics (SORBA), una arquitectura distribuida patentada. La arquitectura combina las métricas de robustez y precisión para optimizar automáticamente la selección de algoritmos de aprendizaje automático de detección de fallos industriales y sus hiperparámetros. Se desarrolla un sistema de módulos para la adquisición, normalización, acondicionamiento de datos, entrenamiento, despliegue y ejecución en línea de pipelines de algoritmos de aprendizaje automático. La solución se validó comparando los resultados de Machine Learning (ML) de dos casos de uso: un motor industrial y una batería de locomotora, con los obtenidos con Spark. Los experimentos mostraron una mejora media de la puntuación de precisión del 28,76% y del índice de robustez del 10,9%. La solución agiliza la implementación de aplicaciones de éxito y mejora el rendimiento de estos indicadores con respecto a las soluciones disponibles actualmente en la MLlib de Spark.