Desarrollo de un motor de streaming distribuido para la comunicación entre microservicios de una plataforma de observación de datos de redes 5G

Este proyecto fin de grado forma parte de un proyecto mayor, en desarrollo por la empresa Satec, el cual aborda la necesidad de observar y analizar las redes 5G y 6G, conocidas como Next Generation Networks (NGN). Dichas redes son fundamentales para mejorar la conectividad y el rendimiento en las comunicaciones actuales, pero también enfrentan problemas de fallos y mal funcionamiento en ciertas circunstancias. El proyecto de Satec propone un sistema denominado Monitor_IA-5G, que tiene como objetivo observar, evaluar y predecir el comportamiento de una red en tiempo real para detectar y anticipar estos eventos fallidos. Bajo este contexto se haya este proyecto fin de grado, el cual se enfocará en suministrar de datos a cada microservicio que forme parte de la arquitectura del sistema Monitor_IA-5G. \n \nEl proyecto en cuestión tiene varios objetivos clave: \n \n1. Desarrollar un motor de streaming distribuido para la comunicación entre microservicios en una plataforma de observación de datos de redes 5G. \n2. Implementar técnicas de stream processing para manejar grandes volúmenes de datos en tiempo real. \n3. Garantizar la interoperabilidad, robustez, disponibilidad, rendimiento, y escalabilidad del sistema. \n4. Validar el sistema mediante pruebas rigurosas que aseguren la correcta ingesta, distribución y análisis de datos en tiempo real. \n \nDurante el desarrollo del proyecto, se utilizó una combinación de herramientas y tecnologías avanzadas, como Apache Kafka y OpenTelemetry, para implementar y desplegar el motor de streaming distribuido. Las pruebas de validación demostraron que el sistema cumple con los requisitos técnicos establecidos, incluyendo un rendimiento óptimo que minimice la latencia de los mensajes distribuidos, robustez ante fallos y la capacidad de escalar sin necesidad de reconfiguraciones significativas. Los resultados mostraron una mejora significativa en la observabilidad y predicción de fallos en redes NGN, validando la eficiencia del sistema propuesto. \n \nComo conclusiones, el proyecto ha logrado desarrollar un motor de streaming distribuido eficaz para la comunicación entre los microservicios de Monitor_IA-5G, abordando de manera efectiva los desafíos y problemas encontrados. La solución propuesta mejora la comunicación y gestión de datos entre los microservicios del proyecto, lo que es esencial para el rendimiento y la fiabilidad de las NGN. Las áreas de mejora futuras incluyen la optimización del rendimiento y tolerancia a fallos del motor de streaming, así como la adaptación del sistema a otras arquitecturas de microservicios y la integración con nuevas tecnologías emergentes en redes de nueva generación. \n \nAbstract: \n \nThis final degree project is part of a larger project, under development by the company Satec, which addresses the need to observe and analyse 5G and 6G networks, known as Next Generation Networks (NGN). Such networks are critical for improving connectivity and performance in today's communications, but also face problems of failure and malfunction in certain circumstances. Satec's project proposes a system called Monitor_IA-5G, which aims to observe, evaluate and predict the behaviour of a network in real time to detect and anticipate these failed events. In this context, this final degree project will focus on providing data to each microservice that is part of the Monitor_IA-5G system architecture. \n \nThe project in question has several key objectives: \n \n1. Develop a distributed streaming engine for communication between microservices in a 5G network data observation platform. \n2. Implement stream processing techniques to handle large volumes of data in real time. \n3. Guarantee the interoperability, robustness, availability, performance, and scalability of the system. \n4. Validate the system through rigorous testing to ensure proper data ingestion, distribution and analysis in real time. \n \nDuring the development, a combination of advanced tools and technologies, such as Apache Kafka and OpenTelemetry, were used to implement and deploy the distributed streaming engine. Validation testing demonstrated that the system meets the established technical requirements, including optimal performance that minimizes distributed message latency, robustness to failures, and the ability to scale without significant reconfigurations. The results showed a significant improvement in observability and fault prediction in NGN networks, validating the efficiency of the proposed system. \n \nAs conclusions, the project has succeeded in developing an effective distributed streaming engine for communication between Monitor_IA-5G microservices, effectively addressing the challenges and problems encountered. The proposed solution improves communication and data management between the project's microservices, which is essential for NGN performance and reliability. Future areas of improvement include optimizing the performance and fault tolerance of the streaming engine, as well as adapting the system to other microservices architectures and integrating with new emerging technologies in next-generation networks.