Big data-driven optimization for performance management in mobile networks

Resumen

Introducción y Motivación La industria de las telecomunicaciones, en las últimas décadas, se ha convertido en una de las que más evolucionan y crecen vertiginosamente en el mundo. Se ha sido testigo del surgimiento de varias generaciones de redes móviles desde 2G hasta 5G en la actualidad, y 6G en un futuro cercano. Según el Sistema Global de Comunicaciones Móviles, para el año 2025, se estima que existirán alrededor de 8,8 mil millones de suscripciones en el mundo. Con esta demanda, para brindar un servicio adecuado a los usuarios, los operadores de redes móviles deben monitorear y medir constantemente el desempeño de los miles de elementos de red que se han desplegado en todo el mundo. Para este fin, se envían ficheros con los respectivos datos sobre el estado de cada elemento de red (network element, NE) hacia los sistemas de gestión de la red , generalmente cada 15 minutos. Esto genera una gran cantidad de datos crudos que deben procesarse y analizarse para monitorear el comportamiento del servicio de red en el menor tiempo posible. Por otro lado, la investigación sobre el procesamiento de grandes volúmenes de datos ha sido de gran interés durante mucho tiempo. Ya en 1944 se empezó a estudiar el rápido crecimiento de las bibliotecas y para 1997 se introdujo por primera vez el término "big data'' en un estudio científico. El análisis de big data ha permitido a muchas empresas mejorar sus ventajas competitivas y los operadores de redes móviles (mobile network operator, MNO) no han sido la excepción. En esta tesis se ha planteado la siguiente hipótesis: Es factible diseñar, implementar y optimizar la gestión del desempeño de una red móvil a nivel de componentes de ingesta y reportes, mediante un framework de big data. Desarrollo En este trabajo, se propone un framework que utiliza herramientas de big data para mediciones de desempeño (performance measurement, PM) de redes móviles, después de una investigación exhaustiva de la arquitectura más adecuada, con la premisa de optimizar los recursos computacionales requeridos y el tiempo de procesamiento. La optimización en la gestión de redes móviles es un tema muy complejo e importante debido a la gran cantidad de dispositivos que se deben monitorear para determinar problemas o deterioro en el nivel de calidad del servicio brindado. El tiempo de inactividad de un NE en la red móvil tiene un impacto directo en los ingresos y gastos operativos (operational expenditures, OPEX). Por lo tanto, cuanto más se tarde en analizar el PM de la red móvil, mayor será el OPEX para el MNO. Se presenta una revisión bibliográfica sistemática del modelado y manejo de big data en bases de datos, que permite determinar tendencias y brechas en el tema. También se presenta el estudio del estado del arte de big data y redes móviles, donde se identificaron los estudios que presentan frameworks para analizar datos de PM y se obtuvieron sus resultados en el tema de interés ingesta y reportes. Los componentes de una arquitectura de big data que deben tenerse en cuenta durante la implementación se identificaron como arquitectura de software, ingesta, data lake, procesamiento, reportes, interfaz e implementación. Se analizó cada componente y, según el tipo de datos a procesar, se seleccionaron las herramientas del framework de big data. Se propusieron métodos para procesar XML complejo en Hive y Spark basados en catalogación, deserialización y explosión posicional, ya que los datos de PM de las redes móviles tienen este formato. Finalmente, se propuso un ecosistema de big data para PM en redes móviles, y se evaluaron tiempos de ingesta y ejecución de consultas hasta llegar a mil millones de registros y se compararon con los estudios identificados en la SLR . Con base en esta información, el framework propuesto ha sido evaluado sobre un clúster implementado en la nube y en un equipo físico. Las pruebas de evaluación fueron realizadas mediante conjuntos de datos reales recopilados desde celdas 3G, 4G y 5G de cuatro MNO diferentes. Conclusión Con base en los resultados de esta investigación, la hipótesis ha sido verificada tanto en la revisión literaria como en la implementación realizada. Es decir, es factible optimizar la gestión del rendimiento de una red móvil a través de un framework de big data. Se implementó una solución basada en componentes de big data. Se logró reducir los tiempos de ingesta y ejecución de consultas con una solución llave en mano y menos recursos computacionales, especialmente para requerimientos de RAM. Esta característica de la propuesta permitirá reducir los tiempos de análisis de la causa raíz de los problemas de red. Las pruebas se realizaron con archivos PM de una red 5G; así, la propuesta asegura el soporte de esta nueva tecnología. La implementación de la solución se realizó en una solución física y en la nube, obteniendo resultados similares. Además, el uso de Hive garantiza que los operadores puedan seguir utilizando el conocido lenguaje SQL para las consultas. El uso de HDFS permite ofrecer una solución escalable lineal, y permite el procesamiento por lotes, mientras que Spark lo permite casi en tiempo real. La solución está alineada con las tendencias actuales en la investigación académica y la industria, como se evidencia en la revisión de la literatura. Referencias Bibliográficas 3rd Generation Partnership Project. (2005). Technical Specification Group Services and System Aspects; Telecommunication Management; Performance Management (PM); Concept and Requirements 32.401 V5.5.0 .(Available on https://portal.3gpp.org/desktopmodules/Specifications/SpecificationDetails.aspx?specificationId=1991) 3rd Generation Partnership Project. (2021). Generations of Mobile Systems. (Available on https://www.3gpp.org/about-3gpp) Apache. (2020a). Apache Flume. (Available on https://flume.apache.org/) Apache. (2020b). Apache Hive. (Available on https://hive.apache.org/) Apache. (2020c). Apache Spark. (Available onhttps://spark.apache.org/) Apache. (2020d). Apache Storm. (Available onhttps://storm.apache.org/) Baek, G., Ahn, K., & Kim, S. (2016). Dynamic Transform Method for Ontology DB from Semi-structured Datasets. International Journal of Intelligent Computing Research, 7(3), 741-747. Barton, R., & Henry, J. (2020). Unlocking the Mystery of Machine Learning and Big Data Analytics. (Available onhttps://www.ciscolive.com/global/on-demand-library.html?search=unlocking&search.event=ciscoliveus2020#/session/1573153548448001JuUB) Borthakur, D. (2008). HDFS Architecture Guide (Vol. 53) (No. 2). (Available on https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html) Carlisle, S. (2018). Software: Tableau and Microsoft Power BI. Technology Architecture Design, 2(2), 256-259. doi: 10.1080/24751448.2018.1497381 Costa, C., & Santos, Y. (2017). Big Data: State-of-the-art concepts, techniques, technologies, modeling approaches and research challenges. International Journal References of Computer Science,44(3), 285-301. Cox, M., & Ellsworth, D. (1997). Application-controlled demand paging for out-of-core visualization. In 8th IEEE Conference on Visualization (p. 235-244). doi:10.1109/VISUAL.1997.663888 Daki, H., Hannani, A. E., Aqqal, A., Haidine, A., Dahbi, A., & Ouahmane, H. (2016). Towards adopting Big Data technologies by mobile networks operators: A Moroccan case study. In 2nd International Conference on Cloud Computing Technologies and Applications (p. 154-161). doi: 10.1109/CloudTech.2016.7847693 Davoudian, A., Chen, L., & Liu, M. (2018). A Survey on NoSQL Stores. ACM Computing Surveys, 51, 1-43. doi: 10.1007/978-3-319-96139-2_14 Farooqi, M., Shah, M., Wahid, A., Akhunzada, A., Khan, F., Amin, N., & Ali, I. (2019). Big Data in Healthcare: A Survey. Applications of Intelligent Technologies in Healthcare, 143-152. doi: 10.1007/978-3-319-96139-2_14 Global System for Mobile Communication. (2021). The Mobile Economy 2020. (Available on https://www.gsma.com/mobileeconomy/wp-content/uploads/2020/03/GSMA_MobileEconomy2020_Global.pdf) Institute of Electrical and Electronics Engineers. (2018).29148 ISO/IEC/IEEE Systems and software engineering. Life cycle processes. Requirements engineering. (Available on https://ieeexplore.ieee.org/document/8267470) Institute of Electrical and Electronics Engineers. (2020). IEEE 1471-2000 Standard - IEEE Recommended Practice for Architectural Description for Software-Intensive Systems. (Available onhttps://standards.ieee.org/standard/1471-2000.html) Karamjit, K., & Rinkle, R. (2013). Modeling and querying data in NoSQL databases. In1st IEEE International Conference on Big Data(p. 1-7). doi: 10.1109/BigData.2013.6691765 Khalifa, S., Elshater, Y., Sundaravarathan, K., Bhat, A., Martin, P., Imam, F., &Statchuk, C. (2016). The six pillars for building big data analytics ecosystems.ACM Computing Surveys,49(2), 33:1-33:36. doi: 10.1145/2963143 Kitchenham, B. (2004). Procedures for Performing Systematic Reviews.Keele University: Keele, 33 (2004), 1–26. Kovačević, D., Krajnović, A., & Čičin Šain, D. (2017). Market Analysis of the Telecommunications Market – The Case of Croatia. In Dubrovnik International Economic Meeting (Vol. 3, p. 161-175). Le, L., Sinh, D., Lin, P., & Tung, P. (2018). Applying big data, machine learning, and SDN/NFV to 5G traffic clustering, forecasting, and management. In 4th IEEE Conference on Network Softwarization and Workshops (p. 168-176). doi:10.1109/NETSOFT.2018.8460129 Li, P., Gong, Y., & Wang, C. (2020).Schema Extraction on Semi-structured Data. (Available on https://arxiv.org/abs/2012.08105) Li, X., & Zhou, W. (2015). Performance Comparison of Hive, Impala, and Spark References SQL. In 7th International Conference on Intelligent Human-Machine Systems and Cybernetics (p. 418-423). doi: 10.1109/IHMSC.2015.95 Machiraju, S., & Gaurav, S. (2018). Power BI Data Analysis and Visualization.(De|GPress) doi: 10.1515/9781547400720 Mampaka, M., & Sumbwanyambe, M. (2019). A quadri-dimensional approach for poor performance prioritization in mobile networks using Big Data. Journal of Big Data,6(1), 1-15. doi: 10.1186/s40537-019-0173-8 Martinez-Mosquera, D., & Luján-Mora, S. (2017). Data Cleaning Technique for Security Big Data Ecosystem. In1st International Conference on Internet of Things, Big Data and Security (p. 380-385). doi: 10.5220/0006360603800385 Martinez-Mosquera, D., & Luján-Mora, S. (2019). Framework for Big Data integration in e-government.DYNA,86(209), 215–224. doi: 10.15446/dyna.v86n209.77902 Martinez-Mosquera, D., Luján-Mora, S., Lopez, G., & Santos, L. (2017). Data cleaning technique for security logs based on Fellegi-Sunter Theory. In 6th EuroSymposiumon Systems Analysis and Design(p. 3-12). doi: 10.1007/978-3-319-66996-0_1 Martinez-Mosquera, D., Luján-Mora, S., Navarrete, R., Mayorga, T., & Vivanco, H.(2019). An approach to Big Data Modeling for Key-Value NoSQL Databases. Iberian Journal of Information Systems and Technologies RISTI, E19, 519–530. Martinez-Mosquera, D., Luján-Mora, S., & Recalde, H. (2017). Conceptual model-ing of big data extract processes with UML. In1st International Conference on Information Systems and Computer Science(p. 207-211). doi: 10.1109/INCISCOS.2017.18 Martinez-Mosquera, D., Luján-Mora, S., Reyes, R., & Paredes, M. (2019). Pillars for Big Data and Military Health Care: State of the Art. In1st International Conference on Advances in Emerging Trends and Technologies(p. 125-135). doi:10.1007/978-3-030-32022-5_12 Martinez-Mosquera, D., Navarrete, R., & Luján-Mora, S. (2020a). Development and Evaluation of a Big Data Framework for Performance Management in Mobile Networks. IEEE Access,8, 226380–226396. doi: 10.1109/ACCESS.2020.3045175 Martinez-Mosquera, D., Navarrete, R., & Luján-Mora, S. (2020b). Modeling and Management Big Data in Databases—A Systematic Literature Review. Sustainability,12(634), 1–41. doi: 10.3390/su12020634 Martinez-Mosquera, D., Navarrete, R., & Luján-Mora, S. (2021). Efficiently Processing Complex XSD using Hive and Spark. PeerJ Computer Science,8, 1-33. doi:10.7717/peerj-cs.652 Microsoft. (2020). Big data architecture style.(Available on https://docs.microsoft.com/en-us/azure/architecture/guide/architecture-styles/big-data) Microsoft. (2021). Power BI. (Available onhttps://powerbi.microsoft.com/es-es/) Nokia. (2020). Shaping the future of telecommunication. (Available onhttps://nokiawroclaw.pl/wp-content/uploads/2019/03/NOKIA_Book_2nd.pdf) Olsson, M., Sultana, S., & Mulligan, C. (2009). SAE and the Evolved Packet Core. (Academic Press) Ounacer, S., Talhaoui, M., Ardchir, S., Daif, A., & Azouazi, M. (2017). A New Architecture for Real-Time Data Stream Processing.Journal of Advanced ComputerScience and Applications,8(11), 44-51. doi: 10.14569/IJACSA.2017.081106 O’Sullivan, P., Thompson, G., & Clifford, A. (2014). Applying data models to big data architectures. IBM Research and Development,58(5/6), 18:1–18:11. doi:10.1147/JRD.2014.2352474 Papadakis, G. (2018). The return of JedAI: End-to-End Entity Resolution for Structured and Semi-Structured Data. In 5th VLDB Endowment (Vol. 11, p. 1950-1953). doi: 10.14778/3229863.3236232 Qiao, Y., Xing, Z., Fadlullah, Z., Yang, J., & Kato, N. (2018). Characterizing flow, application, and user behavior in mobile networks: A framework for mobile big data.IEEE Wireless Communications,25(1), 40-49. doi: 10.1109/MWC.2018.1700186 Ribeiro, A., & da Silva, A. R. (2015). Data Modeling and Data Analytics: A Survey from a Big Data Perspective.Journal of Software Engineering Applying,8(12),617-634. doi: 10.4236/jsea.2015.812058 Rider, F. (1944).The Scholar and the Future of the Research Library: A Problem and its Solution. (Hadham Press: New York, NY, USA) Rueda, F., Vergara, D., & Reniz, D. (2018). Big data streaming analytics for QoE monitoring in mobile networks: A practical approach. In 5th IEEE InternationalConference on Big Data (p. 1992-1997). doi: 10.1109/BigData.2018.8622590 Skračić, K., & Bodrušić, I. (2017). A Big Data Solution for Troubleshooting Mobile Network Performance Problems. In 40th International Convention on Information and Communication Technology, Electronics and Microelectronics(p. 472-477).doi: 10.23919/MIPRO.2017.7973471 Suleykin, A., & Panfilov, P. (2019). Distributed big data-driven framework for cellular network monitoring data. In 24th Conference of Open Innovations Association(p. 430-436). doi: 10.23919/FRUCT.2019.8711912 Tableau. (2021). Tableau. (Available on https://www.tableau.com/trial/tableau-online) Tekiner, F., & Keane, J. A. (2013). Big Data Framework. In 25th IEEE InternationalConference on Systems, Man, and Cybernetics (p. 1494-1499). doi: 10.1109/SMC.2013.258 Turck, M. (2020).Resilience and Vibrancy: The 2020 Data & AI Landscape. (Availableonhttps://mattturck.com/data2020/)