Automatización de web Scraping de los diarios de noticias para la empresa Isuri, San Martín de Porres

Abstract

La presente investigación titulada: Automatización de web Scraping de los diarios de noticias para la empresa Isuri, tuvo como objetivo el desarrollo la automatización de web Scraping de los diarios de noticias para la empresa Isuri, dedicada a la monitorización de noticias de web en el distrito de San Martin de Porres, la investigación fue de enfoque cualitativo, el método de investigación se basó en el paradigma interpretativo, tipo de investigación aplicada tecnológica y se utilizó el diseño de investigación acción. Se empleó como técnicas de recolección de datos, la entrevista a profundidad semiestructurada realizada a expertos, la observación a la unidad de estudio la cual fue la oficina el departamento de tecnología de la información de la empresa Isuri y el análisis documental. Además, se utilizó el método inductivo para el análisis de la información. Se Concluye que la empresa tuvo un gran consumo de recursos de presupuesto y humano, los cuales son usados en tres procesos, un aplicativo interno que está desplegado en dos servidores en la nube, un proveedor especializado de donde se extraer cierta cantidad de noticias mensuales, y por último el personal dedicado al ingreso manual de las noticias al sistema comercial. A través de la automatización de este proceso mediante el uso de nuevas tecnologías, modelado de extracción, las reglas del negocio y los valores generados para la toma de decisiones basadas en datos, se vio reflejado la reducción de manera considerable en los recursos que son usados para el proceso de web Scraping. Para la reducción principal del uso de los recursos computacionales se usó Serverless, para el control y balance del flujo del proceso se usó Nifi con Kafka de apache.