Big Data y Twitter Data Collection

Big Data & Twitter Data Collection

Big Data & Twitter Data Collection: creación de una gran base de datos de Tweets.
Lunes 22 a las 16h en la Sala de Grados del edificio A de la EPS, UAM.
Ponencia a cargo de Borja Gil Pérez, compañero nuestro recientemente graduado en Ingeniería Informática.

Esta ponencia se basa en su Trabajo de Fin de Grado y no solo se seguirán las diapositivas presentadas ante el tribunal sino que se visualizará y explicará el código implementado además de realizar demostraciones.

MOTIVACIÓN:

Recientemente Twitter se ha erigido como uno de los focos más importantes de información para el análisis de las redes sociales, tanto para la comprensión de cómo funcionamos como sociedad como para el estudio y predicción de eventos, de tendencias, de protestas y malestar social, de epidemias de gripe o de terremotos entre otros.

No obstante, dichos estudios requieren de la compilación previa de grandes bases de datos que, dado el tamaño actual de Twitter, no son sencillos de adquirir. Por ello muchos de los mismos se basan en unos cuantos esfuerzos de recolección que se hicieron en el pasado o pequeñas compilaciones locales solo adecuadas para estudios concretos.

Con la creciente cantidad de información que circula por Twitter, el incremento en su número de usuarios y los cambios tanto económicos como políticos que está sufriendo la sociedad se hace necesario renovar la información de que se dispone. Así el presente Proyecto de Fin de Grado propone la creación de una gran base de datos de Twitter usando la API que él mismo proporciona.

OBJETIVOS:

  1. Capturar el flujo constante de tweets en formato JSON interaccionando con Twitter API y filtrar todos aquellos que sean innecesarios para cada análisis.
  2. Almacenar los tweets en una base de datos adecuada para este formato, volumen de información del orden de petabytes y con capacidad de analizarlos en un tiempo razonable.
  3. Crear un sistema informático que proporcione flexibilidad a la hora de modificar análisis y consultas.

 

¿Te interesa seguir descubriendo estos nuevos mundos en auge del Big Data? Puedes ir abriendo boca con un tentempié o incluso leer el documento entero y la presentación en TDC (Twitter Data Collection): Creación de una gran base de datos de Tweets
Palabras clave: Twitter, Big Data, Apache, Hadoop, Pig, HBase, Flume, Hive, Maven, Arquitectura Lambda.

…Y atento a @uamnet porque tenemos 2 eventos cerrados más y el siguiente no tardará en llegar…

Es cierto que teníamos pensado empezar con una semana entera de charlas siguiendo la tradición de las Jornadas Web que organizamos otros años, pero queremos hacer las cosas bien, y para ello es necesario distribuir las durante el curso porque es difícil que todos los ponentes estén disponibles. Por supuesto hemos querido que las charlas que votasteis para las jornadas 2014 fueran los eventos de este curso.

Anuncios
Esta entrada fue publicada en Uncategorized y etiquetada , , , , , , , , , , , , . Guarda el enlace permanente.

Una respuesta a Big Data y Twitter Data Collection

  1. Pingback: Big Data y Twitter Data Collection | El cambio no es binario

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s