¿Cómo se explica el crecimiento del BIG DATA la última década? ¿Qué retos nos ha planteado esta ciencia?

Aquéllos que han seguido de cerca la evolución de Big Data durante los últimos quince años se habrán dado cuenta de que un imparable fenómeno de dimensiones inimaginables se está desarrollando:

Explosión de datos debido al creciente uso de internet y redes sociales.

Para contrastar esta hipótesis pensemos en los años en los que entraron al mercado las grandes firmas de generación de datos online, como son los buscadores y las redes sociales. Como ejemplo de buscadores podemos destacar Google debido a que posee la mayor cuota de mercado, que es aproximadamente un 70%. Esta firma fue fundada en el año 1998, por tanto, para evidenciar nuestra hipótesis deberíamos observar una explosión de datos a partir de dicho año. Por otro lado, como ejemplos más representativos de redes sociales podemos destacar Twitter y Facebook, que fueron fundadas en 2006. ¿Hasta qué punto podemos decir que estas redes sociales han supuesto la mayor expansión de Big Data de toda la historia? Para verlo solo hay que mencionar la cantidad de datos diarios que generan:

  • Twitter: 340 millones de tweets diarios.
  • Facebook: 800 millones de status diarios.

Si a este fenómeno le sumamos que Google ha conseguido alcanzar  las 1000 millones de búsquedas diarias, podemos empezar a hacernos a la idea de cómo es esta explosión de datos de la que hablamos. Para comprobar que el fenómeno de explosión de datos se coordina con el surgimiento de dicho tipo de firmas observemos un gráfico que represente el crecimiento de Big Data de algunos países desarrollados y del mundo:

Imagen

La línea lila es la que representa el crecimiento de Big Data en todo el mundo. Observemos que en el año 1998 se produce un punto de inflexión en el crecimiento de Big Data que es explicado en gran parte debido a la fundación de Google junto con el gran crecimiento de usuarios de internet. Finalmente, observemos que en el año 2006 se produce otro punto de inflexión, incrementando así la pendiente de la línea, lo que indica un mayor crecimiento de Big Data respecto a los 8 años anteriores. Tal como hemos descrito anteriormente, este fenómeno se puede explicar a partir del surgimiento de las redes sociales.

Hay que destacar que esta explosión de datos de dimensiones inimaginables ha generado multitud de problemas técnicos que han requerido mucha inversión en investigación para conseguir resolverlos. Entre estos problemas podemos destacar:

  • Volumen: almacenar una gran cantidad de datos en un disco duros puede ser una tarea realmente complicada. Para hacernos a la idea de este problema podemos mencionar el ejemplo de Twitter. Esta red social genera 340 millones de tweets diarios que equivalen a un TB de memoria. Almacenar un TB de memoria diariamente puede suponer un problema logístico importante. Como posible solución podemos destacar los Sistemas de Ficheros Distribuidos.
  • Velocidad: no sólo tenemos que tener en cuenta la cantidad de datos que llegan sino también como llegan. Si éstos llegan a tiempo real se necesita un bando de ancha lo suficientemente grande como para poder procesar todos los datos en un periodo de tiempo limitado. Como posible solución podemos destacar los Sistemas de Distribución de Procesos.
  • Variedad: el hecho que llegue mucha información de diferente tipo supone un problema ya que tener muchos datos desordenados no nos permite hacer estudios fiables. Por ello, el crecimiento de Big Data ha requerido un desarrollo de software que permita ordenar todos estos datos. Como posible solución podemos destacar las Bases de Datos Relacionales.

En conclusión, el fenómeno de explosión de datos de los últimos 15 años nos está mostrando la cara real de Big Data creando una serie de problemas logísticos que requieren mucho esfuerzo por parte de la sociedad científica. No sabemos hasta dónde llegará este fenómeno, pero lo que si sabemos es que es una nueva arma para competir en los mercados modernos.

Autor: Daniel Bestard Delgado