¿Quién trabaja con Big Data?

Inicio » ¿Quién trabaja con Big Data?

Nombres de departamentos de datos

Hasta hace poco, la mayor parte de la información producida y gestionada por las personas que trabajan en organizaciones de todo el mundo tenía una estructura específica, que normalmente podía representarse mediante las filas y columnas de una hoja de cálculo o una base de datos relacional. Pero a medida que la tecnología y el alcance de la actividad humana se han ido ampliando, gran parte de la información con la que tenemos que tratar adopta una forma semiestructurada o no estructurada. Cosas como flujos de audio, vídeo, texto, fotografías o intercambios en redes sociales entran en estas categorías.

Cómo funcionan los Big Data: ¡entendiendo lo que son! Big data es un término general que designa los conjuntos de información dinámicos, a menudo extremadamente grandes, generados por personas, máquinas y herramientas. Las fuentes de big data abarcan la información procedente de las redes sociales, los datos de las máquinas, los teléfonos inteligentes, las tabletas, los vídeos, las grabaciones de voz y la conservación y el registro de datos estructurados y no estructurados.

Más recientemente, los analistas han añadido otras características a esta lista, especialmente la veracidad (una medida de la fiabilidad y la exactitud de la información) y el valor (que habla de los beneficios de los big data para las empresas y la sociedad).

Qué es el big data

Con las grandes cantidades de datos que se procesan para la extracción de datos y la agregación y el análisis de enormes volúmenes de información de origen diverso o big data, se corre el riesgo de que el individuo se pierda y se defina únicamente por los datos y los algoritmos.

Por lo tanto, los macrodatos, junto con el aprendizaje automático y la inteligencia artificial, constituyen una preocupación estratégica a largo plazo no sólo para los reguladores de la protección de datos y la intimidad, como el SEPD, sino también para otros organismos encargados de hacer cumplir la ley en los ámbitos de la competencia y la protección de los consumidores.

A la luz de esto, el SEPD propuso la creación de un Centro de Intercambio de Información Digital para reunir a los organismos de los ámbitos de la competencia, los consumidores y la protección de datos dispuestos a compartir información y a debatir la mejor manera de aplicar las normas en interés de la persona.

Con nuestros dictámenes, talleres y también con nuestra propuesta de Centro de Intercambio de Información Digital, el SEPD ha iniciado un debate mundial sobre las implicaciones de los macrodatos y la necesidad de reflexión por parte de los legisladores y reguladores.

Crear un equipo de datos

Big data es un término que describe los grandes volúmenes de datos difíciles de gestionar, tanto estructurados como no estructurados, que inundan las empresas en su día a día. Pero lo importante no es sólo el tipo o la cantidad de datos, sino lo que las organizaciones hacen con ellos. Los grandes datos pueden analizarse para obtener información que mejore las decisiones y dé confianza para tomar medidas empresariales estratégicas.

El término “big data” se refiere a los datos que son tan grandes, rápidos o complejos que son difíciles o imposibles de procesar con los métodos tradicionales. El acto de acceder y almacenar grandes cantidades de información para su análisis existe desde hace mucho tiempo. Pero el concepto de big data cobró impulso a principios de la década de 2000, cuando el analista de la industria Doug Laney articuló la definición de big data, que ahora es la corriente principal, como las tres V:

Volumen.  Las organizaciones recopilan datos de una gran variedad de fuentes, como transacciones, dispositivos inteligentes (IoT), equipos industriales, vídeos, imágenes, audio, redes sociales y mucho más. En el pasado, almacenar todos esos datos habría sido demasiado costoso, pero el almacenamiento más barato mediante lagos de datos, Hadoop y la nube ha aliviado la carga.

Aplicaciones de big data

La recopilación de datos tiene un aspecto diferente para cada organización. Con la tecnología actual, las organizaciones pueden recopilar datos estructurados y no estructurados de una variedad de fuentes, desde el almacenamiento en la nube hasta las aplicaciones móviles y los sensores IoT en las tiendas, entre otros. Algunos datos se almacenarán en almacenes de datos donde las herramientas y soluciones de inteligencia empresarial pueden acceder a ellos fácilmente. A los datos crudos o no estructurados que son demasiado diversos o complejos para un almacén se les pueden asignar metadatos y almacenarlos en un lago de datos.

Una vez recogidos y almacenados los datos, deben organizarse adecuadamente para obtener resultados precisos en las consultas analíticas, especialmente cuando son grandes y no están estructurados. Los datos disponibles crecen exponencialmente, lo que convierte el procesamiento de datos en un reto para las organizaciones. Una opción de procesamiento es el procesamiento por lotes, que examina grandes bloques de datos a lo largo del tiempo. El procesamiento por lotes es útil cuando hay un tiempo más largo entre la recogida y el análisis de los datos. El procesamiento de flujos examina pequeños lotes de datos a la vez, acortando el tiempo de espera entre la recogida y el análisis para una toma de decisiones más rápida. El procesamiento de flujos es más complejo y a menudo más caro.

Ir arriba