Big data datos masivos

Inicio » Big data datos masivos

Cómo de grande es el big data

La recopilación de datos tiene un aspecto diferente para cada organización. Con la tecnología actual, las organizaciones pueden recopilar datos estructurados y no estructurados de una variedad de fuentes, desde el almacenamiento en la nube hasta las aplicaciones móviles y los sensores IoT en las tiendas, entre otros. Algunos datos se almacenarán en almacenes de datos donde las herramientas y soluciones de inteligencia empresarial pueden acceder a ellos fácilmente. A los datos crudos o no estructurados que son demasiado diversos o complejos para un almacén se les pueden asignar metadatos y almacenarlos en un lago de datos.

Una vez recogidos y almacenados los datos, deben organizarse adecuadamente para obtener resultados precisos en las consultas analíticas, especialmente cuando son grandes y no están estructurados. Los datos disponibles crecen exponencialmente, lo que convierte el procesamiento de datos en un reto para las organizaciones. Una opción de procesamiento es el procesamiento por lotes, que examina grandes bloques de datos a lo largo del tiempo. El procesamiento por lotes es útil cuando hay un tiempo más largo entre la recogida y el análisis de los datos. El procesamiento de flujos examina pequeños lotes de datos a la vez, acortando el tiempo de espera entre la recogida y el análisis para una toma de decisiones más rápida. El procesamiento de flujos es más complejo y a menudo más caro.

Tecnologías de big data

En pocas palabras, los big data son conjuntos de datos más grandes y complejos, especialmente los procedentes de nuevas fuentes de datos. Estos conjuntos de datos son tan voluminosos que el software de procesamiento de datos tradicional no puede gestionarlos. Sin embargo, estos volúmenes masivos de datos pueden utilizarse para resolver problemas empresariales que antes no habrían podido abordarse.

La velocidad es la rapidez con la que se reciben los datos y (quizás) se actúa sobre ellos. Normalmente, la mayor velocidad de los datos se transmite directamente a la memoria en lugar de escribirse en el disco. Algunos productos inteligentes con acceso a Internet operan en tiempo real o casi en tiempo real y requerirán una evaluación y acción en tiempo real.

La variedad se refiere a los muchos tipos de datos disponibles. Los tipos de datos tradicionales estaban estructurados y encajaban perfectamente en una base de datos relacional. Con el auge del big data, los datos se presentan en nuevos tipos de datos no estructurados. Los tipos de datos no estructurados y semiestructurados, como el texto, el audio y el vídeo, requieren un preprocesamiento adicional para derivar el significado y soportar los metadatos.

En los últimos años han surgido otras dos V: valor y veracidad. Los datos tienen un valor intrínseco. Pero no sirven de nada hasta que se descubre ese valor. Igualmente importante es saber hasta qué punto los datos son veraces y hasta qué punto se puede confiar en ellos.

Análisis de Big Data

El Big Data es muy grande en volumen, alto en velocidad y de varios tipos. Las aplicaciones tradicionales no son adecuadas para procesar tales conjuntos de datos. Streaming de datos – es la transferencia de datos a una velocidad muy alta pero de forma constante. En big data nos referimos al streaming de datos a un proceso en el que los datos no estructurados en tiempo real deben ser procesados. Esto es lo que yo entiendo.

Conjunto de datos: Una buena definición de “conjunto de datos grande” es: si intentas procesar un conjunto de datos pequeño de forma ingenua, seguirá funcionando. Si intenta procesar un conjunto de datos grande de forma ingenua, tardará órdenes de magnitud más de lo aceptable (y posiblemente también agotará sus recursos informáticos). Por ejemplo, uno de los conceptos básicos de “big data” se conoce como MapReduce, un modelo de programación paralela en el que se divide el conjunto de datos en trozos más pequeños y luego se realizan trabajos/”trabajadores” separados que procesan los datos y los vuelven a unir. Si tienes que hacer esto para que tu aplicación se ejecute en tiempos aceptables, tienes un gran conjunto de datos. Si un solo trabajo monolítico puede procesar tu conjunto de datos en un tiempo razonable, no es tan grande. La definición de lo que son tiempos “razonables” o “aceptables”, por tanto, depende de los requisitos de tu aplicación.

Significado de los datos masivos

En pocas palabras, los big data son conjuntos de datos más grandes y complejos, especialmente los procedentes de nuevas fuentes de datos. Estos conjuntos de datos son tan voluminosos que el software de procesamiento de datos tradicional no puede gestionarlos. Sin embargo, estos volúmenes masivos de datos pueden utilizarse para resolver problemas empresariales que antes no habrían podido abordarse.

La velocidad es la rapidez con la que se reciben los datos y (quizás) se actúa sobre ellos. Normalmente, la mayor velocidad de los datos se transmite directamente a la memoria en lugar de escribirse en el disco. Algunos productos inteligentes con acceso a Internet operan en tiempo real o casi en tiempo real y requerirán una evaluación y acción en tiempo real.

La variedad se refiere a los muchos tipos de datos disponibles. Los tipos de datos tradicionales estaban estructurados y encajaban perfectamente en una base de datos relacional. Con el auge del big data, los datos se presentan en nuevos tipos de datos no estructurados. Los tipos de datos no estructurados y semiestructurados, como el texto, el audio y el vídeo, requieren un preprocesamiento adicional para derivar el significado y soportar los metadatos.

En los últimos años han surgido otras dos V: valor y veracidad. Los datos tienen un valor intrínseco. Pero no sirven de nada hasta que se descubre ese valor. Igualmente importante es saber hasta qué punto los datos son veraces y hasta qué punto se puede confiar en ellos.

Ir arriba