Almacenamiento de big data
Almacenamiento de big data pdf
El almacenamiento de big data es una infraestructura de almacenamiento diseñada específicamente para almacenar, gestionar y recuperar cantidades masivas de datos, o big data. El almacenamiento de big data permite almacenar y clasificar los big data de forma que las aplicaciones y servicios que trabajan con ellos puedan acceder a ellos, utilizarlos y procesarlos fácilmente. El almacenamiento de big data también es capaz de escalar de forma flexible según las necesidades.
El almacenamiento de big data soporta principalmente operaciones de almacenamiento y de entrada/salida en el almacenamiento con un número muy grande de archivos y objetos de datos. Una arquitectura típica de almacenamiento de big data se compone de un suministro redundante y escalable de grupos de almacenamiento conectado directamente (DAS), de un almacenamiento conectado a la red (NAS) escalable o agrupado o de una infraestructura basada en el formato de almacenamiento de objetos. La infraestructura de almacenamiento está conectada a nodos de servidores informáticos que permiten procesar y recuperar rápidamente grandes cantidades de datos. Además, la mayoría de las arquitecturas/infraestructuras de almacenamiento de big data tienen soporte nativo para soluciones de análisis de big data como Hadoop, Cassandra y NoSQL.
Uso de big data
ResumenEste capítulo ofrece una visión general de las tecnologías de almacenamiento de big data. Es el resultado de un estudio del estado actual de las tecnologías de almacenamiento de datos con el fin de crear una hoja de ruta tecnológica intersectorial. Este capítulo proporciona una visión general concisa de los sistemas de almacenamiento de big data que son capaces de tratar con alta velocidad, altos volúmenes y altas variedades de datos. Describe los sistemas de archivos distribuidos, las bases de datos NoSQL, las bases de datos gráficas y las bases de datos NewSQL. El capítulo investiga el reto de almacenar los datos de forma segura y preservando la privacidad. Se describe el impacto social y económico de las tecnologías de almacenamiento de big data, se destacan los retos de investigación abiertos y se ofrecen tres estudios de caso seleccionados del sector sanitario, financiero y energético. Algunas de las ideas clave sobre el almacenamiento de grandes datos son: (1) las bases de datos en memoria y las bases de datos en columnas suelen superar a los sistemas tradicionales de bases de datos relacionales, (2) el principal obstáculo técnico para la adopción generalizada de soluciones de almacenamiento de grandes datos es la falta de estándares, y (3) es necesario abordar los retos de investigación abiertos relacionados con la escalabilidad y el rendimiento de las bases de datos de grafos.Palabras claveTecnología de almacenamiento en la nube Base de datos de grafos Hadoop Sistema de archivos distribuido Interfaz de consulta
Almacenamiento y gestión de big data
El uso actual del término big data tiende a referirse al uso de la analítica predictiva, la analítica del comportamiento del usuario o algunos otros métodos avanzados de análisis de datos que extraen valor de los big data, y rara vez a un tamaño concreto del conjunto de datos. «Hay pocas dudas de que las cantidades de datos disponibles ahora son realmente grandes, pero esa no es la característica más relevante de este nuevo ecosistema de datos»[4].
El tamaño y el número de conjuntos de datos disponibles han crecido rápidamente a medida que los datos son recogidos por dispositivos como los móviles, los baratos y numerosos dispositivos de detección de información del Internet de las cosas, los aéreos (teledetección), los registros de software, las cámaras, los micrófonos, los lectores de identificación por radiofrecuencia (RFID) y las redes de sensores inalámbricos. [8][9] La capacidad tecnológica per cápita del mundo para almacenar información se ha duplicado aproximadamente cada 40 meses desde la década de 1980;[10] en 2012 [actualización], cada día se generaban 2,5 exabytes (2,5×260 bytes) de datos[11] Según la predicción de un informe de IDC, se preveía que el volumen mundial de datos crecería exponencialmente de 4,4 zettabytes a 44 zettabytes entre 2013 y 2020. Para 2025, IDC predice que habrá 163 zettabytes de datos[12]. Una cuestión que se plantea a las grandes empresas es determinar quién debe ser el propietario de las iniciativas de big data que afectan a toda la organización[13].
Hadoop big data
El tamaño y el número de conjuntos de datos disponibles han crecido rápidamente a medida que los datos son recogidos por dispositivos como los móviles, los baratos y numerosos dispositivos de detección de información del Internet de las cosas, los aéreos (teledetección), los registros de software, las cámaras, los micrófonos, los lectores de identificación por radiofrecuencia (RFID) y las redes de sensores inalámbricos. [8][9] La capacidad tecnológica per cápita del mundo para almacenar información se ha duplicado aproximadamente cada 40 meses desde la década de 1980;[10] en 2012 [actualización], cada día se generaban 2,5 exabytes (2,5×260 bytes) de datos[11] Según la predicción de un informe de IDC, se preveía que el volumen mundial de datos crecería exponencialmente de 4,4 zettabytes a 44 zettabytes entre 2013 y 2020. Para 2025, IDC predice que habrá 163 zettabytes de datos[12]. Una cuestión para las grandes empresas es determinar quién debe ser el propietario de las iniciativas de big data que afectan a toda la organización[13].
Los sistemas de gestión de bases de datos relacionales y los paquetes de software estadístico de escritorio utilizados para visualizar los datos suelen tener dificultades para procesar y analizar los big data. El procesamiento y análisis de big data puede requerir «software masivamente paralelo que se ejecuta en decenas, cientos o incluso miles de servidores»[14] Lo que se califica como «big data» varía en función de las capacidades de quienes lo analizan y de sus herramientas. Además, la ampliación de las capacidades hace de los big data un objetivo móvil. «Para algunas organizaciones, enfrentarse a cientos de gigabytes de datos por primera vez puede provocar la necesidad de reconsiderar las opciones de gestión de datos. Para otras, pueden ser necesarias decenas o cientos de terabytes antes de que el tamaño de los datos se convierta en una consideración significativa»[15].