7
Los retos del Big Data incluyen la mejor manera de manejar la gran cantidad de datos que implica el proceso de almacenamiento y análisis del enorme conjunto de información en varios almacenes de datos. Hay varios desafíos importantes que se presentan al tratar con Big Data y que deben ser atendidos con agilidad.
Para hacer funcionar estas modernas tecnologías y herramientas de Big Data, las empresas necesitan profesionales de datos cualificados. Estos profesionales incluirán científicos de datos, analistas de datos e ingenieros de datos para trabajar con las herramientas y dar sentido a los conjuntos de datos gigantes. Uno de los retos del Big Data que afronta cualquier empresa es el arrastre de la falta de profesionales de los datos masivos. Esto suele deberse a que las herramientas de manejo de datos han evolucionado rápidamente, pero en la mayoría de los casos, los profesionales no lo han hecho. Hay que tomar medidas para salvar esta brecha.
Las empresas están invirtiendo más dinero en la contratación de profesionales cualificados. Incluso tienen que impartir programas de formación al personal actual para sacar lo mejor de ellos. Otro paso importante dado por las organizaciones es la compra de soluciones de análisis de conocimientos impulsadas por la inteligencia artificial/el aprendizaje automático. Estas herramientas de Big Data suelen ser utilizadas por profesionales que no son expertos en ciencia de datos pero que tienen los conocimientos básicos. Este paso ayuda a las empresas a ahorrar muchas toneladas de dinero en efectivo para la contratación.
Qué es el big data
El concepto de big data se refiere a los retos de la gestión de datos que -debido al creciente volumen, velocidad y variedad de los mismos- no pueden resolverse con las bases de datos tradicionales. Aunque hay muchas definiciones de big data, la mayoría de ellas incluyen el concepto de lo que comúnmente se conoce como «las tres V» de big data:
Velocidad: Cada vez más, las empresas tienen requisitos estrictos desde el momento en que se generan los datos hasta el momento en que se entregan a los usuarios los conocimientos procesables. Por lo tanto, los datos deben recogerse, almacenarse, procesarse y analizarse en plazos relativamente cortos, que van desde el día a la hora real.
A pesar del bombo y platillo, muchas organizaciones no se dan cuenta de que tienen un problema de big data o simplemente no piensan en ello en términos de big data. En general, es probable que una organización se beneficie de las tecnologías de big data cuando las bases de datos y las aplicaciones existentes ya no pueden escalar para soportar los aumentos repentinos de volumen, variedad y velocidad de los datos.
Si no se abordan correctamente los retos del big data, pueden aumentar los costes, así como reducir la productividad y la competitividad. Por otro lado, una buena estrategia de big data puede ayudar a las organizaciones a reducir costes y ganar eficiencia operativa mediante la migración de las pesadas cargas de trabajo existentes a las tecnologías de big data, así como a desplegar nuevas aplicaciones para aprovechar las nuevas oportunidades.
Cinco características de los big data
El uso actual del término big data tiende a referirse al uso de la analítica predictiva, la analítica del comportamiento del usuario o algunos otros métodos avanzados de análisis de datos que extraen valor de los big data, y rara vez a un tamaño concreto del conjunto de datos. «Hay pocas dudas de que las cantidades de datos ahora disponibles son realmente grandes, pero esa no es la característica más relevante de este nuevo ecosistema de datos»[4].
El tamaño y el número de conjuntos de datos disponibles han crecido rápidamente a medida que los datos son recogidos por dispositivos como los móviles, los baratos y numerosos dispositivos de detección de información del Internet de las cosas, los aéreos (teledetección), los registros de software, las cámaras, los micrófonos, los lectores de identificación por radiofrecuencia (RFID) y las redes de sensores inalámbricos. [8][9] La capacidad tecnológica per cápita del mundo para almacenar información se ha duplicado aproximadamente cada 40 meses desde la década de 1980;[10] en 2012 [actualización], cada día se generaban 2,5 exabytes (2,5×260 bytes) de datos[11] Según la predicción de un informe de IDC, se preveía que el volumen mundial de datos crecería exponencialmente de 4,4 zettabytes a 44 zettabytes entre 2013 y 2020. Para 2025, IDC predice que habrá 163 zettabytes de datos[12]. Una cuestión para las grandes empresas es determinar quién debe ser el propietario de las iniciativas de big data que afectan a toda la organización[13].
Aplicaciones de big data
En pocas palabras, los big data son conjuntos de datos más grandes y complejos, especialmente los procedentes de nuevas fuentes de datos. Estos conjuntos de datos son tan voluminosos que el software de procesamiento de datos tradicional no puede gestionarlos. Sin embargo, estos volúmenes masivos de datos pueden utilizarse para resolver problemas empresariales que antes no habrían podido abordarse.
La velocidad es la rapidez con la que se reciben los datos y (quizás) se actúa sobre ellos. Normalmente, la mayor velocidad de los datos se transmite directamente a la memoria en lugar de escribirse en el disco. Algunos productos inteligentes con acceso a Internet operan en tiempo real o casi en tiempo real y requerirán una evaluación y acción en tiempo real.
La variedad se refiere a los muchos tipos de datos disponibles. Los tipos de datos tradicionales estaban estructurados y encajaban perfectamente en una base de datos relacional. Con el auge del big data, los datos se presentan en nuevos tipos de datos no estructurados. Los tipos de datos no estructurados y semiestructurados, como el texto, el audio y el vídeo, requieren un preprocesamiento adicional para derivar el significado y soportar los metadatos.
En los últimos años han surgido otras dos V: valor y veracidad. Los datos tienen un valor intrínseco. Pero no sirven de nada hasta que se descubre ese valor. Igualmente importante es saber hasta qué punto los datos son veraces y hasta qué punto se puede confiar en ellos.