Que permite el big data
Ejemplos de big data
En pocas palabras, los big data son conjuntos de datos más grandes y complejos, especialmente los procedentes de nuevas fuentes de datos. Estos conjuntos de datos son tan voluminosos que el software de procesamiento de datos tradicional no puede gestionarlos. Sin embargo, estos volúmenes masivos de datos pueden utilizarse para resolver problemas empresariales que antes no habrían podido abordarse.
La velocidad es la rapidez con la que se reciben los datos y (quizás) se actúa sobre ellos. Normalmente, la mayor velocidad de los datos se transmite directamente a la memoria en lugar de escribirse en el disco. Algunos productos inteligentes con acceso a Internet operan en tiempo real o casi en tiempo real y requerirán una evaluación y acción en tiempo real.
La variedad se refiere a los muchos tipos de datos disponibles. Los tipos de datos tradicionales estaban estructurados y encajaban perfectamente en una base de datos relacional. Con el auge del big data, los datos se presentan en nuevos tipos de datos no estructurados. Los tipos de datos no estructurados y semiestructurados, como el texto, el audio y el vídeo, requieren un preprocesamiento adicional para derivar el significado y soportar los metadatos.
En los últimos años han surgido otras dos V: valor y veracidad. Los datos tienen un valor intrínseco. Pero no sirven de nada hasta que se descubre ese valor. Igualmente importante es saber hasta qué punto los datos son veraces y hasta qué punto se puede confiar en ellos.
Uso de big data
El uso de un enfoque de fusión multisensor en aplicaciones y sistemas conscientes del contexto permite acceder simultáneamente a la variada información necesaria para una estimación o inferencia precisa del contexto. Los sistemas de fusión multisensor tienen el potencial de mejorar la ganancia de información manteniendo el ancho de banda general bajo [19]. La figura 1 ilustra un enfoque de fusión multisensor.
Otra conceptualización del middleware implica una arquitectura común multicapa que proporciona funcionalidades particulares y constituye la base de capas superiores de mayor abstracción. Incluye los siguientes componentes:
Para una descripción y discusión detallada de estos pasos, incluyendo una cuenta de técnicas de minería de datos, algoritmos y tareas basadas en métodos supervisados y no supervisados, el lector interesado puede dirigirse a [55]. Asimismo, Chen et al. [58] ofrecen una revisión sistemática de la minería de datos desde el punto de vista de la técnica, del conocimiento y de la aplicación, con el apoyo de los últimos casos de aplicación relacionados principalmente con la inteligencia empresarial. Un proceso de analítica urbana bien entendido pone una estructura a los problemas relativos a la sostenibilidad urbana, permitiendo una coherencia, repetibilidad y objetividad razonables. La codificación del proceso de minería de datos que aquí se propugna es una adaptación de CRISP-DM [50, 51], como se ilustra en la Fig. 2. Los detalles técnicos profundos de los subprocesos del proceso de minería de datos y cómo se relacionan con los dominios y subdominios urbanos en el contexto de las dimensiones de la sostenibilidad están más allá del alcance de este documento.Fig. 2El proceso de minería de datos aplicado a los problemas de sostenibilidad urbanaImagen de tamaño completo
Cómo de grande es el big data
La integración del Internet de las Cosas (IoT), el big data y la inteligencia artificial (IA) ha allanado el camino para una serie de novedosas aplicaciones en el mundo real. Estas tecnologías convergentes no sólo abarcan la tecnología de la información y la comunicación, sino que también interconectan diversos sectores como el empresarial, la automatización industrial, la agricultura inteligente y la sanidad, entre otros. El IoT conecta el mundo físico a Internet y genera enormes volúmenes de big data que deben ser refinados para extraer características útiles utilizando el aprendizaje automático (ML) y el aprendizaje profundo (DL).
Existen numerosos retos de infrautilización de los big data generados por los dispositivos IoT desde la perspectiva del ML/DL y la IA. Se argumenta que la IA es obligatoria para el análisis de big data para hacer frente a estos desafíos. Se necesita un marco de aprendizaje que se adapte a la naturaleza de los datos producidos en el entorno de IoT, que debe ser lo suficientemente escalable como para cumplir con los requisitos de los servicios demandados por las aplicaciones inteligentes de IoT. Como los datos se recogen a escala masiva en el IoT, y la analítica de datos está madurando poco a poco, es posible conquistar estos retos con novedosos algoritmos de IA y técnicas de ML/DL para analizar en tiempo real.
Análisis de grandes datos
Los modelos de madurez de big data (BDMM) son los artefactos utilizados para medir la madurez de big data[1]. Estos modelos ayudan a las organizaciones a crear una estructura en torno a sus capacidades de big data y a identificar por dónde empezar[2]. Proporcionan herramientas que ayudan a las organizaciones a definir objetivos en torno a su programa de big data y a comunicar su visión de big data a toda la organización. Los BDMM también proporcionan una metodología para medir y supervisar el estado de la capacidad de big data de una empresa, el esfuerzo necesario para completar su etapa o fase de madurez actual y para progresar a la siguiente etapa. Además, los BDMM miden y gestionan la velocidad tanto del progreso como de la adopción de los programas de big data en la organización[1].
Las áreas clave de la organización se refieren a «personas, procesos y tecnología» y los subcomponentes incluyen[3] alineación, arquitectura, datos, gobierno de datos, entrega, desarrollo, medición, gobierno del programa, alcance, habilidades, patrocinio, modelado estadístico, tecnología, valor y visualización.