Sistemas de big data

Inicio » Sistemas de big data

Ejemplos de sistemas de big data

La analítica de big data es el uso de técnicas analíticas avanzadas contra conjuntos de big data muy grandes y diversos que incluyen datos estructurados, semiestructurados y no estructurados, de diferentes fuentes y en diferentes tamaños, desde terabytes hasta zettabytes.

¿Qué son exactamente los big data? Puede definirse como conjuntos de datos cuyo tamaño o tipo supera la capacidad de las bases de datos relacionales tradicionales para capturar, gestionar y procesar los datos con baja latencia. Las características de los big data incluyen un alto volumen, una alta velocidad y una gran variedad. Las fuentes de datos se están volviendo más complejas que las de los datos tradicionales porque están siendo impulsadas por la inteligencia artificial (IA), los dispositivos móviles, los medios sociales y el Internet de las cosas (IoT). Por ejemplo, los diferentes tipos de datos proceden de sensores, dispositivos, vídeo/audio, redes, archivos de registro, aplicaciones transaccionales, web y medios sociales, muchos de ellos generados en tiempo real y a muy gran escala.

Con la analítica de big data, puede impulsar una toma de decisiones mejor y más rápida, la modelización y predicción de resultados futuros y la mejora de la inteligencia empresarial. A la hora de crear su solución de big data, considere el software de código abierto como Apache Hadoop, Apache Spark y todo el ecosistema Hadoop como herramientas de procesamiento y almacenamiento de datos rentables y flexibles, diseñadas para manejar el volumen de datos que se genera hoy en día.

Tecnologías de big data

cooperar como miembro del equipo y contribuir a la organización del proyecto, la garantía de calidad y la documentación. La calidad de su solución debe demostrarse mediante análisis, experimentos sistemáticos y casos de prueba. Ejemplos de proyectos IMPRO llevados a cabo en los últimos semestres son una herramienta de análisis de datos de foros de la Web 2.0, un juego multijugador en línea para teléfonos móviles, la implementación y el análisis de nuevos métodos de unión para una plataforma de computación en la nube o el desarrollo de operaciones de minería de datos en el sistema masivamente paralelo Hadoop como parte del proyecto de código abierto Apache Mahout.

conjuntos de datos. Para ello, los estudiantes aprenderán a utilizar las llamadas Plataformas de Procesamiento Paralelo (por ejemplo, Flink, Spark, Hadoop, HBase), sistemas que ejecutan cálculos paralelos con terabytes de datos en clusters de hasta varios miles de máquinas.

Ingeniería Informática (Master of Science)Informática (Informatik) (Master of Science)Elektrotechnik (Master of Science)ICT Innovation (Master of Science)Informatik (Master of Science)Information Systems Management (Wirtschaftsinformatik) (Master of Science)Medieninformatik (Master of Science)Wirtschaftsingenieurwesen (Master of Science)

Gartner big data & analytics

La investigación de nuestro grupo se centra en varias capas tecnológicas horizontales de la pila de big data. En la capa superior, realizamos optimizaciones y aumentamos la eficiencia del software desarrollado con marcos de big data como Apache Spark. En la capa de middleware, desarrollamos interfaces eficientes como Apache Arrow para permitir que los componentes de software (como JVM) se comuniquen de forma eficiente con el hardware. Y en la capa de hardware, desarrollamos implementaciones optimizadas de CPU o GPU, además de FPGA IP personalizada.

Utilizamos estas tecnologías para dirigirnos a múltiples dominios de aplicación, centrados en la genómica, el aprendizaje automático y los sistemas de bases de datos. El campo de la genómica y la medicina personalizada se está convirtiendo en un campo extremadamente orientado a los datos. Esto se debe a la drástica disminución del precio de la secuenciación del ADN en la última década, que ha hecho que el cuello de botella del análisis del ADN pase de la adquisición de los datos del ADN al procesamiento y análisis de estos datos. Nuestro grupo está trabajando para racionalizar todo el proceso de cálculo genómico, desde el almacenamiento y la transferencia de datos hasta su análisis e interpretación. Colaboradores importantes en este campo son el Centro Médico de la Universidad de Utrecht, el Centro Médico Erasmus y nuestra propia empresa Bluebee.

Curso de sistemas de big data

T. Ramalingeswara Rao.Derechos y permisosImpresiones y permisosSobre este artículoCite este artículoRao, T.R., Mitra, P., Bhatt, R. et al. El sistema de big data, componentes, herramientas y tecnologías: una encuesta.

Knowl Inf Syst 60, 1165-1245 (2019). https://doi.org/10.1007/s10115-018-1248-0Download citaCompartir este artículoCualquier persona con la que compartas el siguiente enlace podrá leer este contenido:Obtener enlace compartibleLo sentimos, actualmente no hay un enlace compartible disponible para este artículo.Copiar al portapapeles

Ir arriba