Big data la revolución de los datos masivos

Inicio » Big data la revolución de los datos masivos

Sql en gpu

El Big Data es la corriente principal. En los últimos años, el zumbido de Big Data se ha disipado a medida que las empresas buscan pasar de la conciencia a la acción. En la conferencia Strata+Hadoop de O’Reilly el pasado mes de septiembre, me entusiasmó escuchar la afirmación victoriosa de que Big Data se había convertido en la corriente principal y desde entonces he visto la evidencia a través de nuestros clientes, socios y ejemplos publicitados de casos de Big Data. Mientras que el lenguaje como “lago de datos”, “escape de datos” y “datos oscuros” todavía enturbia las aguas para la acción de Big Data, la mayoría de las empresas están ahora más allá del velo, actuando en la tendencia de Big Data.

El propósito de la Inteligencia de Negocio (BI) es tomar los datos operativos, a menudo de rápido movimiento, limpiarlos, enriquecerlos y modelarlos para un análisis rápido y lógico. Cuando se aplica correctamente, el BI puede ayudar a los responsables de la toma de decisiones a obtener los datos adecuados en el momento oportuno. Con demasiada frecuencia, vemos sistemas complejos con procesos de soporte enrevesados. Pueden pasar días, semanas y meses para cambios aparentemente pequeños que cuestan tiempo y dinero a la organización. Mientras tanto, la complejidad aumenta a medida que las empresas buscan introducir más datos, dominios adicionales y fuentes de datos externas. En este post, explico lo que significa la aparición de Big Data para el BI tradicional y destaco las predicciones para la adopción continua.

Vaex vs pandas

¿Le gustaría ser la persona o el equipo de su empresa, grande o pequeña, que identifica lo que nadie más piensa en su organización pero que debería hacerlo? Piensa en el estatus que ganarías, en el protagonismo y en el despacho de la esquina, y en los nuevos retos que podrás afrontar y que llevarán a tu empresa a lo más alto.

Los datos son una materia prima clave para diversos sistemas empresariales socioeconómicos. Por desgracia, la capacidad de maximizar el uso y el valor de los datos ha sido poco aprovechada. Hasta ahora. Un cambio masivo en el ecosistema tecnológico, la explosión de sensores que emiten nuevos datos y la aparición de nuevos modelos de negocio están revolucionando el panorama de los datos. Cambiando para siempre la forma de ver, resolver y comercializar los problemas empresariales.

Este es el mundo del Big Data, en el que “grande” es sólo una referencia al tamaño de la oportunidad, no a la incapacidad de abordarla. Aprenda cómo puede formar parte de esta revolución y adelantarse a la competencia.

Abhishek, antiguo ejecutivo de estrategia y desarrollo en Bank of America, es un experto en big data y pagos de los consumidores. Es un orador destacado y un pensador de vanguardia en estos temas, Abhishek es un partidario acérrimo de todo lo relacionado con el código abierto y es reconocido en la industria como un visionario sobre cómo crear valor mediante la construcción, la transformación o la interrupción de los ecosistemas empresariales.

Vaex leer csv

Hace diez años, la tecnología en la nube era casi un sueño del futuro. Las instalaciones han sido la columna vertebral de los sistemas empresariales y han creado una base de fiabilidad, seguridad y gobernanza de los datos. En los últimos 10 años han cambiado muchas cosas: la cantidad de datos, el tipo de datos, la velocidad de los datos, etc. La digitalización, la mayor velocidad de las redes, la computación en la nube, etc., han dado lugar a un aumento de la cantidad de datos, denominados “Big Data”. Tanto si se utilizan para realizar operaciones como para relacionarse con los clientes, los datos proceden de todas las fuentes y direcciones, creando lagos de datos. Sin embargo, estos lagos de datos se convierten en pantanos de datos. En este mercado competitivo, el uso de los datos diferenciará a una empresa de las demás. Todas las empresas tienen datos, pero el uso de los datos es el factor diferenciador.

Las organizaciones ahora experimentan con los datos de diferentes maneras para dar más a los clientes. Algunas empresas, tratando de aprovechar el Big Data, utilizan nuevas tecnologías como el IoT (Internet de las cosas) que han transformado completamente su negocio. Aprovechar sus datos les ayuda en todos los aspectos de su negocio, como mejorar la experiencia del cliente y hacer más eficiente la logística o agilizar los servicios.

Vaex read sql

Si definimos los “big data” como enormes cantidades de información sobre el comportamiento de los agentes económicos individuales, los “small data” deben ser pequeñas cantidades de información sobre el comportamiento de enormes colecciones de individuos. En este artículo, exploramos la importancia de los small data en la modelización del riesgo y otras aplicaciones, y explicamos cómo el análisis de los small data puede ayudar a hacer más útil el análisis de los big data. Consideramos el problema de la representatividad y si los datos pequeños pueden ayudar a que los big data sean más representativos de la población subyacente. También examinamos las recesiones y el potencial de utilizar los big data a la hora de hacer predicciones. Por último, examinamos la calibración de los modelos de big data para agregar las predicciones realizadas mediante el análisis de small data.

¿Qué tiene un punto de datos concreto que lo hace “grande”? La mayoría diría que un registro completo de mis búsquedas anteriores en Internet es “grande”, pero entrevistarme para preguntarme si tengo empleo es mucho más pequeño. Explorar los movimientos de los usuarios para descubrir sus preferencias en cuanto a restaurantes es, en términos de datos, enorme. Llamar a un teléfono fijo para preguntar sobre esas preferencias, aunque se repita un millón de veces, es microscópico.

Ir arriba