Conclusiones sobre big data

Estructura de los big data

Este informe pretende aumentar el nivel de concienciación sobre las cuestiones intelectuales y técnicas que rodean el análisis de los datos masivos. No es el primer informe que se escribe sobre los datos masivos, ni será el último, pero dada la gran atención que se está prestando actualmente a los datos masivos en la ciencia, la tecnología y la administración pública, el comité cree que es un momento especialmente apropiado para estudiar estas cuestiones.

Esta sección final comienza resumiendo algunas de las principales conclusiones del informe. A continuación, se ofrecen algunas observaciones finales adicionales. El estudio que dio lugar a este informe llegó a las siguientes conclusiones:

La elaboración de procedimientos estadísticamente bien fundados que permitan controlar los errores en el marco de datos masivos, reconociendo que estos procedimientos son en sí mismos procedimientos computacionales que consumen recursos

puede ser muy difícil o engañoso, mientras que una mirada a la totalidad de un problema podría revelar que el comportamiento algorítmico del caso medio es bastante apropiado desde una perspectiva estadística. Del mismo modo, el conocimiento de la generación típica de consultas podría permitir limitar un análisis a un subconjunto relativamente simple de todas las consultas posibles que habría que considerar en un caso más general. Y la dificultad de la programación paralela en los entornos más generales puede evitarse centrándose en clases útiles de algoritmos estadísticos que pueden implementarse con un conjunto simplificado de motivos de programación paralela; además, estos motivos pueden sugerir patrones naturales de almacenamiento y acceso de datos en plataformas de hardware distribuidas.

Análisis de grandes datos

Andrew Brust lleva 25 años trabajando en el sector del software como desarrollador, consultor, empresario y director de tecnología, especializado en el desarrollo de aplicaciones, bases de datos y tecnología de inteligencia empresarial. Ha sido columnista de la revista para desarrolladores y ponente en conferencias desde mediados de los 90, y escritor de libros de tecnología y bloguero desde 2005.

Hace poco más de dos años, tuve la oportunidad de escribir sobre Big Data para ZDNet.    Estaba, y estoy, bastante orgulloso de ese logro.    Desde entonces he trabajado para informarme sobre esta parte floreciente de la escena de las bases de datos y la analítica, y para compartir lo que he aprendido con los lectores aquí.    También he tratado de acompañar los hechos relatados con algunas opiniones y análisis.

Cuando llegué aquí, sabía mucho sobre Business Intelligence (BI), pero no tanto sobre Big Data en sí.    Sospechaba que ambas cosas estaban separadas sólo de forma arbitraria, y a lo largo de estos dos años he confirmado esa sospecha.    Mientras tanto, Big Data era (y sigue siendo) sobre todo Hadoop.    Y Hadoop tenía su propio ecosistema de herramientas, proveedores y profesionales.

Analítica empresarial y big data

Puntos clave En las dos últimas décadas, la empresa media ha visto crecer astronómicamente la cantidad de datos que recoge. La capacidad de los ordenadores para analizar todos esos datos también se ha multiplicado, pero no lo suficiente como para que puedan dar sentido a los hechos sin la guía de expertos humanos.Desgraciadamente, incluso los expertos en el contexto están limitados en su capacidad para procesar los datos, guiar el análisis asistido por ordenador e interpretar los resultados. No siempre es fácil encontrar las ideas ocultas en esa montaña de datos y comunicarlas con claridad. Las situaciones más comunes pueden ser muy difíciles de visualizar. Por ejemplo, ¿cómo se puede mostrar el impacto de un solo punto de interrupción en una cadena de suministro compleja, especialmente cuando, como suele ser el caso, los números subyacentes que describen la interrupción sólo pueden ser entendidos por personas con diferentes tipos de experiencia? TRES PREGUNTAS Un número sorprendente de respuestas se puede encontrar al observar una teoría desarrollada hace más de cien años por un científico y filósofo estadounidense llamado Charles Peirce. Conocido como el padre de la escuela filosófica pragmática, Peirce se preocupaba por la forma en que las personas se comunicaban, en particular, por cómo transmitían el significado a través de los signos. En su Teoría de los Signos, Peirce llegó a la conclusión de que el desarrollo de un signo o símbolo eficaz dependía de la respuesta a tres preguntas, que podrían parafrasearse como:

Uso de la analítica de big data

Los big data pueden ser un activo o un pasivo. Si analiza sus datos y los mantiene seguros, puede aprovechar los conocimientos de big data y mejorar su negocio. Sin embargo, si su big data no es seguro, puede enfrentarse a pérdidas monetarias y de autoridad de marca. A medida que 2019 se acerca a su fin, es importante revisar nuestros esfuerzos pasados en materia de seguridad, y encontrar los puntos que requieren más mejoras.

Si comparamos las estadísticas de violaciones de datos de este año con las de 2018, descubrimos un aumento alarmante en el número de violaciones. Según It Governance, 421 millones de registros fueron vulnerados durante octubre de 2019. Esto supone un enorme salto con respecto a octubre de 2018, durante el cual solo se vulneraron 44 millones de registros.

Durante la última década, cada año ha sido nombrado «El año de la violación de datos». Algunos incluso se burlan de este título, que ha ido pasando de año en año como un bastón de mando en la carrera de relevos contra las brechas. Sin embargo, no se puede negar que cada año se exponen más registros de datos. Cada año, los ataques se vuelven más sofisticados y los atacantes más ambiciosos.