BigBI - Visión General

Potencia de los clústeres distribuidos: volumen, redimiento y escalabilidad.

La potencia de Apache Spark comienza con la escalabilidad. Apache Spark realiza todos los cálculos analíticos en un clúster de servidores en lugar de en un único servidor ETL con un rendimiento y una escalabilidad hasta 100 veces superiores. con un rendimiento y una escalabilidad de hasta 100X.

Clúster distribuido

Construcción visual de Big data pipelines

Construcción y depuración de pipelines interactivas

BigBI studio se ha construido de forma nativa para la plataforma Apache Spark, lo que significa que cualquier operación visual en BigBI studio se realizaría de forma interactiva en el clúster Spark. Los pipelines se construyen con simples operaciones de arrastrar y soltar y se configuran mediante asistentes fáciles de usar. Las muestras de datos se pueden examinar directamente desde el clúster Spark, después de cada paso de ejecución en el pipeline de datos. Las muestras de datos pueden examinarse en forma alfanumérica y de gráfico pivotante.

Herramientas de depuración interactivas

Pipelines a producción – Proceso automático

Producción automática de JAR para el despliegue de pipelines

Además de la construcción interactiva de pipelines, BigBI puede generar una versión JAR compilada una vez finalizado el desarrollo. El JAR podría utilizarse posteriormente dentro de la solución de orquestación de la organización, como AirFlow o NiFi, o conectarse al proceso CI/CD.

Plataforma de integración de Big Data de cualquier formato a cualquier formato

Con toda la potencia de integración de datos de Apache Spark, BigBI puede procesar todas las fuentes y destinos de datos: datos estructurados, semiestructurados y no estructurados.

Integración de datos estáticos y Streaming

Las interfaces de streaming también pueden utilizarse para encajar los pipelines en la arquitectura empresarial de microservicios basados en eventos..

Algunos de los operadores del menú del Data Warehouse

Amplio conjunto de operadores y algoritmos de tratamiento de datos

Rico conjunto de procesamiento de datos aprovechando toda la potencia de Apache Spark para el procesamiento visual de big data sin código. BigBI ofrece uno de los conjuntos más ricos de operadores y transformaciones para la integración de modernos big datas.

Spark GraphX: creación y análisis de gráficos como parte de los big data pipeline

Los algoritmos de gráficos son un fuerte paradigma para el análisis de vínculos que se está utilizando en muchas aplicaciones verticales, como el análisis de la influencia social, la investigación del fraude, la ciberseguridad, la seguridad nacional, el transporte o la asignación y optimización de recursos.

Visualización de gráficos en BibBI estudio.

Integración de Notebook y Python
en los pipeline de datos

Machine learning y despliegue automático de los pipelines

El análisis de big data a menudo requiere ML e IA para la limpieza inteligente de datos, la agregación inteligente de datos o el enriquecimiento. En este caso, los equipos de ciencia de datos podrían ayudar a los analistas de BI recomendando los algoritmos y parámetros adecuados, mientras que los equipos de BI podrían ayudar a los científicos de datos preparando los datos para las operaciones de los científicos de datos.