Big Data Dummy

Elasticsearch

Elasticsearch es un servidor de búsqueda y analítica distribuido y RESTful basado en Lucene que es capaz de cubrir multitud de casos de uso. Una de las partes fundamentales de Elastic es la centralización de datos de forma indexada.

El pipeline de datos de Netflix

En Netflix cualquier decisión de negocio o de producto está tomada a partir de ideas obtenidas del análisis de datos. El objetivo del pipeline de datos es obtener, agregar, procesar y mover datos a escala Cloud. Casi todas las aplicaciones en Netflix utilizan el pipeline de datos para la consulta o la escritura de datos.

Kafka vs Flume vs Spark

Si se necesitan los procesos en tiempo real, optaría por Spark Streaming, si el tiempo no fuera un factor importante entonces utilizaría trabajos Spark.
El consumidor Kafka es muy simple de utilizar pero proporciona poca funcionalidad. Estos consumidores serán sustituidos por los nuevos Kafka Streams que permiten leer, procesar y analizar datos almacenados en Kafka.