SeriesKafka 101
1/3. Kafka local con CLI, primer recorrido2/3. Consumer groups de Kafka, en claro3/3. Leer Kafka con Spark Streaming

Este post te deja corriendo localmente y prueba que Kafka funciona con el ciclo mínimo de CLI: crear tópico, producir y consumir. Ref: Kafka quickstart.

Descargas al final: ir a Descargas.

En pocas palabras

  • Kafka se aprende más rápido local con Docker.
  • La CLI es suficiente para validar el setup.
  • Con esto listo, integras Spark o Python.

Ejecuta tú mismo

  • Docker local: ruta principal.
  • Databricks: no es necesario aquí.
1

docker compose up

Links:

Crear un tópico

Creamos un tópico simple para pruebas locales.

1

kafka-topics.sh --create --topic demo-events --bootstrap-server localhost:9092 --partitions 3 --replication-factor 1

Salida esperada (ejemplo):

Created topic demo-events.

Producir mensajes

Envia unas líneas de texto como eventos.

1

kafka-console-producer.sh --topic demo-events --bootstrap-server localhost:9092

Type a few lines and press Enter.

Consumir mensajes

Lee desde el inicio para validar que todo funciona.

1

kafka-console-consumer.sh --topic demo-events --from-beginning --bootstrap-server localhost:9092

Salida esperada: Verás las líneas que escribiste en el producer.

Qué verificar

  • Los mensajes aparecen en el consumidor.
  • El tópico tiene el número de particiones que definiste.
  • Puedes detener y reiniciar el consumidor sin perder datos.

Descargas

Si no quieres copiar código, descarga el notebook o el .py.

Download .ipynbDownload .py