Feda /dev/ - No Javascript allowed

Kafka con avro, json schema o protobuf?

#11830 Oye como lo haces para saber de todo

#11834 Cinco años y está obsoleto pero luego implemento mierdas de artículos de los años setenta.

#11836 Confirmamos que la informática, como la moda, es cíclica.

La programación es tan como la moda que existe una cosa llamada JHipster.

#11839 Me cago en la puta https://www.jhipster.tech/

#11830 Casi lo tengo todo, solo no entiendo quien debe ser el responsable de escalar conectores.

• Tengo conectores rpc, rest, amqp, mqtt...
• A cada conector le entra mierda y publica al topic de kafka que toque a por ejemplo un ritmo de 5k peticiones/s.
• Imagina que me llegan mas msgs de los que puedo procesar, por ejemplo 250k/s por AMQP
• Entonces debería escalar el conector AMQP y si uno hacia 5k/s pues me salen 50 conectores AMQP mientras dure el pico y luego tumbarlos.

Esto como se gestiona? Porque no es un problema de Kafka sino mas bien será de orquestación no?

Quizás me hago un mini proyecto para el github. Me motiva aprender este tema.

#11843 el cuello de botella es en cualquier caso Kafka y su capacidad de ingesta depende muchísimo de la configuración del topic y el propio productor. Lo más importante son el número de particiones ya que es la unidad de paralelismo pero tienes también el número de inflight requests, acks, si quieres exactly once semantics, compresión, encriptado, etc.

Dedícate un par de tardes a leer la documentación y el libro oficiales que por lo que estás preguntando andas algo perdido.

.