Output Kafka

Publica as mensagens em um tópico Kafka — no cluster da própria plataforma ou em um cluster externo.

É o Output usado para devolver o dado ao ecossistema Kafka: alimentar outro time, outro sistema, ou copiar um fluxo de um cluster para outro.

Campos

Campo	O que é	Padrão
Tópico de saída	Nome do tópico que vai receber as mensagens.	—
Conexão Kafka (padrão)	Para qual cluster publicar. Deixe em Padrão do pipeline para usar o broker da própria pipeline, ou escolha uma conexão cadastrada em Kafka → Conexões para publicar em um cluster externo.	Padrão do pipeline

A conexão escolhida aqui é o padrão — ela pode ser sobrescrita por cluster no momento do deploy. Veja Conexões Kafka.

O que este Output precisa ler do tópico

Este Output republica a mensagem inteira, sem alterar nada:

Parte	Como é usada
Value	Vira o Value da mensagem publicada
Key	Vira a Key da mensagem publicada
Headers	Viram os headers da mensagem publicada

Aceita qualquer mensagem. Não há formato obrigatório.

Exemplo

Mensagem lida do tópico da pipeline:

Key:     {"pedido":1234}
Value:   {"pedido":1234,"cliente":"ACME","total":199.90}
Headers: origem=erp  versao=2

Mensagem publicada no tópico de destino — idêntica:

Key:     {"pedido":1234}
Value:   {"pedido":1234,"cliente":"ACME","total":199.90}
Headers: origem=erp  versao=2

Essa fidelidade é o que torna possível encadear pipelines. Um fluxo de SQL Server CDC republicado por aqui chega ao outro lado com os headers de CDC intactos, e uma segunda pipeline com Input Kafka → Output PostgreSQL consegue aplicá-lo normalmente.

A Key define a ordem

Kafka garante ordem por partição, e a partição é escolhida pela Key. Mensagens com a mesma Key sempre caem na mesma partição, ou seja, chegam na ordem em que foram publicadas.

Isso importa para dados de CDC: como a Key traz a chave primária, todas as mudanças de uma mesma linha ficam ordenadas entre si. Mensagens sem Key são distribuídas entre as partições, e aí não há garantia de ordem entre elas.

Combinações comuns

Quero	Monte assim
Espelhar um tópico entre clusters	Input Kafka (conexão A) → Output Kafka (conexão B)
Publicar eventos recebidos por API	Input HTTP → Output Kafka
Filtrar um fluxo antes de republicar	Input Kafka → Transform → Output Kafka