Como Integrar Snowflake e Kafka

Como Integrar Snowflake e Kafka

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

[ad_1]

John Moses, gerente sênior, e sua filha Monica Racha, consultora, ambos na Capgemini, compartilham como integrar o Snowflake e o Kafka usando o MuleSoft. John e Monica são desenvolvedores certificados pela MuleSoft e apresentaram esse tópico juntos durante um encontro MuleSoft em Sydney. Você pode encontrar uma versão gravada abaixo.

Este blog cobrirá uma variedade de tópicos, incluindo uma visão geral da arquitetura orientada a eventos, o MuleSoft Kafka Connector, o Snowflake Sink Connector e como a MuleSoft os une. É importante ter um conhecimento básico das arquiteturas orientadas a eventos, Kafka e Snowflake para combinar adequadamente esses sistemas usando o MuleSoft.

Visão geral da arquitetura orientada a eventos

Uma arquitetura orientada a eventos é uma sincronização bidirecional (solicitação e resposta) entre bancos de dados e sistemas. Nós o usamos para agrupar grandes conjuntos de dados em pedaços menores que são então transmitidos em intervalos contínuos para que possamos lidar com grandes quantidades de dados com mais rapidez e facilidade. No entanto, isso pode ser problemático porque em vez de ter um conjunto de dados integrados, teremos vários canais de dados.

Como todos esses dados serão processados? Isso cria um processamento de eventos complexo. É quando os métodos de integração tradicionais, como TIBCO ou Web Methods, não são atuais o suficiente para se adaptar ao mecanismo de processamento de eventos complexos baseado em nuvem. O que é necessário é uma plataforma de integração poderosa para conectar-se perfeitamente a vários aplicativos e oferecer suporte ao processamento de eventos complexos.

Agora que temos um entendimento básico, vamos examinar o cenário ao qual nos referiremos em todo o blog.

De um ESB local a uma solução baseada em nuvem

Este é um cenário típico que ocorre em todo o mundo, especificamente no setor de energia e utilidades. Os dados precisam ser compartilhados entre varejistas, distribuidores, geradores e o centro de mercado para fornecer dados de faturamento precisos, dados de preços spot, descontos, etc.

Os problemas com esta solução incluem:

  • Todas as partes estão executando suas soluções de integração B2B e B2M no local e em capacidade com as soluções ESB tradicionais.
  • O compartilhamento de dados entre países é solicitado com mais frequência e esta solução tradicional não consegue atender às demandas.

Na solução local original acima, os distribuidores estão compartilhando os dados de consumo, faturamento, dados de mercado e ordens de serviço para cada ação com o hub de mercado. Na outra ponta, temos geradores que compartilham geração, licitação, preço à vista e dados de interrupção com o hub de mercado. Por fim, temos os varejistas compartilhando leituras de medidores, conexões / desconexões, detalhes do cliente e outros dados pessoais com o hub de mercado. Todos os dados precisam ser compartilhados via local, fazendo com que os sistemas subjacentes tenham longos tempos de execução, afetando todas as várias partes que dependem dos dados compartilhados.

Solução proposta usando MuleSoft

Propomos usar MuleSoft para criar uma solução API baseada em nuvem com uma arquitetura orientada a eventos. Isso inclui conectar Snowflake e Kafka para construir um ecossistema B2B para lidar com esse problema e muitos mais.

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

Aqui, construímos uma solução baseada em nuvem, em vez de tê-la no local, que pode lidar com todos os mesmos dados, ao mesmo tempo que é perfeitamente integrada. Os dados agora fluem através da plataforma Anypoint.

Usando Snowflake, Kafka e Anypoint Platform para construir uma solução

Criamos alguns fluxos Mule diferentes para replicar alguns dos componentes principais que podem ser vistos em nosso diagrama acima. Temos um processador de mensagens de mercado que recebe várias mensagens de mercado de todos os participantes (distribuidores, geradores, varejistas) no API Manager. Ele processa as mensagens, reúne as informações subjacentes, transforma-as e as publica em um tópico Kafka. Em seguida, temos o Conector MuleSoft Apache Kafka e o Conector Snowflake Confluent. Configuramos o Apache Kafka Connector da MuleSoft para se conectar a uma instância local do Kafka para publicar as mensagens no tópico.

Além disso, o Conector Confluent Snowflake Sink ouve tópicos específicos e transmite as mensagens para uma mesa de teste do Snowflake assim que as mensagens dos participantes chegam em seus tópicos designados. Assim, todas as mensagens de mercado irão parar na mesa de teste do floco de neve. Em um cenário ideal, teríamos vários tópicos para cada varejista, distribuidor e gerador para detalhar para ter cada tópico para um domínio de dados de negócios específico, como para informações de faturamento. Isso ajuda o respectivo fluxo de dados somente através do pipeline designado, sem ter que interagir ou perturbar quaisquer outros dados de negócios. O Snowflake Sink Connector fornece esse mecanismo de conectividade pronto para uso.

Em seguida, construímos Snowflake Streams, que são altamente eficazes e fazem do Snowflake um dos principais data warehouses baseados em nuvem para construir data lakes. Somando-se a isso, construímos um processador de dados de saída Snowflake para mostrar a conectividade de saída do Snowflake. Utilizamos o Conector JDBC Mule Genérico para nos conectar à tabela Snowflake para obter novas entradas de registro na tabela.

Agora vamos ver como construímos nossa solução em um tutorial passo a passo de Monica.

Benefícios da solução MuleSoft Cloud EDA + API

Um dos benefícios de uma solução MuleSoft Cloud EDA e API é que você pode ter uma solução de streaming sustentável, confiável e distribuída que roda em Anypoint Platform. É perfeito para qualquer hub global que deseja projetar uma solução perfeitamente e executá-la exclusivamente na nuvem. Tendo os gostos de Kafka, Snowflake e arquitetura liderada por API com MuleSoft, a solução se torna 100% escalável tanto verticalmente quanto horizontalmente. Ele também cria um manuseio through-Puts (TPS) 4X mais rápido por conectores MuleSoft Kafka quando comparado a outras plataformas de mensagens. Por último, o uso de APIs REST SnowPipes permite que milhões de registros de buckets AWS S3 sejam carregados no Snowflake em apenas alguns segundos.

Você pode encontrar a apresentação completa aqui. Se você tem um tópico técnico que gostaria de apresentar um Meetup MuleSoft, inscreva-se aqui!


[ad_2]

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br
Luiz Presso