Os dados são um dos maiores recursos do mundo, alimentando tudo, desde mecanismos de recomendação de vídeo e banco digital até a crescente revolução da IA. Mas em um mundo onde os dados são cada vez mais distribuídos entre locais – de bancos de dados a data warehouses, data lakes e muito mais – combiná-los em um formato compatível para uso em cenários em tempo real pode ser uma tarefa assustadora.
Os aplicativos que não requerem acesso instantâneo a dados em tempo real podem simplesmente combinar e processar dados em lotes em intervalos fixos. Esse "processamento de dados em lote" pode ser útil para coisas como processar dados de vendas mensais. Mas muitas vezes uma empresa precisa de acesso em tempo real aos dados à medida que são criados, e isso pode ser crítico para o software de gerenciamento de dados. atendimento ao cliente baseado em informações atuais sobre cada venda, por exemplo. Em outros lugares, os aplicativos de transporte também precisam processar todos os tipos de Os pontos de dados conectar um passageiro com um motorista; isso não é algo que pode esperar alguns dias. Esses tipos de cenários exigem o que é conhecido como "processamento de dados de fluxo", em que os dados são coletados e combinados para acesso em tempo real, algo muito mais complexo de configurar.
E isso é algo que Bulldozer ele se propõe a abordar, alimentando APIs rápidas somente leitura diretamente de qualquer fonte por meio de um back-end de infraestrutura de dados plug-and-play.
Bulldozer é o trabalho de Vivek Guadapuri y Mateus Pelati, que fundou a empresa em sua base em Cingapura há quase um ano. A dupla construiu uma equipe distribuída de 10 pessoas na Ásia e na Europa Oriental enquanto se prepara para expandir além do produto atual. As fontes disponíveis (ou seja, não é de código aberto) oferece um produto totalmente monetizável.
Dozer tem testado seu produto com um punhado de parceiros de design não revelados, e hoje está emergindo de forma furtiva para qualquer desenvolvedor acessar. A empresa também revelou que levantou US$ 3 milhões em financiamento inicial de Sequoia Capital (através do seu programa Aumentar ), do Google, Gradiente y Capital de Janeiro.
Grande cobertura
Já existem inúmeras ferramentas projetadas para transformar, integrar e alavancar dados distribuídos, incluindo bancos de dados de streaming e ferramentas ETL (extrair, transformar, carregar), como Apache Flink, Airbyte e Fivetran; camadas de cache para armazenamento de dados transitórios como Redis; e APIs instantâneas alimentadas por Hasura ou Supabase para canalizar dados entre sistemas.
A Dozer, por sua vez, trabalha em todas essas várias categorias, pegando o que acredita serem as melhores partes e removendo o atrito que acompanha a construção da infraestrutura e dos pipelines que oferecem suporte a aplicativos de dados em tempo real.
Os usuários conectam o Dozer à sua pilha de dados existente, que pode incluir bases de dados, data warehouses e data lakes, e o Dozer cuida da extração, cache e indexação de dados em tempo real e os exibe por meio de APIs de baixa latência. Portanto, enquanto soluções como Airbyte ou Fivetran ajudam a colocar dados em um data warehouse, Dozer se concentra no outro lado: "tornar esses dados acessíveis da maneira mais eficiente", explicou Gudapuri.
Gudapuri disse que Dozer "adota uma abordagem obstinada", que aborda problemas muito específicos e nada mais. Por exemplo, o bases de dados As soluções de streaming existentes resolvem muitos problemas muito além do que a Dozer oferece, que trata de fornecer atualizações de dados e APIs em tempo real em um único produto.
“Resolvemos a quantidade certa de problemas em cada uma dessas categorias para oferecer uma experiência de construção rápida para desenvolvedores, bem como desempenho imediato”, disse Gudapuri. "Os desenvolvedores (atualmente) precisam integrar várias ferramentas para alcançar a mesma coisa."
Por exemplo, um banco de dados de streaming existente provavelmente tentará apresentar a experiência completa do banco de dados ao usuário, mecanismo de consulta, exploração de dados, OLAP (processamento analítico online), etc Dozer deliberadamente não oferece essas coisas, concentrando-se no que Pelati chama de "visualizações pré-computadas" usando SQL, Python e JavaScript, e todas acessíveis por meio de baixa latência. GRPC y DESCANSO API.
E é por esse motivo, diz Pelati, que o Dozer pode prometer melhor latência de consulta de dados.
“Devido a essas opções de design, o Dozer oferece uma latência de consulta muito maior, necessária para aplicativos voltados para o cliente”, disse Pelati. “Um único desenvolvedor pode ativar aplicativos de dados inteiros em minutos, o que normalmente levaria meses de esforço. Uma equipe não precisa criar e manter várias integrações para economizar tempo e dinheiro.”
O (não totalmente) fator de código aberto
Embora a Dozer se promova como uma plataforma de "código aberto", uma rápida olhada em sua licença no GitHub revela que usa um Licença elástica 2.0 (ELv2), a mesma licença da ferramenta de pesquisa Elastic adotado há dois anos como parte de sua transição embora de um verdadeiro código aberto. Na verdade, a licença Elastic não reconhecido como código aberto pois evita que terceiros peguem o software e o ofereçam como um serviço hospedado ou gerenciado.
Mais precisamente, o ELv2 pode ser chamado de licença de "fonte disponível", o que significa efetivamente que oferece muitos dos benefícios de uma licença de código aberto mais permissiva. como o do MIT, incluindo a transparência da base de código, a capacidade de estender os recursos do Dozer ou ajustar os recursos e corrigir bugs. Isso por si só já é suficiente para conquistar os corações e mentes de empresas de todos os tamanhos, desde que não seja a AWS ou algum outro gigante da nuvem procurando monetizar diretamente em cima do Dozer.
No entanto, a empresa disse que pretende mudar para uma licença dupla "muito em breve", onde tudo no projeto principal do Dozer será MIT-licenciado, exceto para "um módulo principal". Além disso, a empresa enfatiza rapidamente que todas as suas bibliotecas clientes já são licenciadas pelo MIT, incluindo Pitão, Dozer-reagir y JavaScript.
Vale notar que algumas empresas criaram ferramentas internas para resolver um problema semelhante ao que a Dozer está enfrentando, como Netflix que criou soluções com Dozer Vários anos atrás. Em particular, um dos principais criadores por trás do Bulldozer, Ioannis Papapanagiotou ele agora trabalha como consultor da Dozer.
Ainda é cedo para Dozer, mas com US$ 3 milhões em banco de um grande número de patrocinadores de alto perfil, a empresa está bem financiada à medida que avança para a comercialização, que incluirá a introdução de uma versão SaaS hospedada com vários recursos extras. Gudapuri disse que espera que isso seja lançado nos próximos meses.
“O serviço hospedado cuidará do escalonamento automático, implantações instantâneas, segurança, conformidade, limitação de taxa e alguns recursos adicionais”, disse Gudapur.
