Executando um Big Data Cluster do SQL Server 2019 no VMware vSphere |

Executando um Big Data Cluster do SQL Server 2019 no VMware vSphere |

O cluster Kubernetes no VMware vSphere
cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br


(Verifique o Plano de treinamento GRATUITO do SQLpassion Performance Tuning – você recebe um email semanal com todo o conhecimento essencial necessário sobre o ajuste do desempenho no SQL Server.

Se você deseja sujar as mãos com os Big Data Clusters do SQL Server 2019, a maneira mais fácil é implantá-lo nos Serviços de Kubernetes do Azure. Mas também existem outras opções disponíveis. Você pode implantar um Big Data Cluster do SQL Server 2019 de um ou vários nós em Máquinas Virtuais hospedadas localmente em seu próprio Data Center. Como já tenho uma implantação maior do VMware vSphere disponível no meu Home Lab, tentei implantar um Big Data Cluster de vários nós no meu próprio Home Lab

Nas postagens de hoje, quero mostrar as etapas necessárias que você precisa fazer e algumas lições aprendidas do meu lado.

Pré-requisitos

Um Big Data Cluster do SQL Server 2019 é mais ou menos um produto dentro de um produto. As funcionalidades e os recursos que você obtém após uma implantação bem-sucedida são *enorme*, e há tantos novos conceitos diferentes que você precisa aprender.

Toda a implantação de um Big Data Cluster do SQL Server 2019 acontece dentro de um Kubernetes Cluster. O Kubernetes (ou k8s) é uma estrutura de orquestração de contêiner de código aberto que atualmente gera muita atenção. Portanto, o primeiro pré-requisito para implantar um Big Data Cluster do SQL Server 2019 é a existência de um Kubernetes Cluster. A Microsoft fornece aqui um artigo que descreve como implantar um cluster Kubernetes de 3 nós nas máquinas virtuais Ubuntu 16.04 / 18.04.

Como você já pode ver aqui, os pré-requisitos de hardware para essas máquinas virtuais são bastante altos:

  • 8 vCPUs
  • 64 GB RAM
  • 100 GB de armazenamento

Se você estiver implantando um cluster do Kubernetes para uso em produção, também certifique-se de implantar vários nós principais para tornar o cluster altamente disponível. Para facilitar as coisas, implantei no meu caso um nó mestre e três nós trabalhadores:

O cluster Kubernetes no VMware vSphere

Depois de concluir a implantação do Kubernetes Cluster, você precisará lidar com o próximo requisito: você deve ter algum tipo de Armazenamento Persistente para o seu Kubernetes Cluster. Nos Serviços do Kubernetes do Azure (AKS), isso é bastante fácil, porque o AKS fornece provisionamento dinâmico a classes de armazenamento internas.

Leia Também  Removendo duplicatas em uma planilha do Excel usando scripts Python

Se você possui o Kubernetes Cluster recém-implantado em funcionamento, não há Armazenamento Persistente disponível, pois é necessário conectar seus próprios provedores. Mas qual provedor você usa? Ao acompanhar o meu blog ao longo dos anos, você já sabe que sou um grande fã do VMware vSAN, que é uma solução de armazenamento hiperconvergente criada diretamente no ESXi Hypervisor. E tenho uma implementação vSAN pronta para produção em funcionamento no meu Home Lab. Portanto, seria ótimo usar o armazenamento persistente que se integra ao VMware vSAN.

Felizmente, o VMware vSphere 6.7 Update 3 apresenta o Kubernetes vSphere Cloud Provider, que fornece os chamados “Out-of-Tree Providers” que estão conectando o armazenamento persistente via Kubernetes Pods ao seu Kubernetes Cluster. Infelizmente, meu laboratório doméstico ainda estava no VMware vSphere 6.7, atualização 1, então tive que atualizar tudo para a atualização 3:

  • Dispositivo virtual vCenter
  • Todos os 3 hosts ESXi
  • vSAN Datastore

Isso levou algum tempo (não planejado), mas no final tudo funcionou conforme o esperado, e meu VMware vSphere Home Lab também está sendo executado na versão mais recente:

Tudo foi atualizado para o VMware vSphere 6.7 Update 3

Depois de fazer a atualização, segui as diretrizes de instalação do Kubernetes vSphere Cloud Provider exatamente passo a passo (isso é muito, muito importante !!!) e, finalmente, pude implantar uma nova classe de armazenamento no meu Kubernetes Cluster com o seguinte documento yaml:

Como você pode ver, a classe de armazenamento personalizada usa o csi.vsphere.vmware.com Provedor de armazenamento fornecido com o Kubernetes vSphere Cloud Provider. Você também pode ajustar seus requisitos de armazenamento através do atributo storagepolicynamee forneça sua própria política de armazenamento configurada no vSphere Cluster.

Uma Classe de Armazenamento Implementada Customizada

Para verificar se a funcionalidade de provisionamento dinâmico do Kubernetes vSphere Cloud Provider funciona, você pode implantar a seguinte reivindicação de volume persistente (PVC) no seu Kubernetes Cluster:

Leia Também  Configurar um grupo de disponibilidade Always On do SQL Server no cluster de failover independente de domínio

Após a implantação desse PVC, o Kubernetes deve criar um arquivo VMDK grande de 2 GB no seu armazenamento de dados vSAN. Depois de concluir essas etapas, você estará pronto para implantar seu primeiro Big Data Cluster do SQL Server 2019 no VMware vSphere!

A implantação

Como você implantou uma Classe de armazenamento personalizada no seu Kubernetes Cluster, também é necessário personalizar a configuração de armazenamento do seu Big Data Cluster. A implantação de um Big Data Cluster é descrita no arquivo de configuração JSON. As seguintes configurações estão disponíveis no momento, descritas aqui em mais detalhes:

  • teste aks-dev
  • aks-dev-test-ha
  • kubeadm-dev-test
  • kubeadm-prod

No meu caso, decidi implantar a configuração kubeadm-dev-test e, portanto, precisamos personalizar as configurações de armazenamento nessa configuração. Na primeira etapa, você deve criar uma cópia do perfil de implantação com a seguinte linha de comando:

Este comando exporta os arquivos de configuração JSON para a pasta kubeadm-custom:

Os arquivos de configuração de implantação

Você tem que mudar o control.json para definir a classe de armazenamento como a classe de armazenamento implantada no cluster do Kubernetes:

Alterando a classe de armazenamento

Essa é a única alteração que você deve aplicar. E, finalmente, você pode iniciar a implantação do seu Big Data Cluster do SQL Server 2019 com o seguinte comando:

E agora leva muito tempo até a implantação terminar, porque você precisa enviar todas as imagens do Docker necessárias do Microsoft Container Registry. No meu caso, toda a implantação levou cerca de 1 hora…

Leia Também  Como configurar um ambiente Amazon RDS para MySQL

Aguardando até que a implantação seja concluída

Quando a implantação estiver concluída, você poderá verificar o status dos vários Pods Kubernetes implantados com o seguinte comando:

Todos os Pods do Kubernetes estão em funcionamento

Como você pode ver, existem 21 Kubernetes Pods e, em suma, existem 45 contêineres Docker em execução! Como eu disse inicialmente: os Big Data Clusters são um produto dentro de um produto e há muitas coisas diferentes a serem exploradas … Você também pode verificar o status do seu Big Data Cluster do SQL Server 2019 com o azdata ferramenta:

Se não houver problemas, tudo deve estar verde:

Tudo é bom

Conectando-se ao seu Big Data Cluster do SQL Server 2019

Após a implantação bem-sucedida do Big Data Cluster, a próxima etapa lógica é conectar-se ao Big Data Cluster e trabalhar com ele. Um Big Data Cluster do SQL Server 2019 fornece a chamada Instância principal do SQL Server, que é o seu ponto de entrada no Big Data Cluster. Você pode obter o endereço dessa instância principal com o seguinte comando:

Obtendo os vários pontos de extremidade

Como você pode ver nesta figura, também existem muitos outros pontos de extremidade disponíveis para acessar o sistema de arquivos HDFS e o sistema Spark. Vou cobrir essas coisas em uma das minhas próximas postagens no blog. Minha instância principal do SQL Server pode ser acessada através do endereço 192.168.1.143,31433. Portanto, vamos iniciar o Azure Data Studio e conectar-se à Instância Mestre do SQL Server.

Conectado com sucesso ao Big Data Cluster do SQL Server 2019

Como você pode ver, esta é uma instância tradicional do SQL Server – mas com toda a integração do Big Data – o HDFS File System e Spark.

Sumário

Executar um Big Data Cluster do SQL Server 2019 localmente em seu próprio Data Center sobre o VMware vSphere não é tão difícil – especialmente com o VMware vSphere 6.7 Update 4 e o Kubernetes vSphere Cloud Provider.

Espero que você tenha gostado desta postagem no blog e, nas próximas semanas, mostrarei como você pode trabalhar com seu Big Data Cluster e quais recursos ele oferece a você – fique ligado 

Obrigado pelo seu tempo,

-Klaus



cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br