Delta Lake: técnicas e otimização avançada para armazenamento e processamento de Big Data (2023)
- Authors:
- USP affiliated author: REZENDE, JÚLIO CÉSAR CALDAS - ICMC
- School: ICMC
- Subjects: APRENDIZADO COMPUTACIONAL; BANCO DE DADOS; BIG DATA; INTELIGÊNCIA ARTIFICIAL
- Keywords: Lakehouse; Governança de dados; Delta Lake
- Language: Português
- Abstract: Com a evolução de sistemas empresariais coletando e armazenando cada vez mais dados, este projeto tem como objetivo desenvolver um lago de dados utilizando um novo conceito, o conceito de Delta Lakehouse abordando diferenças entre Data Lakes e Data Warehouses convencionais. O Delta Lakehouse tem a capacidade de gerenciamento de dados com a possibilidade de substituir a dependência atual de tecnologias como data lakes e data warehouses. O gerenciamento construído tem como base uma arquitetura moderna de Big Data, utilizando tecnologias Spark para coletar, armazenar e processar dados. O lago de dados poderá ser incrementado por diversas fontes de dados, e estará considerando um dicionário de dados como parâmetro de transformação, sendo o pilar principal para a disponibilidade dos dados de forma mais adequada e legível para o consumo do usuário final. O foco principal é ter um armazenamento de dados com fluxos automatizados e distintos por camadas de pré-processamentos, evitando que esses processamentos façam parte da etapa de trabalho de analistas ou engenheiros de IA. O armazenamento possibilitará acompanhamento de histórico referente às informações do estado e modificações antes, e após o processamento dos dados. Aplicando também o gerenciamento de governança de dados. Uma análise dos resultados obtidos será realizada considerando o tempo de resposta para leitura, processamento e aplicação de modelagens disponíveis, para avaliar o desempenho do lago de dados na utilização do conteúdo final. O resultado deste projeto será um armazenamento otimizado e totalmente funcional e aplicável em nuvem, podendo obter na camada de ingestão diferentes formatos de dados e disponibilizar ao utilizador final a coesão e a possibilidade de novas ideias para utilização de grande volumes de dados.
- Imprenta:
- Place of publication: São Carlos
- Date published: 2023
-
ABNT
REZENDE, Júlio César Caldas. Delta Lake: técnicas e otimização avançada para armazenamento e processamento de Big Data. 2023. Trabalho de Conclusão de Curso (MBA) – Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo, São Carlos, 2023. Disponível em: https://bdta.abcd.usp.br/directbitstream/2ece75cd-8926-40fd-b969-82426d459f0e/J%C3%BAlio%20C%C3%A9sar%20Caldas%20Rezende.pdf. Acesso em: 02 maio 2024. -
APA
Rezende, J. C. C. (2023). Delta Lake: técnicas e otimização avançada para armazenamento e processamento de Big Data (Trabalho de Conclusão de Curso (MBA). Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo, São Carlos. Recuperado de https://bdta.abcd.usp.br/directbitstream/2ece75cd-8926-40fd-b969-82426d459f0e/J%C3%BAlio%20C%C3%A9sar%20Caldas%20Rezende.pdf -
NLM
Rezende JCC. Delta Lake: técnicas e otimização avançada para armazenamento e processamento de Big Data [Internet]. 2023 ;[citado 2024 maio 02 ] Available from: https://bdta.abcd.usp.br/directbitstream/2ece75cd-8926-40fd-b969-82426d459f0e/J%C3%BAlio%20C%C3%A9sar%20Caldas%20Rezende.pdf -
Vancouver
Rezende JCC. Delta Lake: técnicas e otimização avançada para armazenamento e processamento de Big Data [Internet]. 2023 ;[citado 2024 maio 02 ] Available from: https://bdta.abcd.usp.br/directbitstream/2ece75cd-8926-40fd-b969-82426d459f0e/J%C3%BAlio%20C%C3%A9sar%20Caldas%20Rezende.pdf
Download do texto completo
| Tipo | Nome | Link | |
|---|---|---|---|
 |
Júlio César Caldas Reze... | Direct link |
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
