Uso de técnicas para otimização do backup de tabelas de bancos com dados históricos para economia de recursos computacionais e financeiros
Introdução/Objetivo: O Centro de Computação (CCUEC) administra o histórico de acessos às redes WIFI da Unicamp, dados que, por força do Marco Civil da Internet, devem ser armazenados por no mínimo um ano. Com uma carga diária de 2 milhões de registros e um volume total de 670 GB, este banco de dados...
Saved in:
| Main Author: | |
|---|---|
| Format: | Online |
| Language: | Portuguese |
| Published: |
Universidade Estadual de Campinas (UNICAMP)
2023
|
| Subjects: | |
| Online Access: | https://econtents.sbu.unicamp.br/eventos/index.php/simtec/article/view/7587 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Summary: | Introdução/Objetivo: O Centro de Computação (CCUEC) administra o histórico de acessos às redes WIFI da Unicamp, dados que, por força do Marco Civil da Internet, devem ser armazenados por no mínimo um ano. Com uma carga diária de 2 milhões de registros e um volume total de 670 GB, este banco de dados representava o maior desafio de backup da unidade. Metodologia: Foram realizados estudos com a extensão Citus para PostgreSQL, que permite converter tabelas para o formato Colunar e particioná-las. Embora esse formato não suporte deleções ou atualizações individuais, ele é ideal para logs históricos, onde ocorrem apenas inserções. A remoção de dados antigos é feita pela exclusão de partições completas, otimizando a manutenção. Resultados: Após a instalação e particionamento das tabelas por ano, os resultados foram: a redução de armazenamento com o banco passando de 670 GB para 205 GB (economia de 70%); a eficiência de Backup com o tempo diário de execução caindo de 10 horas para 3 horas; as consultas tornaram-se duas vezes mais rápidas e a redução drástica no uso de cartuchos de backup, recurso de alto custo essencial para Disaster Recovery. Conclusão: O uso da extensão Citus provou-se altamente eficaz para ambientes de dados históricos. Além de otimizar o espaço e o tempo de backup, a solução resolveu problemas de concorrência que afetavam outras unidades da Unicamp, garantindo maior estabilidade e performance ao serviço prestado pelo CCUEC. |
|---|---|
| ISSN: | 2525-5398 |
