Fechar

1. Identificação
Tipo de ReferênciaTese ou Dissertação (Thesis)
Sitemtc-m21d.sid.inpe.br
Código do Detentorisadg {BR SPINPE} ibi 8JMKD3MGPCW/3DT298S
Identificador8JMKD3MGP3W34T/48QKERL
Repositóriosid.inpe.br/mtc-m21d/2023/03.30.19.42
Última Atualização2023:06.15.12.41.01 (UTC) simone
Repositório de Metadadossid.inpe.br/mtc-m21d/2023/03.30.19.42.36
Última Atualização dos Metadados2023:06.29.18.22.54 (UTC) administrator
Chave SecundáriaINPE-18683-TDI/3307
Chave de CitaçãoGomes:2023:ToBiEa
TítuloBrazil Data Cube Workflow Engine: a tool for big earth observation data processing
Título AlternativoBrazil Data Cube Workflow Engine: uma ferramenta para processamento de grandes volumes de dados de observação da Terra
CursoCAP-COMP-DIPGR-INPE-MCTI-GOV-BR
Ano2023
Data2023-03-29
Data de Acesso22 abr. 2024
Tipo da TeseTese (Doutorado em Computação Aplicada)
Tipo SecundárioTDI
Número de Páginas95
Número de Arquivos2
Tamanho15790 KiB
2. Contextualização
AutorGomes, Vitor Conrado Faria
BancaKorting, Thales Sehn (presidente)
Gomes, Karine Reis Ferreira (orientadora)
Queiroz, Gilberto Ribeiro de (orientador)
Barbosa, Cláudio Clemente Faria
Campelo, Cláudio Elízio Calazans
Cogo, Vinícius Vielmo
Endereço de e-Mailvconrado@gmail.com
UniversidadeInstituto Nacional de Pesquisas Espaciais (INPE)
CidadeSão José dos Campos
Histórico (UTC)2023-03-30 19:43:39 :: vconrado@gmail.com -> administrator ::
2023-03-31 18:08:33 :: administrator -> pubtc@inpe.br ::
2023-03-31 18:09:05 :: pubtc@inpe.br -> vconrado@gmail.com ::
2023-05-02 10:53:36 :: vconrado@gmail.com -> pubtc@inpe.br ::
2023-06-21 18:25:30 :: pubtc@inpe.br -> simone ::
2023-06-21 18:25:50 :: simone :: -> 2023
2023-06-21 18:26:05 :: simone -> administrator :: 2023
2023-06-29 18:22:54 :: administrator -> :: 2023
3. Conteúdo e estrutura
É a matriz ou uma cópia?é a matriz
Estágio do Conteúdoconcluido
Transferível1
Palavras-Chavebig data
directed acyclic graphs
open data cube
OpenEO
dagster
grafos acíclicos dirigidos
open data cube
OpenEO
grandes volumes de dados
dagster
ResumoEarth Observation (EO) satellites have produced large amounts of geospatial data that are freely available to society and researchers. Handling these data often exceeds the capabilities of the hardware and software traditionally used for storing and processing EO data. This scenario presents challenges for traditional Spatial Data Infrastructure (SDI) to properly store, process, disseminate, and analyze big data sets. To meet these demands, new technologies based on cloud computing and distributed systems, such as matrix database systems, MapReduce systems, and web services, have been proposed and developed. These technologies are now being integrated into leading-edge platforms to support a new generation of SDI for big EO data. These platforms have different characteristics in terms of governance, technologies used, data access, infrastructure abstractions, data processing, and flexibility to extend their functionality. In general, we observed that the greater the degree of abstraction given to the scientist, the greater the difficulty in providing flexibility in data-processing approaches. This thesis contributes to the area of spatial data infrastructure through the evaluation and analysis of available EO data processing and analysis platforms as well as a server-side EO data processing architecture that provides an abstraction of access and processing of EO data for users and the possibility of including algorithms and access and processing techniques by SDI maintainers. The main idea was to build a framework based on workflow orchestration tools integrated with a high-level API for user interaction. This tool allows the configuration of processes and the extension of previously defined data models. Furthermore, the interface between the processing services and the user is executed through the OpenEO API, which establishes a standard for accessing, manipulating and processing EO data. The architecture proposed in this thesis was implemented and applied in two case studies. RESUMO: Satélites de observação da Terra (Earth Observation - EO) têm produzido grandes quantidades de dados geoespaciais que estão disponíveis gratuitamente para a sociedade e pesquisadores. Frequentemente, a manipulação desses dados excedem as capacidades de hardware e software tradicionalmente usados para o armazenamento e processamento de dados de EO. Este cenário traz desafios para as infraestruturas tradicionais de dados espaciais (SDI) para armazenar, processar, disseminar e analisar adequadamente esses conjuntos de big data. Para atender a essas demandas, novas tecnologias foram propostas e desenvolvidas, baseadas em computação em nuvem e sistemas distribuídos, como sistemas de banco de dados matriciais, sistemas MapReduce e serviços web, para acessar e processar esses volumes de dados. Atualmente, essas tecnologias vêm sendo integradas em plataformas de ponta para suportar uma nova geração de SDI para grandes volumes de dados de EO. Essas plataformas apresentam diferentes características em relação à governança, tecnologias utilizadas, acesso aos dados, abstrações de infraestrutura, dados e processamento e quanto à flexibilidade de extensão de suas funcionalidades. De maneira geral, observamos que quanto maior o grau de abstração entregue ao cientista, maior a dificuldade em fornecer flexibilidade nas abordagens de processamento de dados. Essa tese contribui para a área de infraestrutura de dados espaciais por meio da avaliação e análise de plataformas de processamento e análise de dados de EO disponíveis e pela proposição de uma arquitetura de processamento de dados de EO no lado do servidor que fornece, aos usuários, abstração de acesso e processamento de dados. Essa arquitetura é estruturada na forma de um framework baseado em ferramentas de orquestração de workflows, integrado com uma API de alto nível para a interação com os usuários. Essa ferramenta permite a configuração de processamentos e a extensão dos modelos de dados previamente definidos. Além disso, a interface entre os serviços de processamento e o usuário é feita por meio da OpenEO API, a qual estabelece um padrão para o acesso, manipulação e processamento de dados de EO. A arquitetura proposta nesta tese foi implementa e aplicada em dois estudos de caso.
ÁreaCOMP
Arranjo 1urlib.net > BDMCI > Fonds > Produção pgr ATUAIS > CAP > Brazil Data Cube...
Arranjo 2urlib.net > BDMCI > Fonds > Produção a partir de 2021 > CGIP > Brazil Data Cube...
Conteúdo da Pasta docacessar
Conteúdo da Pasta source
originais/@4primeirasPaginas.pdf 15/06/2023 08:53 174.3 KiB 
originais/Defesa.pdf 03/05/2023 16:43 124.4 KiB 
originais/Tese_BDCWE_v2.pdf 03/05/2023 15:58 15.3 MiB
Conteúdo da Pasta agreement
autorizacao.pdf 15/06/2023 09:41 638.4 KiB 
4. Condições de acesso e uso
URL dos dadoshttp://urlib.net/ibi/8JMKD3MGP3W34T/48QKERL
URL dos dados zipadoshttp://urlib.net/zip/8JMKD3MGP3W34T/48QKERL
Idiomaen
Arquivo Alvopublicacao.pdf
Grupo de Usuáriospubtc@inpe.br
simone
vconrado@gmail.com
Visibilidadeshown
Licença de Direitos Autoraisurlib.net/www/2012/11.12.15.10
Detentor dos Direitosoriginalauthor yes
Permissão de Leituraallow from all
Permissão de Atualizaçãonão transferida
5. Fontes relacionadas
Repositório Espelhourlib.net/www/2021/06.04.03.40.25
Unidades Imediatamente Superiores8JMKD3MGPCW/3F2PHGS
8JMKD3MGPCW/46KUES5
Lista de Itens Citandosid.inpe.br/mtc-m21b/2013/09.26.14.25.22 2
Acervo Hospedeirourlib.net/www/2021/06.04.03.40
6. Notas
Campos Vaziosacademicdepartment affiliation archivingpolicy archivist callnumber contenttype copyholder creatorhistory descriptionlevel dissemination doi electronicmailaddress format group isbn issn label lineage mark nextedition notes number orcid parameterlist parentrepositories previousedition previouslowerunit progress readergroup resumeid schedulinginformation secondarydate secondarymark session shorttitle sponsor subject tertiarymark tertiarytype url versiontype


Fechar