Fechar

@PhDThesis{Gomes:2023:ToBiEa,
               author = "Gomes, Vitor Conrado Faria",
                title = "Brazil Data Cube Workflow Engine: a tool for big earth observation 
                         data processing",
               school = "Instituto Nacional de Pesquisas Espaciais (INPE)",
                 year = "2023",
              address = "S{\~a}o Jos{\'e} dos Campos",
                month = "2023-03-29",
             keywords = "big data, directed acyclic graphs, open data cube, OpenEO, 
                         dagster, grafos ac{\'{\i}}clicos dirigidos, open data cube, 
                         OpenEO, grandes volumes de dados, dagster.",
             abstract = "Earth Observation (EO) satellites have produced large amounts of 
                         geospatial data that are freely available to society and 
                         researchers. Handling these data often exceeds the capabilities of 
                         the hardware and software traditionally used for storing and 
                         processing EO data. This scenario presents challenges for 
                         traditional Spatial Data Infrastructure (SDI) to properly store, 
                         process, disseminate, and analyze big data sets. To meet these 
                         demands, new technologies based on cloud computing and distributed 
                         systems, such as matrix database systems, MapReduce systems, and 
                         web services, have been proposed and developed. These technologies 
                         are now being integrated into leading-edge platforms to support a 
                         new generation of SDI for big EO data. These platforms have 
                         different characteristics in terms of governance, technologies 
                         used, data access, infrastructure abstractions, data processing, 
                         and flexibility to extend their functionality. In general, we 
                         observed that the greater the degree of abstraction given to the 
                         scientist, the greater the difficulty in providing flexibility in 
                         data-processing approaches. This thesis contributes to the area of 
                         spatial data infrastructure through the evaluation and analysis of 
                         available EO data processing and analysis platforms as well as a 
                         server-side EO data processing architecture that provides an 
                         abstraction of access and processing of EO data for users and the 
                         possibility of including algorithms and access and processing 
                         techniques by SDI maintainers. The main idea was to build a 
                         framework based on workflow orchestration tools integrated with a 
                         high-level API for user interaction. This tool allows the 
                         configuration of processes and the extension of previously defined 
                         data models. Furthermore, the interface between the processing 
                         services and the user is executed through the OpenEO API, which 
                         establishes a standard for accessing, manipulating and processing 
                         EO data. The architecture proposed in this thesis was implemented 
                         and applied in two case studies. RESUMO: Sat{\'e}lites de 
                         observa{\c{c}}{\~a}o da Terra (Earth Observation - EO) t{\^e}m 
                         produzido grandes quantidades de dados geoespaciais que est{\~a}o 
                         dispon{\'{\i}}veis gratuitamente para a sociedade e 
                         pesquisadores. Frequentemente, a manipula{\c{c}}{\~a}o desses 
                         dados excedem as capacidades de hardware e software 
                         tradicionalmente usados para o armazenamento e processamento de 
                         dados de EO. Este cen{\'a}rio traz desafios para as 
                         infraestruturas tradicionais de dados espaciais (SDI) para 
                         armazenar, processar, disseminar e analisar adequadamente esses 
                         conjuntos de big data. Para atender a essas demandas, novas 
                         tecnologias foram propostas e desenvolvidas, baseadas em 
                         computa{\c{c}}{\~a}o em nuvem e sistemas distribu{\'{\i}}dos, 
                         como sistemas de banco de dados matriciais, sistemas MapReduce e 
                         servi{\c{c}}os web, para acessar e processar esses volumes de 
                         dados. Atualmente, essas tecnologias v{\^e}m sendo integradas em 
                         plataformas de ponta para suportar uma nova gera{\c{c}}{\~a}o de 
                         SDI para grandes volumes de dados de EO. Essas plataformas 
                         apresentam diferentes caracter{\'{\i}}sticas em 
                         rela{\c{c}}{\~a}o {\`a} governan{\c{c}}a, tecnologias 
                         utilizadas, acesso aos dados, abstra{\c{c}}{\~o}es de 
                         infraestrutura, dados e processamento e quanto {\`a} 
                         flexibilidade de extens{\~a}o de suas funcionalidades. De maneira 
                         geral, observamos que quanto maior o grau de abstra{\c{c}}{\~a}o 
                         entregue ao cientista, maior a dificuldade em fornecer 
                         flexibilidade nas abordagens de processamento de dados. Essa tese 
                         contribui para a {\'a}rea de infraestrutura de dados espaciais 
                         por meio da avalia{\c{c}}{\~a}o e an{\'a}lise de plataformas de 
                         processamento e an{\'a}lise de dados de EO dispon{\'{\i}}veis e 
                         pela proposi{\c{c}}{\~a}o de uma arquitetura de processamento de 
                         dados de EO no lado do servidor que fornece, aos usu{\'a}rios, 
                         abstra{\c{c}}{\~a}o de acesso e processamento de dados. Essa 
                         arquitetura {\'e} estruturada na forma de um framework baseado em 
                         ferramentas de orquestra{\c{c}}{\~a}o de workflows, integrado 
                         com uma API de alto n{\'{\i}}vel para a intera{\c{c}}{\~a}o 
                         com os usu{\'a}rios. Essa ferramenta permite a 
                         configura{\c{c}}{\~a}o de processamentos e a extens{\~a}o dos 
                         modelos de dados previamente definidos. Al{\'e}m disso, a 
                         interface entre os servi{\c{c}}os de processamento e o 
                         usu{\'a}rio {\'e} feita por meio da OpenEO API, a qual 
                         estabelece um padr{\~a}o para o acesso, manipula{\c{c}}{\~a}o e 
                         processamento de dados de EO. A arquitetura proposta nesta tese 
                         foi implementa e aplicada em dois estudos de caso.",
            committee = "Korting, Thales Sehn (presidente) and Gomes, Karine Reis Ferreira 
                         (orientadora) and Queiroz, Gilberto Ribeiro de (orientador) and 
                         Barbosa, Cl{\'a}udio Clemente Faria and Campelo, Cl{\'a}udio 
                         El{\'{\i}}zio Calazans and Cogo, Vin{\'{\i}}cius Vielmo",
         englishtitle = "Brazil Data Cube Workflow Engine: uma ferramenta para 
                         processamento de grandes volumes de dados de 
                         observa{\c{c}}{\~a}o da Terra",
             language = "en",
                pages = "95",
                  ibi = "8JMKD3MGP3W34T/48QKERL",
                  url = "http://urlib.net/ibi/8JMKD3MGP3W34T/48QKERL",
           targetfile = "publicacao.pdf",
        urlaccessdate = "20 jun. 2024"
}


Fechar