1. Identity statement | |
Reference Type | Report |
Site | mtc-m21d.sid.inpe.br |
Holder Code | isadg {BR SPINPE} ibi 8JMKD3MGPCW/3DT298S |
Identifier | 8JMKD3MGP3W34T/46243RL |
Repository | sid.inpe.br/mtc-m21d/2021/12.14.20.09 |
Last Update | 2021:12.14.20.09.25 (UTC) simone |
Metadata Repository | sid.inpe.br/mtc-m21d/2021/12.14.20.09.25 |
Metadata Last Update | 2022:07.08.19.41.33 (UTC) administrator |
Citation Key | DiasCalhCorr:2021:FeCoTr |
Title | Ferramentas computacionais para tratar a qualidade para dados obtidos através de sensores |
Project | Ferramentas computacionais para tratar a qualidade para dados obtidos através de sensores |
Year | 2021 |
Access Date | 2024, May 09 |
Type | RPQ |
Number of Pages | 25 |
Number of Files | 1 |
Size | 816 KiB |
|
2. Context | |
Author | 1 Dias, Guilherme Alvarenga 2 Calheiros, Alan James Peixoto 3 Corrêa, Pedro Luiz Pizzigatti |
Group | 1 2 COPDT-CGIP-INPE-MCTI-GOV-BR |
Affiliation | 1 Universidade de São Paulo (USP) 2 Instituto Nacional de Pesquisas Espaciais (INPE) 3 Universidade de São Paulo (USP) |
Author e-Mail Address | 1 guiadias@usp.br 2 alan.calheiros@inpe.br 3 pedro.correa@usp.br |
e-Mail Address | guiadias@usp.br |
Institution | Instituto Nacional de Pesquisas Espaciais |
City | São José dos Campos |
Edition | 2a. |
History (UTC) | 2021-12-14 20:11:39 :: simone :: -> 2021 2021-12-14 20:22:36 :: simone -> administrator :: 2021 2022-07-08 19:41:33 :: administrator -> simone :: 2021 |
|
3. Content and structure | |
Is the master or a copy? | is the master |
Content Stage | completed |
Transferable | 1 |
Keywords | ciência dos dados qualidade de dados dados meteorológicos data science data quality meteorological data |
Abstract | Este projeto de iniciação científica teve como objetivo o desenvolvimento de algoritmos computacionais capazes de tratar dados brutos provenientes de sensores meteorológicos mantidos pelo Instituto Nacional de Pesquisas Espaciais (INPE), processá-los para um padrão de dados aceito internacionalmente e validá-los. Também foram desenvolvidos algoritmos para a interpretação gráfica das grandezas primárias medidas e para verificar a consistência dos dados de modo amigável ao usuário final. Dentre os sensores de chuva do INPE, foram analisados os dados provenientes dos disdrômetros de impacto, Joss-Waldvogel, e do disdrômetro a laser, PARSIVEL, ambos importantes na análise microfísica da precipitação. Os algoritmos de processamento de dados foram construídos para interpretar dados brutos gerados pelos sensores, levando em consideração dados faltantes, e converter o formato proprietário em Network Common Data Form (NetCDF4), amplamente utilizados pela comunidade científica. Esses arquivos seguem o padrão do Atmospheric Radiation Measurement (ARM/EUA), que normaliza a estrutura dos dados para algo aceito internacionalmente e sob alto rigor de qualidade. A avaliação dos dados processados por esses algoritmos foi feita com o uso de métricas bem difundidas na comunidade científica. De modo a avaliar a qualidade das informações dos equipamentos aqui relacionados, foi realizada inicialmente uma intercomparação entre sensores colocalizados para um experimento de campo liderado pelo INPE, o SOSCHUVA. Foi também utilizado um instrumento de referência para chuva, o pluviômetro. Os disdrômetros colocalizados no sítio de Jaquariúna-SP durante a campanha mostraram alta correlação, 0,9 entre as taxas de chuva medidas pelo pluviômetro e pelo disdrômetro Joss-Waldvogel e de 0,92 entre o pluviômetro e o disdrômetro PARSIVEL, indicando uma alta confiabilidade nas medidas realizadas por esses instrumentos e nos algoritmos desenvolvidos. Assim, visamos executar esses algoritmos em outras campanhas do INPE, como o CHUVA, GoAmazon e ATTO, facilitando o seu processamento e distribuição. Espera-se com essas ferramentas otimizar os processamentos dos dados e acelerar as pesquisas realizadas com estes instrumentos, trazendo visibilidade à instituição por meio da qualidade das informações. ABSTRACT: This undergraduate research project aimed to develop computational algorithms capable of treating raw data originating from meteorological sensors maintained by the Instituto Nacional de Pesquisas Espaciais (National Institute for Space Research - INPE), to process that data to an internationally recognized data standard and to validate it. Algorithms for the graphical interpretation of the primary variables of the data were also developed, along with additional algorithms designed to verify its consistency in a user-friendly way. Among INPEs climate sensors, the data analyzed came from Joss-Waldvogel impact disdrometers and from PARSIVEL laser disdrometers, both of which are important in the microphysical analysis of rain. The data processing algorithms were developed to interpret raw data generated by the sensors, taking missing data into account, and to convert their proprietary file format into a Network Common Data Form (NetCDF4) format, which is widely use by the international scientific community. These files follow the Atmospheric Radiation Measurement (ARM/USA) data standards, which standardize the structure of the data to a high degree of quality. The data processed by these algorithms was evaluated with commonly used metrics in the wider scientific community. In order to evaluate the quality of the information obtained from the previously mentioned sensors, data from colocalized sensors belonging to the INPE maintained SOSCHUVA campaign was intercompared. A pluviometer was also used as a reference instrument for rain measurements. The colocalized disdrometers located at the Jaquariúna-SP site showed high correlations, namely, of 0.9 between the Joss-Waldvogel and pluviometer measurements and of 0.92 between the PARSIVEL and pluviometer sensors, which indicates a high degree of reliability in the measurements made by those sensors and in the data processing algorithms. We wish to use these algorithms in other INPE campaigns, such as CHUVA, GoAmazon and ATTO, facilitating the processing and distribution of data. With these tools, we hope to optimize the processing of meteorological data and to accelerate research developed with these instruments, bringing attention to the institution by its high data quality. |
Area | FISMAT |
Arrangement 1 | urlib.net > BDMCI > Fonds > Produção a partir de 2021 > CGIP > Ferramentas computacionais para... |
Arrangement 2 | urlib.net > BDMCI > Fonds > Produção a partir de 2021 > COEPE > PIBIC/PIBITI 2021 > Ferramentas computacionais para... |
Arrangement 3 | urlib.net > BDMCI > Fonds > Acervo PIBIC/PIBITI > PIBIC/PIBITI 2021 > Ferramentas computacionais para... |
doc Directory Content | access |
source Directory Content | there are no files |
agreement Directory Content | |
|
4. Conditions of access and use | |
data URL | http://urlib.net/ibi/8JMKD3MGP3W34T/46243RL |
zipped data URL | http://urlib.net/zip/8JMKD3MGP3W34T/46243RL |
Language | pt |
Target File | Relatorio_Final_PIBIC_2020_2021_Guilherme_Alvarenga_Dias.pdf |
User Group | simone |
Visibility | shown |
Read Permission | allow from all |
Update Permission | not transferred |
|
5. Allied materials | |
Previous Edition | sid.inpe.br/mtc-m21c/2021/01.22.20.59 |
Next Higher Units | 8JMKD3MGPCW/46KUES5 8JMKD3MGPDW34P/478H5L5 |
Citing Item List | sid.inpe.br/mtc-m16c/2022/07.08.19.08 3 |
Host Collection | urlib.net/www/2021/06.04.03.40 |
|
6. Notes | |
Notes | Bolsa PIBIC/PIBITI/INPE/CNPq. |
Empty Fields | archivingpolicy archivist callnumber contenttype copyholder copyright creatorhistory date descriptionlevel dissemination doi format isbn issn label lineage mark mirrorrepository nextedition orcid parameterlist parentrepositories previouslowerunit progress readergroup recipient reportnumber resumeid rightsholder schedulinginformation secondarydate secondarykey secondarymark secondarytype session shorttitle sponsor subject tertiarymark tertiarytype translator url versiontype |
|
7. Description control | |
e-Mail (login) | simone |
update | |
|