An approach for the collection and analysis of configuration data in deep neural networks

Uma abordagem para coleta e análise de dados de configurações em redes neurais profundas

Débora Pina (1) , Liliane Kunstmann (1) , Daniel de Oliveira (2) , Patrick Valduriez (3) , Marta Mattoso (1)

1 COPPE-UFRJ - Instituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa de Engenharia
2 UFF - Universidade Federal Fluminense [Rio de Janeiro]
3 ZENITH - Scientific Data Management

The duration of the life cycle in deep neural networks depends on the data configuration decisions that lead to success in obtaining models. Analyzing hyperparameters along the evolution of the network’s execution allows adapting the data, thus reducing the life cycle time. However, there are challenges not only in collecting hyperparameters, but also in modeling the relationships between these data. This work presents a provenance data based approach to address these challenges, proposing a collection mechanism with flexibility in the choice and representation of data to be analyzed. Experiments of the approach with Keras, using a real application provide evidence of the flexibility, the efficiency of data collection, the analysis and the validation of network data.

O tempo de duração do ciclo de vida no aprendizado por meio de redes neurais profundas depende do acerto em decisões de configuração de dados que le-vem ao sucesso na obtenção de modelos. A análise de hiperparâmetros e dados da evolução da rede permite adaptações que diminuem o tempo de duração do ciclo de vida. No entanto, há desafios não apenas na coleta de hiperparâmetros, mas também na modelagem dos relacionamentos entre esses dados. Este trabalho apresenta uma abordagem centrada em dados de proveniência para enfrentar esses desafios, pro-pondo uma coleta com flexibilidade na escolha e representação de dados a serem analisados. Experimentos com a abordagem junto ao Keras, usando uma aplicação real com uma rede neural convolucional, dão evidências da flexibilidade, eficiência da coleta de dados, análise e validação dos dados da rede. Abstract. The duration of the life cycle in deep neural networks depends on the data configuration decisions that lead to success in obtaining models. Analyzing hyper-parameters along the evolution of the network's execution allows adapting the data, thus reducing the life cycle time. However, there are challenges not only in collecting hyperparameters, but also in modeling the relationships between these data. This work presents a provenance data based approach to address these challenges, proposing a collection mechanism with flexibility in the choice and representation of data to be analyzed. Experiments of the approach with Keras, using a real application provide evidence of the flexibility, the efficiency of data collection, the analysis and the validation of network data.

Mots clés: Machine learning; Data collection; Data analysis; Deep neural networks

Domaines: Base de données [cs.DB]; Intelligence artificielle [cs.AI]

Débora Pina, Liliane Kunstmann, Daniel de Oliveira, Patrick Valduriez, Marta Mattoso. Uma abordagem para coleta e análise de dados de configurações em redes neurais profundas. SBBD 2020 - 35ª Simpósio Brasileiro de Banco de Dados, Sep 2020, Virtual, Brazil. pp.1-6, ⟨10.5753/sbbd.2020.13639⟩. ⟨lirmm-02969506⟩