Supporting music composition with interactive paper

Le papier interactif pour la composition musicale

Jérémie Garcia (1, 2)

1 IN-SITU - Situated interaction
2 IRCAM - Institut de Recherche et Coordination Acoustique/Musique

This thesis focuses on the design of interactive paper interfaces for supporting musical creation. Music composition has been deeply influenced by the computational power brought by computers but despite the use of software to create new sounds or work with symbolic notation, composers still use paper in their creative process. Interactive paper creates new opportunities for combining expression on paper and computation. However, designing for highly individual creative practitioners who use personal musical representations is challenging. In this thesis, I argue that composers need personal and adaptable structures on paper in which they can express and explore musical ideas. I first present three field studies (Chapter 3) with contemporary composers that examined the use of paper and the computer during the composition process and how linking the two media supports exploration of musical ideas. I then describe a participatory design study that investigates the use of formal musical representations (Chapter 4) for creating new paper interfaces that extend computer-aided composition tools. I introduce Paper Substrates (Chapter 5), interactive paper components that provide modular structures for interacting with personal representations of computer-based musical data. I detail tools that we created to develop paper applications with the Paper Substrates approach. Several examples illustrate the creation of personal structures and musical content that can still be interpreted by computer-aided composition software. I then describe a structured observation study with 12 composers who used Polyphony to compose a short electroacoustic piece (Chapter 6). Polyphony is a unified user interface that integrates interactive paper and electronic user interfaces for composing music. The study allowed us to systematically observe and compare their compositional processes. Finally, I report on a research and creation project with the composer Philippe Leroux during the composition of his piece Quid sit musicus (Chapter 7). Several work sessions with the composer and a musical assistant lead to the design of new paper- based interfaces for generating composition material, synthesizing sounds and controlling the spatialization from handwritten gestures from calligraphic gestures over an old manuscript.

Cette thèse porte sur la conception d’interfaces de papier interactif dédiées à la création musicale. Malgré l’apparition d’outils informatique permettant de créer de nouveaux sons ou d’opérer des transformations sur des représentations symboliques de la musique, les compositeurs utilisent toujours le papier pour composer. Le papier interactif rend théoriquement possible la création d’interfaces combinant l’expression sur le papier et la puissance de calcul de l’ordinateur. Cependant, la conception de telles interfaces reste un problème complexe car chaque compositeur développe son propre processus de création, impliquant de nouveaux concepts et de nouvelles représentations musicales. Cette thèse propose l’utilisation de structures personnelles et adaptables sur le papier pour permettre aux compositeurs d’exprimer et d’explorer leurs idées musicales. Trois études conduites avec des compositeurs à l’Ircam (Chapitre 3) s’intéressent aux rôles du papier et de l’ordinateur lors du processus de composition et les possibilités du papier interactif pour l’exploration des idées entre ces deux supports. Je décris des sessions de conception participative (Chapitre 4) qui examinent l’utilisation de représentations musicales formelles pour la création de nouvelles interfaces de papier couplées avec les logiciels de composition assistée par ordinateur. Je présente les Paper Substrates (Chapitre 5), des composants papier qui définissent des structures modulaires pour l’interaction avec des représentations personnelles de données musicales issues d’environnements informatique. Je décris une boîte à outil ainsi qu’une application graphique permettant de développer des interfaces utilisant les Paper Substrates. Des exemples illustrent la création de structures personnelles et de données musicales sur le papier qui peuvent être interprétées par les logiciels de composition assistée par ordinateur. Je présente une étude d’observation structurée conduite avec 12 compositeurs utilisant Polyphony pour composer une pièce électroacoustique (Chapitre 6). Polyphony est une interface qui intègre le papier interactif avec d’autres interfaces pour composer. L’étude a per- mis d’observer et de comparer les différents processus de composition des participants. Enfin, je détaille un projet de recherche et création mené avec le compositeur Philippe Leroux pour la création de sa pièce Quid sit musicus (Chapitre 7). Nous avons conçu de nouveaux systèmes interactifs pour la création de ressource compositionnelles, la synthèse sonore et le contrôle de la spatialisation à partir de tracés effectués sur une partition médiévale.

Mots clés: Interactive paper; Computer-aided composition; Creativity support; Musical representations; Participatory design

Mots clés: Papier interactif; Composition assistée par ordinateur; Aide à la créativité; Représentations musicales; Conception participative

Domaines: Autre [cs.OH]

Jérémie Garcia. Supporting music composition with interactive paper. Other [cs.OH]. Université Paris Sud - Paris XI, 2014. English. ⟨NNT : 2014PA112101⟩. ⟨tel-01056992⟩