→ Pianoscope
J’ai toujours aimé jouer devant un public, quel qu’il soit, que ce soit celui d’une gare, d’un aéroport ou d’un centre commercial. Un simple sourire que je peux susciter sur des visages, le plaisir que je peux procurer aux autres, me plaît merveilleusement et me permet de rêver. Je joue pour moi-même en premier lieu, bien entendu, mais j’apprécie tout autant partager ce moment avec d’autres personnes. Je suis conscient que ce partage ne peut avoir que des effets positifs : laisser leur sensibilité se manifester le temps d’un instant, les faire rêver ou les inspirer, que sais-je ?
I have always enjoyed playing in front of an audience, whoever it may be, whether in a train station, an airport or a shopping centre. The simple smile I can bring to people’s faces, the pleasure I can give others, delights me and lets me dream. I play for myself first, of course, but I enjoy sharing that moment with others just as much. I know this sharing can only have positive effects: letting their sensitivity show for a moment, making them dream or inspiring them — who knows?
Pour mon projet de fin d’études, j’ai tenté d’imaginer un concept qui puisse faciliter ce partage, par un support qui me permette de m’exprimer à travers de multiples médiums artistiques. J’ai conceptualisé un projet dans lequel l’observation de mes dessins et l’écoute de mes compositions sont possibles en parallèle. Techniquement, mon projet se caractérise par la projection de mes dessins plastiques et vectoriels sur du tissu. L’interaction s’effectuera en fonction de la musique jouée sur un clavier électronique. Mon objet est un dôme sur lequel mes dessins seront projetés, aussi bien visibles à l’intérieur qu’à l’extérieur.
For my final-year project, I tried to imagine a concept that would make this sharing easier, through a medium that lets me express myself across several artistic disciplines. I conceived a project in which my drawings can be seen and my compositions heard at the same time. Technically, the project consists of projecting my hand-drawn and vector drawings onto fabric. The interaction will respond to the music played on an electronic keyboard. The object is a dome onto which my drawings will be projected, visible both inside and outside.
L’espace et le lieu prévus pour le dôme sont cruciaux pour la réalisation du projet. L’emplacement doit permettre d’accueillir un dôme de 6 mètres de hauteur et 4 mètres de largeur, en suspension dans le vide, rattaché vers le haut et vers le bas. Ici, le dôme est présenté dans un « hangar d’aviation ».
Il s’agit d’une recherche d’immersion artistique, une forme d’art total qui regroupe la musique, les arts plastiques, le code informatique et la forme. La structure du dôme est entièrement faite de carbone et repose sur son propre poids.
Un synthétiseur est placé au centre de la structure, au sol, avec un ordinateur et un projecteur grand angle placé à la verticale.
The space and location planned for the dome are crucial to the project. The site must be able to hold a dome 6 metres high and 4 metres wide, suspended in the air and anchored at the top and bottom. Here, the dome is shown in an “aircraft hangar”.
It is a search for artistic immersion, a form of total art combining music, visual arts, computer code and form. The dome’s structure is made entirely of carbon and rests on its own weight.
A synthesiser stands at the centre of the structure on the floor, with a computer and a wide-angle projector placed vertically.
En ce qui concerne l’informatique, plusieurs possibilités se présentaient à moi. L’option sur laquelle je me suis penché est Atom, une plateforme open source qui donne accès à Veda. Veda est un environnement d’exécution GLSL pour Atom : lorsque j’écris du code GLSL dans Atom, Veda l’évalue immédiatement et affiche le résultat en arrière-plan. Ce procédé permet de modifier une image projetée en fonction de ce que je joue sur mon synthétiseur.
On the computing side, several options were open to me. The one I explored is Atom, an open-source platform that gives access to Veda. Veda is a GLSL runtime environment for Atom: when I write GLSL code in Atom, Veda evaluates it immediately and displays the result in the background. This makes it possible to change a projected image according to what I play on my synthesiser.
Cette expérience m’a permis de découvrir un nouveau monde : celui du code informatique. Comprendre comment s’épanouir dans un environnement de création virtuelle et avoir la chance d’apprendre à utiliser un médium que je n’avais jamais exploité auparavant a été une expérience extrêmement enrichissante. Malheureusement, en raison des événements survenus ces derniers mois, il n’a pas été possible de mener le projet informatique à son terme.
Le cœur du rendu visuel du Pianoscope repose sur le langage informatique GLSL, les notes provenant du piano étant traitées dans un programme appelé Veda. Ce programme permet d’utiliser diverses sources (images, audio, clavier) pour générer un rendu visuel, grâce au code informatique.
Ainsi, Veda agit comme un intermédiaire entre le piano et le projecteur. La vidéo ci-dessous montre l’image que le projecteur projette sur le tissu. Cette image est générée en temps réel lorsque l’on joue du piano et est unique à chaque exécution. Il s’agit d’un code extrêmement flexible, principalement basé sur des formules mathématiques : un mélange de dessins combinés à de la génération fractale. Ce type de code est largement utilisé dans les rendus numériques et exploite directement les ressources du moteur graphique de l’ordinateur.
This experience opened up a new world to me: computer code. Understanding how to thrive in a virtual creative environment, and having the chance to learn a medium I had never used before, was extremely rewarding. Unfortunately, because of the events of recent months, it was not possible to complete the computing part of the project.
The visual rendering of the Pianoscope relies on the GLSL programming language, with the notes from the piano processed by a program called Veda. This program can use various sources (images, audio, keyboard) to generate visuals, all through code.
Veda thus acts as an intermediary between the piano and the projector. The video below shows the image the projector casts onto the fabric. This image is generated in real time as the piano is played and is unique each time. The code is extremely flexible, mainly based on mathematical formulas: a mix of drawings combined with fractal generation. This kind of code is widely used in digital rendering and draws directly on the computer’s graphics engine.
Dans la version finale du projet, Veda pourra être intégré de manière compacte, prenant en entrée le flux audio (MIDI) pour produire en sortie un flux vidéo (HDMI). Le tout pourrait tenir dans un petit boîtier tel qu’un Raspberry Pi (un mini-ordinateur destiné aux projets d’ingénierie).
In the final version of the project, Veda could be integrated compactly, taking the audio stream (MIDI) as input and producing a video stream (HDMI) as output. All of this could fit in a small box such as a Raspberry Pi (a mini-computer designed for engineering projects).