Soms gaat het daarbij om nabootsing, niet van hoe de dingen eruit zien, maar van de processen die het leven, het lichaam en de geest constitueren. Mimesis heet dan artificial life, robotica, of artificial intelligence. In andere gevallen gaat het om het klassieke ideaal van de perfecte simulatie van de oppervlakte van de dingen. Dan heet het ray tracing, paintbox, digital photography, virtual reality.
Muziek bevindt zich in het spanningsveld tussen mathematische abstractie en pure fysica. Nabootsing is daar niet aan de orde, zou je misschien denken, maar niets is minder waar.
Na het mislukken van de 'echte' elektronische muziek, die met sinussen, blokgolven, ruis, en modulatoren geluidssculpturen bouwde waar niemand naar wil luisteren, is er nu een geweldige opbloei van digitale elektronische technologieën waarmee het geluid van conventionele instrumenten zeer gedetailleerd wordt gesimuleerd en oproepbaar gemaakt voor keyboards en computers met midi-interfaces.
Een nabootsende technologie die door zijn toepassingsmogelijkheden nauw aansluit bij de muziek is de kunstmatige spraaksynthese. Maar door zijn relatie met de taal heeft dit medium toch ook weer een heel eigen karakter. Dit artikel is gewijd aan de geschiedenis, de techniek en de esthetiek van dit medium.
Stem
Taal is een kwestie van symbolen. Conceptualisering en abstractie van de menselijke ervaring.
Muziek is een kwestie van fysica. Niet zozeer omdat muziek door middel van geluid gerealiseerd wordt, maar vooral omdat juist de structurele eigenschappen van muziek (zoals metrum, ritme, harmonie, melodie) uit fysische verschijnselen voortkomen.
Tussen taal en geluid: het spreken. Tussen geest en materie: de stem.
Roland Barthes: ''Listen to a Russian bass (...): something is there, manifest and persistent (you only hear that), which is past (or previous to) the meaning of the words, of their form (the litany), of the melisma, and even of the style of the performance: something which is directly the singer's body, brought by one and the same movement to your ear from the depth of the body's cavities, the muscles, the membranes, the cartilage, and from the depths of the
Slavonic language, as if a single skin lined the performer's inner flesh and the music he sings.''
1 Roland Barthes 'Le Grain de la Voix', in: L'obvie et l'obtus, Paris 1982 (English translation: 'The Grain of the Voice', in: The Responsibility of Forms. Critical essays on Music, Art and Representation. New York 1985, pp. 269/270)
Namaken/Voorspiegelen
In de stemnabootsingstechnologie kunnen twee benaderingswijzen worden onderscheiden: de genetische en de gennematische. De genetische benadering is gebaseerd op de imitatie van het ontstaansproces van de spraakklanken in de menselijke fysiologie. De gennematische is gebaseerd op de analyse van de
spraakklanken zelf en reconstrueert die klanken zonder daarbij acht te slaan op de manier waarop het menselijk lichaam ze voortbrengt.
In de achttiende eeuw reeds werden er sprekende machines geconstrueerd volgens het genetische principe: de hardware van strottenhoofd en mondholte werd in een gestileerde versie nagebouwd. Naarmate zo'n mechanisch systeem meer lijkt op het geïmiteerde voorbeeld, vertonen de geluiden die het produceert, zoals je zou verwachten, een betere gelijkenis met menselijke spraakklanken.
In de twintigste eeuw zien we een heel andere benadering: digitale technologie die de vorm van geluidssignalen uitrekent en dan via luidsprekers ten gehore brengt. De stem wordt nu niet nagemaakt maar voorgespiegeld. Het algoritme tovert aan de luisteraar signalen voor die het beeld oproepen van een lichamelijk
proces dat er niet geweest is.
De achttiende-eeuwse automaat is een mechanisch lichaam, een uurwerk dat zich de eigenschappen van het leven aanmatigt. In de twintigste-eeuwse computersimulatie wordt de mechanica abstract, lost de machine zich op in de wiskunde. Het lichaam is verdwenen.
Namaken
De impuls van de klassieke beeldhouwkunst: niet afbeelden, maar namaken. Een driedimensionaal model op ware grootte is geen model, maar een kopie, een duplicaat. De Griekse beelden waren gepolychromeerd. In de mythologie waren de beste beeldhouwers vaak in staat om evenbeelden van het menselijk lichaam
te maken die niet alleen perfect gelijkend waren, maar die ook konden spreken, en zich op een natuurlijke manier bewegen. In de Chinese en de Germaanse mythologie vinden we soortgelijke verhalen: timmerlui en zilversmeden die verraderlijk verleidelijke vrouwelijke automaten bouwen.
De essentiële stap op de weg van mythe naar technologie wordt gezet in de zeventiende eeuw. De gedachte dat levende organismen functioneren volgens de wetten der natuurkunde, en daarom in principe gesimuleerd kunnen worden door middel van mechanische constructies, is dan niet langer een vaag, verontrustend vermoeden, maar een wetenschappelijke hypothese. In het begin van de zeventiende eeuw bedacht Descartes dat dieren eigenlijk machines zijn.
Thomas Hobbes: Nature, the art by which God hath made and governs the world, is by the art of man, as in many other things, in this also imitated, that it can make an artificial animal. For seeing life is but a motion of limbs, the beginning whereof is in the principal part within; why may we not say that all automata (engines that move themselves by springs and wheels as doth a watch) have an artificial life? For what is the heart but a spring, and the nerves but so many strings; and the joints but so many wheels giving motion to the whole body, such as was intended by the artificer?
2 Thomas Hobbes Leviathan 1651 (Harmondsworth, Middlesex 1968)
In de loop van de zeventiende en achttiende eeuw is er een opleving in het bouwen van automaten die lichamelijke functies van mens of dier nabootsen: de ontwikkeling van de uurwerktechnologie maakt het mogelijk om veel getrouwere nabootsingen te realiseren dan voorheen; en de theorieën van de Cartesianen verlenen aan zulke ondernemingen een filosofisch cachet. Zo maakt men poppen die lopen, fluiten, trommelen, spreken, en schrijven; vogels die fladderen, tsjilpen, eten, drinken en schijten. Er is een curieuze overeenkomst tussen deze automatenbouwerij en de huidige Kunstmatige Intelligentie. Ook toen werden de grenzen van de meest geavanceerde technologieën van het moment verlegd met als doel om de uiterlijke verschijningsvorm van bepaalde aspecten van het
menselijk gedrag na te bootsen; en ook toen resulteerde dat in producten die alom belangstelling wekten, omdat ze niet alleen als technologische experimenten konden worden beschouwd, maar ook als biologische modellen, als filosofische existentiebewijzen, als kunst, of als amusement.
Dit wordt goed geïllustreerd door de carrière van Jacques de Vaucanson, een van de beroemdste achttiende-eeuwse automatenbouwers. Zijn automaten waren vermakelijke en verbazingwekkende tentoonstellingsattracties, maar tegelijk werden hun mechanismen in ernstige wetenschappelijke geschriften uiteengezet –niet alleen door de ontwerper maar ook door Diderot en D'Alembert in hun Encyclopédie. De productie van de automaten had interessante technologische spin-offs; uiteindelijk werd De Vaucanson een innoverend organisator in de textielindustrie, die de toen meest geavanceerde fabriek bouwde voor het spinnen van zijde; de techniek van zijn automatische fluitspeler gebruikte hij voor het ontwerp van het eerste programmeerbare weefgetouw, dat later de grondslag zou vormen voor het werk van Jacquard.
L' Homme Machine
Mensen worden door Descartes nadrukkelijk uitgezonderd van zijn redeneringen over het mechanische karakter der dieren. Hij associeert mechanica met gevoelloosheid en met de afwezigheid van bewustzijn. Hij heeft er blijkbaar geen moeite mee om dieren aldus te beschouwen, maar dat mensen gevoelloze machines zouden zijn vindt hij problematischer. Een belangrijk Cartesiaans argument tegen de mechaniseerbaarheid van de mens wordt door de filosoof Cordemoy geformuleerd aan de hand van het idee van een automatische spraakmachine: ... hoewel ik duidelijk inzie dat een puur mechanisch apparaat enkele woorden zou kunnen uitbrengen, weet ik tegelijk dat de veren die de lucht verdelen of de buizen openen waaruit de stemmen komen, een bepaalde onderlinge ordening vertonen die ze nimmer zouden kunnen veranderen. Zodat vanaf het moment dat de eerste stem klinkt de stemmen die er gewoonlijk op volgen eveneens noodzakelijk moeten volgen – als de machine tenminste nog van lucht is voorzien. Daarentegen hebben de woorden die ik door lichamen als het mijne hoor uitbrengen zelden dezelfde volgorde.
3 G. de Cordemoy Discours physique de la parole Paris, 1666
De rijkdom van de taal hangt in deze opvatting samen met het typisch menselijke vermogen van de vrije wil, dat intrinsiek onverenigbaar is met de rigiditeit van een uurwerk. Om de vrije wil te verantwoorden, voorziet Descartes het (op zichzelf wel mechanische) menselijk lichaam van een interface naar de onsterfelijke ziel. Dit interface zetelt volgens hem in de pijnappelklier – een kliertje in de hypothalamus, waarvan de lichamelijke functie niet duidelijk is.
Een eeuw na Descartes wordt de gedachte om ook mensen als machines te beschouwen toch expliciet verdedigd. In L'Homme machine stelt La Mettrie dat ''alle vermogens van de ziel in zodanige mate afhankelijk zijn van de juiste organisatie van het brein en van het gehele lichaam, dat zij blijkbaar niets anders
zijn dan die organisatie zelf. In die opvatting is er een materiële identiteit tussen lichaam en ziel, en is daarmee de noodzaak voor een mind-body-interface'' verdwenen. Tussen mens en dier bestaan slechts graduele verschillen. De Cartesiaanse argumenten die betrekking hebben op het mechanische karakter van het
dier zijn nu onmiddellijk op de mens van toepassing, maar veranderen tegelijk diepgaand van betekenis. Mechanica staat niet meer gelijk met onbewustheid: het bewustzijn zelf is mechanisch.
4 Julien Offray de la Mettrie: L' Homme machine. Leyden 1748
Als de meer ambitieuze automatenbouwers op dat moment hun onderzoeksagenda geïnspireerd zouden hebben op het standpunt van La Mettrie, dan zouden ze zoiets als de huidige Kunstmatige Intelligentie uitgevonden hebben: een discipline gericht op het creëren van feitelijke demonstraties van gemechaniseerde
mentale processen. Maar daar was de uurwerktechnologie niet geschikt voor. Daarom heeft die stap moeten wachten tot het midden van de twintigste eeuw, toen de elektronische computer beschikbaar kwam.
De toenmalige plausibiliteit van het argument van Cordemoy hangt hiermee samen: niemand kon de vrijwel onbeperkte schakelflexibiliteit voorzien die geïntroduceerd zou worden door Von Neumanns stored program computer. Software is mechanica die zich wel dynamisch kan reconfigureren. Programma's zijn virtuele uurwerken met zelfmodificerende en zelfuitbreidende vermogens. Hoewel die vermogens in principe beperkt worden door de
eindigheid van de apparatuur waarop de programma's geïmplementeerd zijn, kunnen we in de praktijk die beperkingen vaak negeren. Vergeleken met het uurwerk realiseert de computer een kwalitatief superieure complexiteit en flexibiliteit. Met deze uitvinding achter ons, kunnen we nooit meer de pretentie
hebben om eens en voor al de grenzen van het mechaniseerbare te overzien.
Talking Heads
De eerste serieuze spraakmachines werden ontwikkeld door achttiende-eeuwse automatenbouwers die zich bezighielden met mechanische simulaties van de lichamelijke functies van mens en dier. In deze periode wordt het spraakgeluid nog niet als iets zelfstandigs beschouwd dat men kan analyseren en reconstrueren. Spraaksimulatie is nabootsing van het spreken. Er wordt een kunstmatig lichaam gebouwd dat lucht kan uitblazen en op die manier de lucht in trilling kan brengen. De natuurgetrouwheid van de aldus gegenereerde kunstmatige spraak hangt af van de nauwkeurigheid waarmee de relevante eigenschappen van het menselijk lichaam gedupliceerd zijn.
Abbé Mical's Tetes Parlantes - Virtual Voices (1) - published in Mediamatic Magazine Vol. 7#1
Net als mensen, hebben deze machines 'stembanden' die in trilling gebracht worden door er lucht doorheen te persen. Hoe de menselijke stembanden precies werken was toen nog niet bekend. Als imitatie ervan gebruikte men het principe van een harmonium: de luchtweg wordt afgesloten door een buigzame metalen
tong, die bij overdruk beweegt om de lucht door te laten en die aldus in trilling raakt. De tong werd vaak met leer bekleed om de hoge tonen wat te dempen.
Net als bij een tongenorgel wordt deze trilling dan overgenomen door de lucht in een resonantieholte – die in dit geval zo goed mogelijk lijkt op de menselijke mondholte. Afhankelijk van de exacte vorm (van de stand van de mond, dus) ontstaan er verschillende klinkers. Afhankelijk van de manier waarop de luchtstroom gestart of gestopt, of bemoeilijkt wordt door vernauwing van de uitstroomopening, ontstaan er verschillende medeklinkers.
Zoals Cordemoy al beredeneerd had, waren zelfstandig functionerende machines van dit soort altijd beperkt tot het uitbrengen van een eindig repertoire van teksten;
en omdat de spraaksimulatie helemaal niet zo eenvoudig bleek, ging het in de praktijk zelfs om beperkte aantallen woorden of zinnen, die in de machine gehardwired werden. Om die reden werden de spraakmachines vaak vormgegeven als instrumenten - machines die in principe alle geluiden kunnen genereren die nodig zijn om willekeurige teksten uit te spreken, maar die, om een gegeven tekst ook inderdaad uit te spreken, wel een technicus nodig hebben die beslist welke geluiden er op welk moment voortgebracht moeten worden. De oplossing van Descartes, zou je kunnen zeggen: een domme machine wordt aangedreven door het menselijk bewustzijn; een lichaam bestuurd door een geest.
Wolfgang von Kempelen, bij voorbeeld, construeerde in 1778 een machine die de werking van de mondholte op directe wijze imiteert. Door middel van een blaasbalg perst men lucht via 'stembanden' door een resonantieholte, die met de beide handen gemoduleerd wordt. Door met de linkerhand de vorm van de resonantieholte te veranderen kan men verschillende klinkers creëren; de medeklinkers ontstaan, als deze holte met de rechterhand op verschillende manieren geopend of gesloten wordt.
Een long- en stembandprothese, die het mogelijk maakt om de handen als mond te gebruiken. Technologische perversie van het spreken.
Het 'klinkerorgel'.
5 This is a relatively recent machine (built at the Institute of Phonetic Sciences of the University of Amsterdam), but its method of operation definitely belongs to the eighteenth-century tradition.
Hetzelfde principe, maar nu: een carrousel vol verschillende klankholtes. Een waaier van klinkers. Een laboratoriumapparaat dat door een technicus bediend wordt, via knoppen, wielen, voetpedalen. Als gevolg van de handelingen van de technicus gaat de trillende lucht naar de ene dan wel de andere resonantieholte en wordt zo'n holte zus dan wel zo geopend of gesloten. Op die manier realiseert de technicus door afzonderlijke opeenvolgende ingrepen één voor één de elementen van de uit te spreken taaluiting.
Het menselijk spreken is een continu proces. Bij deze mechanische simulatie ontbreekt die continuïteit. We horen fonologie: de discrete combinatoriek van de taalwetenschap.
Joop van Brakel over het 'klinkerorgel': De taal valt in betekenisloze brokstukken uiteen. Slapstick, vrolijkheid, muziek. De taal wordt weer dierlijk. Gekakel, geblaat, geblaf. (There once was a time when all speech was song.)
Het klinkerorgel heeft ingenieuze 'kunstmatige stembanden'. Een holle cilinder met een sleuf erin draait voortdurend rond binnen een andere holle cilinder met een sleuf erin. Het resultaat: een sleufvormige opening gaat voortdurend open en dicht. Daar wordt de lucht doorheen geperst. Als door dit procédé de lucht aan het trillen gebracht wordt zonder dat er een 'kunstmatige mondholte' is aangesloten waarin de lucht gaat resoneren, dan hoor je: een scheet. Is dat het geluid dat aan alle spreken ten grondslag ligt?
Andere spraakmachines scheppen een nog duidelijkere afstand tussen de bedienende technicus en de materiële productie van het geluid: ze plaatsen er een keyboard-interface tussen. Tot deze categorie behoren de Têtes Parlantes van Abbé Mical (1783) en de Euphonis van Joseph Faber (1840).
Spreekmachines voor kermisachtige voorstellingen. De ontwerper was tevens uitvoerend technicus. En variétéartiest, buikspreker: hij voert een pop ten tonele en probeert de illusie te scheppen dat die echt praat. Het laboratoriumapparaat is hier tot een instrument geworden, met een interface dat de virtuoze uitvoerder in staat moet stellen om een natuurlijk klinkende dynamiek en timing aan de mechanische spraakuitingen op te leggen en om de beperkingen van de technologie zo goed mogelijk te compenseren.
Zo schrijft een tijdgenoot van Mical, naar aanleiding van diens Têtes Parlantes: Met enige oefening en handigheid zal men met de vingers kunnen spreken zoals met de tong, en zal men aan de taal van de hoofden de snelheid, de rust, en kortom alle eigenschappen kunnen verlenen die een taal kan hebben die niet door de hartstochten bezield wordt.
6 Avec un peu d'habitude et d'habileté, on pourra parler avec les toigts comme avec la langue et on pourra donner au langage des têtes la rapidité, le repos et toute la physionomie enfin que peut avoir une langue qui n'est point animée par les passions. From a letter by Antoine de Rivarol, 1783 (Oeuvres complètes de Rivarol, Part III, Paris 1808, p. 207) See: Jens-Peter Köster Historische Entwicklung von Syntheseapparaten zur Erzeugung statischer and Vokalartiger Signale nebst Untersuchungen zur Synthese deutscher Vokale.(Historical development of synthesis machines for generating static and vowel-like signals and research into the synthesis of German vowels) Hamburg 1973, p. 85. On p. 95, Köster also quotes another part of this letter: If these heads were multiplied in Europe, they would raise terror in all those Swiss and Gascon language teachers whose influence has infected all countries and who disfigure our language for the peoples who love it. Köster comments: Here lie the roots of the use of technological tools in foreign language teaching.
Op het toetsenbord van de Têtes Parlantes brengt men een tekst ten gehore zoals men een muzikale partituur speelt op een piano.
Zie voor het vervolg van deze tekst: Virtual Voices (2)