Virtual Voices (1)

http://www.mediamatic.net/id/8635 2010-07-12T10:37:54+02:00 Virtual Voices (1) Mimesis

The new digital media technologies, which are now being developed, are often imitative technologies. Future generations may end up viewing the twentieth century as the century of abstraction, and the now imminent turn of the century as the moment of a return to a mimetic aesthetics. The imitation of nature is once again a widely pursued artistic ideal. Sometimes this concerns the imitation, not of the way things look, but of the processes that constitute life, body, or mind.

<a href="http://www.mediamatic.net/153767/en/vaucanson-s-digesting-duck-virtual-voices-1"> <img src="http://fast.mediamatic.nl/f/sjnh/image/223/153767-384-400.jpg" height="400" width="384" alt="" title="Vaucanson’s Digesting Duck - Virtual Voices (1)" playable="1"/> </a><a title="Click to get a larger image - Vaucanson’s Digesting Duck - Virtual Voices (1) - Mediamatic.net" href="/153767/en/vaucanson-s-digesting-duck-virtual-voices-1">Vaucanson’s Digesting Duck - Virtual Voices (1)</a> Mimesis is then called artificial life, robotics, or artificial intelligence. But in other cases, it concerns the classical ideal of the perfect simulation of the surface of things. Then it is called ray tracing, paintbox, digital photography, virtual reality. Music exists between the poles of mathematical abstraction and pure physics. Imitation is not an issue there, one might think, but nothing could be further from the truth. After the failure of 'real' electronic music, which used sinusoids, square waves, noise and modulators to build sound sculptures that people don't particularly want to listen to, there is now an avalanche of digital electronic technologies that simulate the sounds of conventional instruments in great detail, and make them accessible for keyboards and computers with midi interfaces. Artificial speech synthesis is an imitative technology, which is closely connected with music. However, its relation with language also lends this medium an entirely unique character. This article explores the history, the techniques and the aesthetics of this medium. <h3>Voice</h3> Language is a matter of symbols. The conceptualization and abstraction of human experience. Music is a matter of physics – not so much because music is usually realized by means of sound, but rather because precisely the structural properties of music (such as metre, rhythm, harmony, melody) are based on physical phenomena. Between language and sound: speech. Between mind and matter: the voice. Roland Barthes: ''Listen to a Russian bass (...): something is there, manifest and persistent (you only hear that), which is past (or previous to) the meaning of the words, of their form (the litany), of the melisma, and even of the style of the performance: something which is directly the singer's body, brought by one and the same movement to your ear from the depth of the body's cavities, the muscles, the membranes, the cartilage, and from the depths of the Slavonic language, as if a single skin lined the performer's inner flesh and the music he sings.'' <h5>1 Roland Barthes 'Le Grain de la Voix', in: L'obvie et l'obtus, Paris 1982 (English translation: 'The Grain of the Voice', in: The Responsibility of Forms. Critical essays on Music, Art and Representation. New York 1985, pp. 269/270)</h5> <h3>To Copy / To Fake</h3> Within the technology of voice imitation, two approaches are usually distinguished: the genetic approach and the gennematic one. The genetic method imitates the physiological processes that generate speech sounds in the human body. The gennematic method is based on the analysis of the speech sounds themselves, and reconstructs these sounds without considering the way in which the human body produces them. The speaking machines of the eighteenth-century were based on the genetic principle: the hardware of the larynx and the oral cavity was reconstructed in a stylized way. If such an imitation is faithful enough, the sounds it generates resemble the sounds of human speech. In the twentieth century, we see an entirely different approach: digital technology which calculates the shapes of sound signals and then uses loudspeakers to make them audible. The voice is no longer imitated, but its output is faked. The algorithm computes signals that evoke the image of a physical process that never occurred. The eighteenth-century automaton is a mechanical body, a piece of clockwork claiming the qualities of life. In twentieth-century computer simulation, the mechanics is abstract, the machine dissolves into mathematics. The body has disappeared. <h3>To copy</h3> The impulse of classical sculpture was not representation, but imitation. A life-size, coloured, three-dimensional model is not a model, but a copy. The master sculptors of classical mythology even managed to duplicate the human body in sculptures that did not only show perfect likeness, but that could also speak and move naturally. In Chinese and Germanic mythology, carpenters and silversmiths displayed similar skills, building treacherously seductive female automata. The essential step on the road from myth to technology was taken in the seventeenth century. The idea that living organisms function according to the laws of physics, and could in principle be simulated by means of mechanical constructions, is then no longer a vague, alarming suspicion, but a scientific hypothesis. In the early seventeenth-century, Descartes presented the thesis that animals are in fact machines. Thomas Hobbes: Nature, the art by which God hath made and governs the world, is by the art of man, as in many other things, in this also imitated, that it can make an artificial animal. For seeing life is but a motion of limbs, the beginning whereof is in the principal part within; why may we not say that all automata (engines that move themselves by springs and wheels as doth a watch) have an artificial life? For what is the heart but a spring, and the nerves but so many strings; and the joints but so many wheels giving motion to the whole body, such as was intended by the artificer? <h5>2 Thomas Hobbes Leviathan 1651 (Harmondsworth, Middlesex 1968)</h5> In the seventeenth and eighteenth centuries, the construction of automata which imitate bodily functions of man or animal was extremely popular: the development of clockwork technology had made it possible to realize much better imitations than before; and the theories of the Cartesians lent a philosophical interest to such enterprises. Thus, there were dolls that could walk or talk, write letters, or play the flute; birds that could flap their wings, tweet, eat, drink and shit. There is a curious similarity between this kind of automaton building and present-day Artificial Intelligence. In those days, too, the capacities of the most advanced technologies of the moment were exploited with the goal of imitating the outward appearance of certain aspects of human behaviour; then, too, this resulted in products which aroused everybody's interest, because they could be regarded as technological experiments, as biological models, as philosophical existence proofs, as art, or as entertainment. This is illustrated by the career of Jacques de Vaucanson, one of the most well-known automaton builders of the eighteenth-century. His automata were amusing and astonishing exhibits in popular fairs, while their mechanisms were published in learned scientific articles - by the designer himself, and also by Diderot and D'Alembert in their Encyclopédie. The production of the automata also generated interesting technological spin-offs. Eventually, Vaucanson became an innovative organizer in the textile industry, and built the most advanced silk-spinning factory of that time. He used the technology of his automatic flute player for the design of the first programmable loom, which would later become the basis for Jacquard's work. <h3>L'Homme Machine</h3> Human beings are emphatically excluded from Descartes' reasoning about the mechanical character of animals. He links mechanism with the absence of emotions and the absence of consciousness. Apparently he has no difficulty in viewing animals in this way, but that people could be machines is more of a problem. The Cartesian philosopher Cordemoy formulates the argument against the mechanizability of humans in terms of the idea of an automatic speech machine: ...although I see clearly that a purely mechanical apparatus could utter a few words, I know at the same time that the springs which distribute the air or open the tubes that let out the voices display a certain order between each other, which they could never change. So that, from the moment the first voice sounds, the voices that usually follow must necessarily follow as well – that is, if the machine still has sufficient air. Contrarily, the words which I hear being uttered by bodies such as mine, are rarely pronounced in the same order. <h5>3 G. de Cordemoy Discours physique de la parole Paris, 1666</h5> From this point of view, the richness of language is connected with the typically human capacity of free will, which is intrinsically incompatible with the rigidity of a clockwork. To account for free will, Descartes provides the - otherwise mechanical - human body with an interface to the immortal soul. He situates this interface in the pineal gland – a small gland with an unknown function, located in the hypothalamus. A hundred years after Descartes, the idea that human beings are machines too was explicitly defended after all. In L'Homme machine, La Mettrie argues that ''all capacities of the soul are to such an extent dependent on the right organization of the brain and the entire body, that apparently they are nothing but this organization itself. In this theory, there is a material identity between body and soul; therefore, the necessity of a mind-body-interface''has disappeared. Between man and animal, there are only differences in degree. The Cartesian arguments concerning the mechanical character of animals now apply directly to human beings, but at the same time their meaning changes profoundly. Mechanism no longer implies non-consciousness: consciousness itself is mechanical. <h5>4 Julien Offray de la Mettrie: L' Homme machine.Leyden 1748</h5> If the more ambitious automaton builders of this period had based their research programmes on La Mettrie's viewpoint, they would have invented something like today's Artificial Intelligence: a discipline aimed at creating actual demonstrations of mechanized mental processes. But clockwork technology was not suitable for such a purpose. Therefore, this step could not be made until the middle of the twentieth century, when the electronic computer became available. This is also why Cordemoy's argument was so plausible in his days. No one could foresee the virtually unlimited switching flexibility, which would be introduced by Von Neumann's stored program computer. Software is mechanics, which is capable of dynamic reconfiguration. Programs are virtual clockworks with self-modifying and self-extending capacities. Although these capacities are limited by the finiteness of the hardware on which the programs are implemented, in practice we can often ignore these limitations. Compared to a clockwork, the computer realizes a qualitatively superior complexity and flexibility. With this invention behind us, we must now forever view the limits of the mechanizable as unknown and open-ended. <h3>Talking Heads</h3> The first serious speech machines were developed by eighteenth-century automaton builders who were engaged in mechanical simulation of the bodily functions of man and beast. At this time, the sound of speech was not yet viewed as a phenomenon which could be analyzed and reconstructed. Speech simulation was imitation of the act of speaking. Artificial bodies were created, which could blow out air and thereby make the air vibrate; the fidelity of the artificial speech generated in this way depended on the accuracy with which the relevant features of the human body were reproduced. Like human beings, these machines had 'vocal cords', which vibrate when air is forced through. The precise functioning of the human vocal cords was not yet known at this time. To imitate them, the machine-builders used the principle of the harmonium: an air tube is closed off by a flexible metal tongue, which moves under pressure to let the air through and is consequently set into vibration. The tongue was often covered in leather to dim the high tones slightly. As with a reed organ, this vibration was then conveyed to the air via a resonance chamber – which in this case was made to resemble the human mouth as much as possible. Depending on the exact shape of the resonance chamber (that is, the position of the mouth), various vowels could be generated. Depending on the way in which the air stream was started or stopped, or obstructed by constricting the outlet, various consonants could be formed. <a href="http://www.mediamatic.net/153769/en/wolfgang-von-kempelen-speaking-machine-virtual"> <img src="http://fast.mediamatic.nl/f/sjnh/image/573/153769-248-400.jpg" height="400" width="248" alt="" title="Wolfgang von Kempelen “speaking machine” - Virtual Voices (1)" playable="1"/> </a><a title="Click to get a larger image - Wolfgang von Kempelen “speaking machine” - Virtual Voices (1) - Mediamatic.net" href="/153769/en/wolfgang-von-kempelen-speaking-machine-virtual">Wolfgang von Kempelen “speaking machine” - Virtual Voices (1)</a> As Cordemoy had argued already, independently functioning machines of this kind could only deliver a limited repertoire of texts. Because speech simulation proved far from easy, in practice this came down to rather small numbers of words or sentences, which would be hardwired into the machine. For this reason, speech machines were often designed as instruments instead – machines which could generate all the sounds that are needed to pronounce any given text, but which could only pronounce an actual text if operated by a technical expert who determined which sounds were produced at which moment. Descartes' solution, one might say: a mechanical machine driven by human consciousness; a body controlled by a mind. In 1778, for example, Wolfgang Von Kempelen designed a machine, which directly imitated the functioning of the oral cavity. The operator squeezes a pair of bellows to press the air, via 'vocal cords', into a resonance chamber, which he modulates with both hands. The various vowels are created by changing the shape of the resonance chamber with one hand; the consonants are produced as the other hand opens or closes this chamber in various ways. A lung and vocal-cord prosthesis, which makes it possible to use the hands as a mouth. Technological perversion of speech. The 'vowel organ'. <h5>5 This is a relatively recent machine (built at the Institute of Phonetic Sciences of the University of Amsterdam), but its method of operation definitely belongs to the eighteenth-century tradition.</h5> The same principle, but in this case it is a carrousel of different sound cavities; a fan of vowels. A laboratory instrument operated by a technician by means of switches, wheels, foot pedals. As a result of the technician's actions the vibrating air is sent to one resonance chamber or another and such a chamber is opened or closed in a variety of ways. Thus, by a succession of separate interventions, the technician realizes, one by one, the phonetic elements of the language expression to be pronounced. Human speech is a continuous process. In this mechanical simulation, there is no such continuity. What we hear is phonology: the discrete combinatorics of linguistics. Joop van Brakel on the 'vowel organ': language shattered into meaningless fragments. Slapstick, merriment, music. Language regressing to animal sounds. Cackling, bleating, barking. (There once was a time when all speech was song.) The vowel organ has ingenious 'artificial vocal cords'. A hollow cylinder with a slit in it continually rotates within another hollow cylinder, also with a slit in it. The result: a slit-shaped opening is opened and closed continually. The air is pressed through this opening. If we use this technique to set the air in motion without providing a connection to an 'artificial oral cavity' in which the air can resonate, what you hear is a fart. Is that the sound that underlies all speaking? Other speech machines create an even greater separation between the operating technician and the material production of sound: they insert a keyboard-interface. Abbé Mical's Têtes Parlantes (1783) and Joseph Faber's Euphonis (1840) belong in this category. Speech machines for entertainment. The designer also acted as operating technician and as variety artist, ventriloquist: he puts a puppet on stage and tries to create the illusion that it really speaks. Here, the laboratory apparatus has become a musical instrument, with an interface which enables the virtuoso performer to add natural dynamics and timing to the mechanical speech utterances, and to compensate as much as possible for the limitations of technology. Thus, one of Mical's contemporaries writes about the Têtes Parlantes:// With a little practice and agility, we will be able to speak with the fingers as with the tongue, and we will be able to give the language of the heads the speed, the calm, and in short all the qualities that a language can possess which is not animated by passions. <a href="http://www.mediamatic.net/153770/en/abbé-mical-s-tetes-parlantes-virtual-voices-1"> <img src="http://fast.mediamatic.nl/f/sjnh/image/113/153770-247-400.jpg" height="400" width="247" alt="" title="Abbé Mical's Tetes Parlantes - Virtual Voices (1)" playable="1"/> </a><a title="Click to get a larger image - Abbé Mical's Tetes Parlantes - Virtual Voices (1) - Mediamatic.net" href="/153770/en/abbé-mical-s-tetes-parlantes-virtual-voices-1">Abbé Mical's Tetes Parlantes - Virtual Voices (1)</a> <h5>6 Avec un peu d'habitude et d'habileté, on pourra parler avec les toigts comme avec la langue, et on pourra donner au langage des têtes la rapidité, le repos et toute la physionomie enfin que peut avoir une langue qui n'est point animée par les passions. From a letter by Antoine de Rivarol, 1783 ( Oeuvres complètes de Rivarol, Part III, Paris 1808, p. 207) See: Jens-Peter Köster Historische Entwicklung von Syntheseapparaten zur Erzeugung statischer and Vokalartiger Signale nebst Untersuchungen zur Synthese deutscher Vokale. (Historical development of synthesis machines for generating static and vowel-like signals and research into the synthesis of German vowels) Hamburg 1973, p. 85. On p. 95, Köster also quotes another part of this letter: If these heads were multiplied in Europe, they would raise terror in all those Swiss and Gascon language teachers, whose influence has infected all countries and who disfigure our language for the peoples who love it. Köster comments: Here lie the roots of the use of technological tools in foreign language teaching.''</h5> On the keyboard of the Têtes Parlantes, you present a text as you would play a musical score on a piano. See for continuation of this text: ''<a href="/cwolk/view/4229" title="Virtual Voices (2)">Virtual Voices (2)</a> Mediamatic Magazine vol.7#1 Virtual Voices (1) Mimesis

Het is opvallend dat de digitale mediatechnologieën die nu ontwikkeld worden vaak een nabootsend karakter hebben. Misschien zal straks de twintigste eeuw geboekstaafd staan als de eeuw van de abstractie, en de nu op handen zijnde eeuwwisseling als het moment van de terugkeer naar een mimetische esthetiek. De nabootsing van de natuur is weer een alom nagestreefd artistiek ideaal.

<a href="http://www.mediamatic.net/153767/en/vaucanson-s-digesting-duck-virtual-voices-1"> <img src="http://fast.mediamatic.nl/f/sjnh/image/223/153767-384-400.jpg" height="400" width="384" alt="" title="Vaucanson’s Digesting Duck - Virtual Voices (1)" playable="1"/> </a><a title="Click to get a larger image - Vaucanson’s Digesting Duck - Virtual Voices (1) - Mediamatic.net" href="/153767/en/vaucanson-s-digesting-duck-virtual-voices-1">Vaucanson’s Digesting Duck - Virtual Voices (1)</a> Soms gaat het daarbij om nabootsing, niet van hoe de dingen eruit zien, maar van de processen die het leven, het lichaam en de geest constitueren. Mimesis heet dan artificial life, robotica, of artificial intelligence. In andere gevallen gaat het om het klassieke ideaal van de perfecte simulatie van de oppervlakte van de dingen. Dan heet het ray tracing, paintbox, digital photography, virtual reality. Muziek bevindt zich in het spanningsveld tussen mathematische abstractie en pure fysica. Nabootsing is daar niet aan de orde, zou je misschien denken, maar niets is minder waar. Na het mislukken van de 'echte' elektronische muziek, die met sinussen, blokgolven, ruis, en modulatoren geluidssculpturen bouwde waar niemand naar wil luisteren, is er nu een geweldige opbloei van digitale elektronische technologieën waarmee het geluid van conventionele instrumenten zeer gedetailleerd wordt gesimuleerd en oproepbaar gemaakt voor keyboards en computers met midi-interfaces. Een nabootsende technologie die door zijn toepassingsmogelijkheden nauw aansluit bij de muziek is de kunstmatige spraaksynthese. Maar door zijn relatie met de taal heeft dit medium toch ook weer een heel eigen karakter. Dit artikel is gewijd aan de geschiedenis, de techniek en de esthetiek van dit medium. <h3>Stem</h3> Taal is een kwestie van symbolen. Conceptualisering en abstractie van de menselijke ervaring. Muziek is een kwestie van fysica. Niet zozeer omdat muziek door middel van geluid gerealiseerd wordt, maar vooral omdat juist de structurele eigenschappen van muziek (zoals metrum, ritme, harmonie, melodie) uit fysische verschijnselen voortkomen. Tussen taal en geluid: het spreken. Tussen geest en materie: de stem. Roland Barthes: ''Listen to a Russian bass (...): something is there, manifest and persistent (you only hear that), which is past (or previous to) the meaning of the words, of their form (the litany), of the melisma, and even of the style of the performance: something which is directly the singer's body, brought by one and the same movement to your ear from the depth of the body's cavities, the muscles, the membranes, the cartilage, and from the depths of the Slavonic language, as if a single skin lined the performer's inner flesh and the music he sings.'' <h5>1 Roland Barthes 'Le Grain de la Voix', in: L'obvie et l'obtus, Paris 1982 (English translation: 'The Grain of the Voice', in: The Responsibility of Forms. Critical essays on Music, Art and Representation. New York 1985, pp. 269/270)</h5> <h3>Namaken/Voorspiegelen</h3> In de stemnabootsingstechnologie kunnen twee benaderingswijzen worden onderscheiden: de genetische en de gennematische. De genetische benadering is gebaseerd op de imitatie van het ontstaansproces van de spraakklanken in de menselijke fysiologie. De gennematische is gebaseerd op de analyse van de spraakklanken zelf en reconstrueert die klanken zonder daarbij acht te slaan op de manier waarop het menselijk lichaam ze voortbrengt. In de achttiende eeuw reeds werden er sprekende machines geconstrueerd volgens het genetische principe: de hardware van strottenhoofd en mondholte werd in een gestileerde versie nagebouwd. Naarmate zo'n mechanisch systeem meer lijkt op het geïmiteerde voorbeeld, vertonen de geluiden die het produceert, zoals je zou verwachten, een betere gelijkenis met menselijke spraakklanken. In de twintigste eeuw zien we een heel andere benadering: digitale technologie die de vorm van geluidssignalen uitrekent en dan via luidsprekers ten gehore brengt. De stem wordt nu niet nagemaakt maar voorgespiegeld. Het algoritme tovert aan de luisteraar signalen voor die het beeld oproepen van een lichamelijk proces dat er niet geweest is. De achttiende-eeuwse automaat is een mechanisch lichaam, een uurwerk dat zich de eigenschappen van het leven aanmatigt. In de twintigste-eeuwse computersimulatie wordt de mechanica abstract, lost de machine zich op in de wiskunde. Het lichaam is verdwenen. <h3>Namaken</h3> De impuls van de klassieke beeldhouwkunst: niet afbeelden, maar namaken. Een driedimensionaal model op ware grootte is geen model, maar een kopie, een duplicaat. De Griekse beelden waren gepolychromeerd. In de mythologie waren de beste beeldhouwers vaak in staat om evenbeelden van het menselijk lichaam te maken die niet alleen perfect gelijkend waren, maar die ook konden spreken, en zich op een natuurlijke manier bewegen. In de Chinese en de Germaanse mythologie vinden we soortgelijke verhalen: timmerlui en zilversmeden die verraderlijk verleidelijke vrouwelijke automaten bouwen. De essentiële stap op de weg van mythe naar technologie wordt gezet in de zeventiende eeuw. De gedachte dat levende organismen functioneren volgens de wetten der natuurkunde, en daarom in principe gesimuleerd kunnen worden door middel van mechanische constructies, is dan niet langer een vaag, verontrustend vermoeden, maar een wetenschappelijke hypothese. In het begin van de zeventiende eeuw bedacht Descartes dat dieren eigenlijk machines zijn. Thomas Hobbes: Nature, the art by which God hath made and governs the world, is by the art of man, as in many other things, in this also imitated, that it can make an artificial animal. For seeing life is but a motion of limbs, the beginning whereof is in the principal part within; why may we not say that all automata (engines that move themselves by springs and wheels as doth a watch) have an artificial life? For what is the heart but a spring, and the nerves but so many strings; and the joints but so many wheels giving motion to the whole body, such as was intended by the artificer? <h5>2 Thomas Hobbes Leviathan 1651 (Harmondsworth, Middlesex 1968)</h5> In de loop van de zeventiende en achttiende eeuw is er een opleving in het bouwen van automaten die lichamelijke functies van mens of dier nabootsen: de ontwikkeling van de uurwerktechnologie maakt het mogelijk om veel getrouwere nabootsingen te realiseren dan voorheen; en de theorieën van de Cartesianen verlenen aan zulke ondernemingen een filosofisch cachet. Zo maakt men poppen die lopen, fluiten, trommelen, spreken, en schrijven; vogels die fladderen, tsjilpen, eten, drinken en schijten. Er is een curieuze overeenkomst tussen deze automatenbouwerij en de huidige Kunstmatige Intelligentie. Ook toen werden de grenzen van de meest geavanceerde technologieën van het moment verlegd met als doel om de uiterlijke verschijningsvorm van bepaalde aspecten van het menselijk gedrag na te bootsen; en ook toen resulteerde dat in producten die alom belangstelling wekten, omdat ze niet alleen als technologische experimenten konden worden beschouwd, maar ook als biologische modellen, als filosofische existentiebewijzen, als kunst, of als amusement. Dit wordt goed geïllustreerd door de carrière van Jacques de Vaucanson, een van de beroemdste achttiende-eeuwse automatenbouwers. Zijn automaten waren vermakelijke en verbazingwekkende tentoonstellingsattracties, maar tegelijk werden hun mechanismen in ernstige wetenschappelijke geschriften uiteengezet –niet alleen door de ontwerper maar ook door Diderot en D'Alembert in hun Encyclopédie. De productie van de automaten had interessante technologische spin-offs; uiteindelijk werd De Vaucanson een innoverend organisator in de textielindustrie, die de toen meest geavanceerde fabriek bouwde voor het spinnen van zijde; de techniek van zijn automatische fluitspeler gebruikte hij voor het ontwerp van het eerste programmeerbare weefgetouw, dat later de grondslag zou vormen voor het werk van Jacquard. <h3>L' Homme Machine</h3> Mensen worden door Descartes nadrukkelijk uitgezonderd van zijn redeneringen over het mechanische karakter der dieren. Hij associeert mechanica met gevoelloosheid en met de afwezigheid van bewustzijn. Hij heeft er blijkbaar geen moeite mee om dieren aldus te beschouwen, maar dat mensen gevoelloze machines zouden zijn vindt hij problematischer. Een belangrijk Cartesiaans argument tegen de mechaniseerbaarheid van de mens wordt door de filosoof Cordemoy geformuleerd aan de hand van het idee van een automatische spraakmachine: ... hoewel ik duidelijk inzie dat een puur mechanisch apparaat enkele woorden zou kunnen uitbrengen, weet ik tegelijk dat de veren die de lucht verdelen of de buizen openen waaruit de stemmen komen, een bepaalde onderlinge ordening vertonen die ze nimmer zouden kunnen veranderen. Zodat vanaf het moment dat de eerste stem klinkt de stemmen die er gewoonlijk op volgen eveneens noodzakelijk moeten volgen – als de machine tenminste nog van lucht is voorzien. Daarentegen hebben de woorden die ik door lichamen als het mijne hoor uitbrengen zelden dezelfde volgorde. <h5>3 G. de Cordemoy Discours physique de la parole Paris, 1666</h5> De rijkdom van de taal hangt in deze opvatting samen met het typisch menselijke vermogen van de vrije wil, dat intrinsiek onverenigbaar is met de rigiditeit van een uurwerk. Om de vrije wil te verantwoorden, voorziet Descartes het (op zichzelf wel mechanische) menselijk lichaam van een interface naar de onsterfelijke ziel. Dit interface zetelt volgens hem in de pijnappelklier – een kliertje in de hypothalamus, waarvan de lichamelijke functie niet duidelijk is. Een eeuw na Descartes wordt de gedachte om ook mensen als machines te beschouwen toch expliciet verdedigd. In L'Homme machine stelt La Mettrie dat ''alle vermogens van de ziel in zodanige mate afhankelijk zijn van de juiste organisatie van het brein en van het gehele lichaam, dat zij blijkbaar niets anders zijn dan die organisatie zelf. In die opvatting is er een materiële identiteit tussen lichaam en ziel, en is daarmee de noodzaak voor een mind-body-interface'' verdwenen. Tussen mens en dier bestaan slechts graduele verschillen. De Cartesiaanse argumenten die betrekking hebben op het mechanische karakter van het dier zijn nu onmiddellijk op de mens van toepassing, maar veranderen tegelijk diepgaand van betekenis. Mechanica staat niet meer gelijk met onbewustheid: het bewustzijn zelf is mechanisch. <h5>4 Julien Offray de la Mettrie: L' Homme machine. Leyden 1748</h5> Als de meer ambitieuze automatenbouwers op dat moment hun onderzoeksagenda geïnspireerd zouden hebben op het standpunt van La Mettrie, dan zouden ze zoiets als de huidige Kunstmatige Intelligentie uitgevonden hebben: een discipline gericht op het creëren van feitelijke demonstraties van gemechaniseerde mentale processen. Maar daar was de uurwerktechnologie niet geschikt voor. Daarom heeft die stap moeten wachten tot het midden van de twintigste eeuw, toen de elektronische computer beschikbaar kwam. De toenmalige plausibiliteit van het argument van Cordemoy hangt hiermee samen: niemand kon de vrijwel onbeperkte schakelflexibiliteit voorzien die geïntroduceerd zou worden door Von Neumanns stored program computer. Software is mechanica die zich wel dynamisch kan reconfigureren. Programma's zijn virtuele uurwerken met zelfmodificerende en zelfuitbreidende vermogens. Hoewel die vermogens in principe beperkt worden door de eindigheid van de apparatuur waarop de programma's geïmplementeerd zijn, kunnen we in de praktijk die beperkingen vaak negeren. Vergeleken met het uurwerk realiseert de computer een kwalitatief superieure complexiteit en flexibiliteit. Met deze uitvinding achter ons, kunnen we nooit meer de pretentie hebben om eens en voor al de grenzen van het mechaniseerbare te overzien. <h3>Talking Heads</h3> De eerste serieuze spraakmachines werden ontwikkeld door achttiende-eeuwse automatenbouwers die zich bezighielden met mechanische simulaties van de lichamelijke functies van mens en dier. In deze periode wordt het spraakgeluid nog niet als iets zelfstandigs beschouwd dat men kan analyseren en reconstrueren. Spraaksimulatie is nabootsing van het spreken. Er wordt een kunstmatig lichaam gebouwd dat lucht kan uitblazen en op die manier de lucht in trilling kan brengen. De natuurgetrouwheid van de aldus gegenereerde kunstmatige spraak hangt af van de nauwkeurigheid waarmee de relevante eigenschappen van het menselijk lichaam gedupliceerd zijn. <a href="http://www.mediamatic.net/153769/en/wolfgang-von-kempelen-speaking-machine-virtual"> <img src="http://fast.mediamatic.nl/f/sjnh/image/573/153769-248-400.jpg" height="400" width="248" alt="" title="Wolfgang von Kempelen “speaking machine” - Virtual Voices (1)" playable="1"/> </a><a title="Click to get a larger image - Wolfgang von Kempelen “speaking machine” - Virtual Voices (1) - Mediamatic.net" href="/153769/en/wolfgang-von-kempelen-speaking-machine-virtual">Wolfgang von Kempelen “speaking machine” - Virtual Voices (1)</a> Net als mensen, hebben deze machines 'stembanden' die in trilling gebracht worden door er lucht doorheen te persen. Hoe de menselijke stembanden precies werken was toen nog niet bekend. Als imitatie ervan gebruikte men het principe van een harmonium: de luchtweg wordt afgesloten door een buigzame metalen tong, die bij overdruk beweegt om de lucht door te laten en die aldus in trilling raakt. De tong werd vaak met leer bekleed om de hoge tonen wat te dempen. Net als bij een tongenorgel wordt deze trilling dan overgenomen door de lucht in een resonantieholte – die in dit geval zo goed mogelijk lijkt op de menselijke mondholte. Afhankelijk van de exacte vorm (van de stand van de mond, dus) ontstaan er verschillende klinkers. Afhankelijk van de manier waarop de luchtstroom gestart of gestopt, of bemoeilijkt wordt door vernauwing van de uitstroomopening, ontstaan er verschillende medeklinkers. Zoals Cordemoy al beredeneerd had, waren zelfstandig functionerende machines van dit soort altijd beperkt tot het uitbrengen van een eindig repertoire van teksten; en omdat de spraaksimulatie helemaal niet zo eenvoudig bleek, ging het in de praktijk zelfs om beperkte aantallen woorden of zinnen, die in de machine gehardwired werden. Om die reden werden de spraakmachines vaak vormgegeven als instrumenten - machines die in principe alle geluiden kunnen genereren die nodig zijn om willekeurige teksten uit te spreken, maar die, om een gegeven tekst ook inderdaad uit te spreken, wel een technicus nodig hebben die beslist welke geluiden er op welk moment voortgebracht moeten worden. De oplossing van Descartes, zou je kunnen zeggen: een domme machine wordt aangedreven door het menselijk bewustzijn; een lichaam bestuurd door een geest. Wolfgang von Kempelen, bij voorbeeld, construeerde in 1778 een machine die de werking van de mondholte op directe wijze imiteert. Door middel van een blaasbalg perst men lucht via 'stembanden' door een resonantieholte, die met de beide handen gemoduleerd wordt. Door met de linkerhand de vorm van de resonantieholte te veranderen kan men verschillende klinkers creëren; de medeklinkers ontstaan, als deze holte met de rechterhand op verschillende manieren geopend of gesloten wordt. Een long- en stembandprothese, die het mogelijk maakt om de handen als mond te gebruiken. Technologische perversie van het spreken. Het 'klinkerorgel'. <h5>5 This is a relatively recent machine (built at the Institute of Phonetic Sciences of the University of Amsterdam), but its method of operation definitely belongs to the eighteenth-century tradition.</h5> Hetzelfde principe, maar nu: een carrousel vol verschillende klankholtes. Een waaier van klinkers. Een laboratoriumapparaat dat door een technicus bediend wordt, via knoppen, wielen, voetpedalen. Als gevolg van de handelingen van de technicus gaat de trillende lucht naar de ene dan wel de andere resonantieholte en wordt zo'n holte zus dan wel zo geopend of gesloten. Op die manier realiseert de technicus door afzonderlijke opeenvolgende ingrepen één voor één de elementen van de uit te spreken taaluiting. Het menselijk spreken is een continu proces. Bij deze mechanische simulatie ontbreekt die continuïteit. We horen fonologie: de discrete combinatoriek van de taalwetenschap. Joop van Brakel over het 'klinkerorgel': De taal valt in betekenisloze brokstukken uiteen. Slapstick, vrolijkheid, muziek. De taal wordt weer dierlijk. Gekakel, geblaat, geblaf. (There once was a time when all speech was song.) Het klinkerorgel heeft ingenieuze 'kunstmatige stembanden'. Een holle cilinder met een sleuf erin draait voortdurend rond binnen een andere holle cilinder met een sleuf erin. Het resultaat: een sleufvormige opening gaat voortdurend open en dicht. Daar wordt de lucht doorheen geperst. Als door dit procédé de lucht aan het trillen gebracht wordt zonder dat er een 'kunstmatige mondholte' is aangesloten waarin de lucht gaat resoneren, dan hoor je: een scheet. Is dat het geluid dat aan alle spreken ten grondslag ligt? Andere spraakmachines scheppen een nog duidelijkere afstand tussen de bedienende technicus en de materiële productie van het geluid: ze plaatsen er een keyboard-interface tussen. Tot deze categorie behoren de Têtes Parlantes van Abbé Mical (1783) en de Euphonis van Joseph Faber (1840). Spreekmachines voor kermisachtige voorstellingen. De ontwerper was tevens uitvoerend technicus. En variétéartiest, buikspreker: hij voert een pop ten tonele en probeert de illusie te scheppen dat die echt praat. Het laboratoriumapparaat is hier tot een instrument geworden, met een interface dat de virtuoze uitvoerder in staat moet stellen om een natuurlijk klinkende dynamiek en timing aan de mechanische spraakuitingen op te leggen en om de beperkingen van de technologie zo goed mogelijk te compenseren. Zo schrijft een tijdgenoot van Mical, naar aanleiding van diens Têtes Parlantes: Met enige oefening en handigheid zal men met de vingers kunnen spreken zoals met de tong, en zal men aan de taal van de hoofden de snelheid, de rust, en kortom alle eigenschappen kunnen verlenen die een taal kan hebben die niet door de hartstochten bezield wordt. <a href="http://www.mediamatic.net/153770/en/abbé-mical-s-tetes-parlantes-virtual-voices-1"> <img src="http://fast.mediamatic.nl/f/sjnh/image/113/153770-247-400.jpg" height="400" width="247" alt="" title="Abbé Mical's Tetes Parlantes - Virtual Voices (1)" playable="1"/> </a><a title="Click to get a larger image - Abbé Mical's Tetes Parlantes - Virtual Voices (1) - Mediamatic.net" href="/153770/en/abbé-mical-s-tetes-parlantes-virtual-voices-1">Abbé Mical's Tetes Parlantes - Virtual Voices (1)</a> <h5>6 Avec un peu d'habitude et d'habileté, on pourra parler avec les toigts comme avec la langue et on pourra donner au langage des têtes la rapidité, le repos et toute la physionomie enfin que peut avoir une langue qui n'est point animée par les passions. From a letter by Antoine de Rivarol, 1783 (Oeuvres complètes de Rivarol, Part III, Paris 1808, p. 207) See: Jens-Peter Köster Historische Entwicklung von Syntheseapparaten zur Erzeugung statischer and Vokalartiger Signale nebst Untersuchungen zur Synthese deutscher Vokale.(Historical development of synthesis machines for generating static and vowel-like signals and research into the synthesis of German vowels) Hamburg 1973, p. 85. On p. 95, Köster also quotes another part of this letter: If these heads were multiplied in Europe, they would raise terror in all those Swiss and Gascon language teachers whose influence has infected all countries and who disfigure our language for the peoples who love it. Köster comments: Here lie the roots of the use of technological tools in foreign language teaching.</h5> Op het toetsenbord van de Têtes Parlantes brengt men een tekst ten gehore zoals men een muzikale partituur speelt op een piano. Zie voor het vervolg van deze tekst: <a href="/cwolk/view/4232" title="Virtual Voices (2)">Virtual Voices (2)</a> Remko Scha http://www.mediamatic.net/id/869 d d ARTICLE publication 1