Giovanni Zoda
L’erranza, cm 80×60, olio su tela, 2007
Collezione privata, Brizzi, Roma
“Dead?” I panted. “Then that gentleman was—?” I couldn’t even say the word.
“Call him what you like—there are twenty vulgar names. He’s a perfect presence.”
H. James, Sir Edmund Orme (1892)
In Virtual Reality Space is virtual, Time is real
R. Wellborn (2017)
Sensations of sound
Il 3 novembre 2017 il New York Times ha presentato sul proprio sito Sensations of sound, di Maureen Towey, Rachel Kolb e James Merry. Si tratta di un breve video in cui Rachel Kolb racconta la propria toccante esperienza: nata sorda, la ragazza ha ricevuto sette anni fa un impianto cocleare e ha così scoperto il mondo della musica come esperienza non solo uditiva ma fisica, muscolare, tattile. Il video è stato girato e viene presentato in realtà virtuale (di qui in poi VR): l’osservatore – ascoltatore viene immerso in un ambiente tridimensionale e letteralmente circondato da immagini della ragazza che racconta, trascrizioni grafiche delle sue parole, animazioni che traducono i suoi pensieri, voci suoni e rumori che le accompagnano; si tratta insomma di una tipica esperienza mediale immersiva (il filmato è visibile in forma di video a 360° sul sito del quotidiano: https://www.nytimes.com/2017/11/03/opinion/cochlear-implant-sound-music.html).
I materiali che compongono il video assumono in tal modo un grado di presenza che i tradizionali modelli di visione e di ascolto “astantivi” (chiameremo così le modalità non immersive) non avrebbero reso possibile. Al tempo stesso, si tratta di un tipo di presenza anomala rispetto a quello di una vera e propria presenza fisica: non tanto e non solo per la immaterialità di quanto si ha intorno, quanto soprattutto e prima di tutto per l’autonomo svolgimento temporale del discorso rispetto all’attività di sguardo e di ascolto: lo spettatore sente di “essere lì”, ma senza poter intervenire o interferire con lo svolgimento della storia narrata e con il flusso dei materiali sensoriali che la presentano. Egli può agire solo nell’ambito dei propri movimenti sensori-motori, spostandosi per variare il suo punto di vista: in questo peraltro il filmato presenta una particolarità, che dovremo riprendere più avanti.
Sensations of sound si presta bene a introdurre l’oggetto di questo intervento. Intendo infatti sostenere che i media immersivi lavorano essenzialmente moltiplicando i modelli e le forme della presenza dello spettatore – ascoltatore; e che lo fanno manipolando principalmente la dimensione temporale della sua esperienza – rispetto a quella spaziale che veniva privilegiata nei media astantivi.
Non ho la pretesa di svolgere un discorso compiuto, ma semplicemente di presentare alcuni appunti di lavoro. Mi interrogherò anzitutto sul concetto di presenza in vari ambiti disciplinari contemporanei; cercherò in un secondo momento di definire differenti modelli e gradi di presenza dell’utente dai media astantivi ai media immersivi; esplorerò successivamente le strutture temporali di alcuni di questi modelli di presenza, sottolineando come essi fossero già stati prospettati (ma evidentemente non pienamente realizzati) dai media astantivi audiovisivi.
Presenza
Il tema e il concetto della presenza sono stati esplorati a partire da differenti approcci disciplinari, talvolta collegati. Esplorerò brevemente le valenze tecnologiche, quelle psicologiche, quelle mediologiche e infine quelle filosofiche.
Le discussioni tecniche nell’ambito della VR (Ijsselsteijn, Ridder, Freeman, Avons, 2000) usarono originariamente il termine “presenza” come sostitutivo di “telepresenza”, espressione coniata da Marvin Misnky nel 1980 per descrivere la sensazione dell’”essere lì / con” sviluppata da operatori di dispositivi a distanza che operavano mediante sistemi di VR. Il termine entrò nel dibattito scientifico con la fondazione della rivista Presence, Teleoperators and Virtual Environments edito da MIT Pressa dal 1992: si parlò allora di “virtual presence” (non necessariamente collegata alla telepresenza).
Deriva di qui un dibattito specialistico che si è sviluppato soprattutto in seno alla ISPR (International Society for Presence Research) circa la esatta definizione dell’espressione:
Presence (a shortened version of the term “telepresence”) is a psychological state or subjective perception in which even though part or all of an individual’s current experience is generated by and/or filtered through human-made technology, part or all of the individual’s perception fails to accurately acknowledge the role of the technology in the experience. […] Presence occurs when part or all of an individual’s experience is mediated not only by the human senses and perceptual processes but also by human-made technology (i.e., “second order” mediated experience) while the person perceives the experience as if it is only mediated by human senses and perceptual processes (i.e., “first order mediated experience”). (https://ispr.info/; Chan, 2014)
Altre definizioni tratte da articoli e volumi tecnico-operativi di VR sono: “presence is a state of consciousness, the (psychological) sense of being in the virtual environment” (Slater, Wilbur, 1997: 603–616); “presence is […] the subjective experience of being in one place or environment, even when one is physically situated in another; [it is] a normal awareness phenomenon that requires directed attention and is based in the interaction between sensory stimulation, environmental factors that encourage involvement and enable immersion, and internal tendencies to become involved” (Witmer, Singer, 1998: 225-240); “presence is when the multimodal simulations (images, sound, haptic feedback, etc.) are processed by the brain and understood as a coherent environment in which we can perform some activities and interact. Presence is achieved when the user is conscious, deliberately or not, of being in a virtual environment (VE)” (Gutiérrez, Vexo, Thalmann, 2008: 3).
Anche la letteratura psicologica ha lavorato molto sul tema della presenza in ambiti tecnologici e nella VR. Gli psicologi lamentano una visione della presenza troppo legata al fattore tecnologico e definita in funzione dell’hardware (la cosiddetta Media Presence) e non piuttosto radicata nei meccanismi sensori-motori umani (Inner Experience) e nelle relazioni interpersonali (Social Presence). Pur differendo nell’approccio, le diverse tendenze coincidono nelle scale di costituzione della presenza, regolate da vari fattori: grado di immersività e isolamento del soggetto, numero e tipologia dei canali sensoriali coinvolti, tipi di movimento del soggetto e possibilità di interazioni con oggetti e soggetti, velocità delle reazioni di questi ultimi (Riva, 2006).
In definitiva per gli psicologi degli ambienti mediali immersivi
‘Presence’ is just this “feeling of being inside the mediated world”. It is a crucial and increasingly necessary element in both design and usage of many recent and developing interactive technologies. In the same way that ‘feeling present’, or consciously ‘being there’, in the physical world around us is based upon perception, physical action and activity in that world, so the feeling of presence in a technologically-mediated environment is a function of the possibilities for interaction. (Riva, Waterworth, Murray, 2014: 1)
Dal punto di vista più specificatamente mediologico, la “presenza” in relazione ai media e al loro sviluppo è stata studiata da Vivian Sobchack in un saggio del 2005 (Sobchack, 2005: 127-142; Sobchack, 2016: 157-175). L’autrice riprende la distinzione di Fredric Jameson tra tre grandi ondate di trasformazioni delle condizioni dell’esperienza, legate ad altrettante logiche culturali delle tecnologie della percezione: il realismo con la fotografia, il modernismo con il cinema, il postmodernismo con l’elettronica. Il fotografico, isolando il momento, costituisce la presenza come distanza dal e nel tempo dell’esperienza; Il cinematico lavorando il tempo nel suo flusso determina una presenza centrata e fluida legata a un costate farsi del senso momento per momento; l’elettronico infine lavora sull’istante e sulla presenza assoluta di un soggetto smaterializzato e policentrico – rinunciando a ogni forma di ritenzione / protensione temporale –. Possiamo subito osservare che gli esempi di VR che stiamo esaminando ci portano lontano dalle idee della Sobchack riguardo l’elettronico e sembrano piuttosto contaminare il fotografico (la scena guardata) e il cinematografico (la temporalità dell’osservazione).
Non posso neppure sfiorare infine la complessità filosofica del tema della presenza – dalle tipologie della presenza circoscrittiva, definitiva e repletiva della Scolastica fino alla metafisica della presenza e alla sua decostruzione che impronta il pensiero di Martin Heidegger e di Jacques Derrida. Mi limito a sottolineare come negli ultimi anni il tema della presenza abbia preso decisamente corpo nel dibattito filosofico e teorico contro alcune pretese del pensiero postmoderno, poststrutturalistico e decostruzionista. Da un lato alcuni autori hanno sottolineato con forza e da posizioni differenti che il nocciolo dell’esperienza estetica ed ermeneutica è una “presenza reale”, contro l’idea di un incessante sottrarsi del mondo e dell’Essere in un infinito gioco di slittamenti e différances (Steiner, 1989; Nancy, 1993; Gumbrecht, 2004; Ghosh, Kleinberg, 2013). Dall’altro lato varie correnti del pensiero neo-fenomenologico valorizzano l’esplorazione sensorimotoria, incorporata ed enattiva del mondo come il luogo e il momento in cui si raggiunge e si costituisce una esperienza autentica della presenza del mondo e degli altri soggetti. Essi riprendono quindi l’idea heideggeriana di una esperienza pratica del mondo in quanto “a portata di mano”; ma contro lo stesso Heidegger vedono in questo diretto commercio con il mondo la matrice e il modello di ulteriori modelli di ragionamento e di conoscenza. Sotto questo aspetto i tentativi di negare la presenza propri della fenomenologia esistenzialista sono mal orientati:
Two mistakes blind the existential phenomenologists to the fact that readiness-to-hand is a form of presence, a way things show up. The first of these is the idea that presence (but not absence) is adequately accounted for by the modern account; the second is that the intellect is a realm of detached contemplation. […By this way] existential phenomenologists […] discern problems with the modern way of thinking about presence, but because, […] they can imagine no alternative way of grasping the phenomenon, they jettison the very idea of presence. What they really discover are new ways of thinking about presence, not alternatives to it. They discover the varieties of presence. (Noë, 2012: 7, 9-10).
(A nostro avviso la riflessione circa il legame tra forme della presenza e forme del tempo al centro della riflessione di Heidegger finisce tuttavia per essere escluso dagli approcci “spazialisti” o “spaziocentrici” di questo settore di studi, come il proverbiale bambino gettato via insieme all’acqua sporca).
Si tratta di un filone di riflessioni che lega a doppio filo le forme della presenza a quelle della interazione attiva con il mondo, trovando in ciò numerosi sostegni negli studi di taglio filosofico sui media digitali e soprattutto sui nuovi media immersivi (Diodato, 2005; Featherstone, Burrows, 1995; Wood, 1998; Hillis, 1999; Massumi, 2002; Broadhurst, Machon, 2006; Hansen, 2006; Dyson, 2009; Bryant, Pollock, 2010; Hezekiah, 2010; Kwastek, 2013).
Quattro regimi
Ritorniamo, forti di questo détour sul concetto di presenza, a Sensations of sound. Se indosso un qualche tipo di visore di VR e faccio partire il filmato, potrò osservare Rachel Kolb raccontare la sua storia, girarmi intorno a 360 gradi per osservare le animazioni prodotte, guardare verso l’alto e verso il basso: posso insomma svolgere vari movimenti del mio corpo e quindi del mio sguardo purché non implichino uno spostamento dell’asse corporeo. O meglio: posso anche muovermi nello spazio, ma senza che questo implichi un cambiamento della mia relazione scopica con le immagini e i suoni. In altri termini sono all’interno di quello che viene definito il regime dei tre gradi di libertà del fruitore di VR (3 Degrees of Freedom, o 3DOF): imbardata (yaw), beccheggio (pitch), rollio (roll). Il regime 3DOF è un primo grado di immersività proprio della VR. Esso rappresenta un passo avanti decisivo rispetto alla visione astantiva della fotografia e dei mezzi audiovisivi classici: in quest’ultimo caso il movimento del punto di vista poteva essere effettuato solo dalla macchina da presa per poi “risuonare” enattivamente nello spettatore grazie a meccanismi di simulazione incorporata (Gallese, Guerra, 2015). Nella VR in 3DOF tuttavia è “veramente” l’osservatore ad agire i movimenti sul proprio asse che trasformano la propria esperienza di visione; a partire da questo “ingresso” nei media immersivi si trasforma anche l’esperienza di presenza – che come abbiamo visto viene legata alla propriocezione del movimento del soggetto nelle sue interazioni con l’ambiente: il mondo del video non viene solo “guardato”, ma “vissuto” dall’interno a partire dalla sensazione di essere situati al suo interno. Mi chiedo anche se in questo passaggio dall’esperienza astantiva a quella immersiva posso ancora parlare di “spettatore”: metterò di qui in poi prudentemente il termine tra virgolette.
Il regime 3DOF è oggi ampiamente diffuso nelle applicazioni di VR, in quanto realizzabile e fruibile con mezzi relativamente semplici ed economici: una telecamera a 360 gradi, un visore cardboard in cui inserire il proprio telefonino, al limite visori più complessi e costosi (a questo tipo di esperienza appartengono anche i filmati in VR 360 gradi che adottano il First person shot, come quelli frequentissimi di Rollercoaster o di videogiochi in FPS. In questi casi il grado di presenza viene aumentato non dall’intervento di un maggiore mobilità interna dell’osservatore o da un più deciso coinvolgimento diegetico, quanto dal fatto che lo stesso punto di vista dinamico della iper-camera a 360 gradi simula il movimento di appropriazione visuo-motoria di una porzione di mondo – combinato con il fatto che nel caso del rollercoaster la fissità dell’asse dello schema corporeo riproduce la situazione di blocco fisico dell’osservatore all’interno del seggiolino).
È anche possibile (come sa chi ha seguito l’indicazione per vedere il video sul web che ho dato alla nota 1) vedere questi video sul computer: in questo caso i movimenti effettuati con il mouse o sul touchpad simulano quelli del proprio corpo e offrono una espewrienza di visione astantiva già protesa verso la visione immersiva.
Tuttavia Sensations of sound può essere fruito anche in una modalità differente. Il filmato rappresenta infatti la joint venture tra il New York Times e la Lytro, una azienda specializzata nel produrre macchine fotografiche e da ripresa che sfruttano la tecnologia “a campo di luce” o “plenottica” (ligthfield – plenoptic photography). Senza addentrarmi troppo nella storia e nei caratteri di tale tecnologia, che ho già esplorato altrove (Eugeni, 2016: 115-123; Id., 2016: 281-294), sottolineo solamente come essa ibridi cine-fotografia digitale e algoritmi di costruzione e ricostruzione di ambienti in tre dimensioni, dando vita ad ambienti foto-cinematografici tridimensionali liberamente percorribili dallo “spettatore”.
[Estratto del saggio: R. Eugeni, “Temporalità sovrapposte. Articolazione del tempo e costruzione della presenza nei media immersivi”, in A. Rabbito (a cura di), La cultura visuale del XXI secolo. Cinema, teatro e new media, Meltemi, Milano, di prossima pubblicazione]
Bibliografia:
Broadhurst S., Machon J. (eds.), Performance and Technology: Practices of Virtual Embodiment and Interactivity, Basingstoke, Palgrave Macmillan, 2006.
Bryant A., Pollock G. (eds.), Digital and Other Virtualities, New York, Tauris, 2010.
Chan M., Virtual Reality. Representations in Contemporary Media, New York- London, Bloomsbury, 2014.
Diodato R., Estetica del virtuale, Milano, Bruno Mondadori, 2005.
Dyson F., Sounding New Media: Immersion and Embodiment in the Arts and Culture, Berkeley, University of California Press, 2009.
Eugeni R., “Lytro. The camera as hypersensor”, in Comunicazioni sociali, n. 1, 2016.
Id., “L’immaginazione operosa. Fotografia computazionale e tecnologie della sensibilità”, in D. Guastini, A. Ardovino (a cura di), I percorsi dell’immaginazione. Studi in onore di Pietro Montani, Cosenza, Pellegrini, 2016.
Featherstone M. and Burrows R. (eds.), Cyberspace, Cyberbodies, Cyberpunk. Cultures of Technological Embodiment, London, Sage, 1995.
Gallese V., Guerra M., Lo schermo empatico. Cinema e neuroscienze, Milano, Cortina, 2015.
Ghosh R. and Kleinberg E. (eds.), Presence. Philosophy, History, and Cultural Theory for the Twenty- First Century, Ithaca – London, Cornell University Press, 2013.
Gumbrecht U. H., Production of presence: What Meaning Cannott Convey, Stanford (Calif.), Stanford University Press, 2004.
Gutiérrez M., Vexo F., Thalmann D., Stepping into Virtual reality, London, Springer, 2008.
Hansen M. B. N., Bodies in code. Interfaces with digital media, New York – London, Routledge, 2006.
Hezekiah G. A.,Phenomenology’s Material Presence: Video, Vision and Experience, Bristol – Chicago, Intellect, 2010. Kwastek K., Aesthetics of Interaction in Digital Art, translated by Niamh Warde, London – Cambridge (MA), The MIT Press, 2013.
Hillis K., Digital Sensations – Space, Identity and Embodiment in Virtual Reality, Minneapolis and London: University of Minnesota Press, 1999.
Ijsselsteijn A., Ridder H., Freeman J., & Avons S. E., Presence: concept, determinants and measurement, Proceedings of SPIE, Human Vision and Electronic Imaging, San Jose (CA), 2000.
Massumi B., Parables for the Virtual: Movement, Affect, Sensation, Durham, Duke University Press, 2002.
Nancy J.-L., The Birth to Presence, Stanford (Calif.), Stanford University Press, 1993.
Noë Aa, Varieties of Presence, Cambridge (Massachusetts), London, Harvard University Press, 2012.
Riva G. et al. (eds.), From Communication to Presence, Amsterdam-Berlin, IOS Press, 2006.
Riva G., Waterworth J., Murray D., Interacting with Presence: HCI and the Sense of Presence in Computer mediated Environments, Warsaw – Berlin, De Gruyter Open, 2014.
Singer W. e M. J., “Measuring Presence in Virtual Environments: A Presence Questionnaire”, in Presence: Teleoperators and Virtual Environments, n. 7/3, 1998.
Slater M., Wilbur S., “A framework for immersive virtual environments (FIVE): Speculations on the role of presence in virtual environments,” in Presence: Teleoperators and Virtual Environments, n. 6/6, 1997.
Sobchack V., “From Screen-Scape to Screen-Sphere: A Meditation in Medias Res”, in D. Chateau, J. Moure (eds.), Screens. From Materiality to Spectatorship. A Historical and Theoretical Reassessment, Amsterdam, Amsterdam University Press, 2016.
Sobchack V., “The Scene of the Screen: Envisioning Cinematic and Electronic ‘Presence’”, in A. Utterson(ed.), Technology and Culture, the Film Reader, New York, Routledge, 2005.
Steiner G., Real Presences, London, Faber and Faber, 1989; trad. it., Vere presenze, Milano, Garzanti, 2006.
Wood J. (ed.), The Virtual Embodied. Presence/Practice/Technology, London – New York, Routledge, 1998.
Sitografia:
https://www.nytimes.com/2017/11/03/opinion/cochlear-implant-sound-music.html