Design per la Realtà Virtuale e Aumentata
Se ci seguite o se avete un po’ di dimestichezza con l’argomento già sapete che le esperienze di Realtà Aumentata (AR) e Realtà Virtuale (VR) possono risultare simili sotto alcuni aspetti e magari nell’immaginario collettivo, ma si presentano molto diverse nell'implementazione e nell’intento. É dunque logico prevedere che il processo di concepimento e progettazione richieda approcci distinti.
Nel design delle esperienze AR, è fondamentale considerare il contesto fisico in cui l'utente interagirà con gli elementi digitali. L'AR deve integrarsi armoniosamente con l'ambiente circostante e i designer devono garantire che gli elementi digitali siano pertinenti e utili nel contesto specifico senza distorcere eccessivamente la realtà e senza sottrarre dettagli essenziali.
Nel design delle esperienze VR, invece, il creatore ha il controllo totale sull'ambiente virtuale e deve strutturare un'esperienza immersiva e coerente all'interno di questo spazio. Egli può, a seconda dello scopo, modificare ogni dettaglio dell’ambiente, può modificare le leggi della fisica o può conferire capacità di ogni sorta all’avatar che l’utente impersona. Perché, è bene precisarlo, se nella AR l’utente rimane se stesso, nella VR egli veste i panni di un alter ego, elemento da tenere a mente.
A questo punto, prima di continuare, è bene arricchire il tema dell’interazione con queste tecnologie ovvero l’integrazione delle proprie mani all’interno del contesto sia per la VR che per l’AR: l’hand tracking.
Questa tecnica è altamente promettente perché, opportunamente implementata, consente una vastità di interazioni molto naturali.
Grazie ad un mix di sensoristica dedicata e di image recognition questo sistema offre molte possibilità in termini d'interazione.
In ambito di VR si possono raccogliere oggetti dal terreno semplicemente applicando il medesimo movimento che si compirebbe nel mondo reale sfruttando il naturale senso di propriocezione, si possono sferrare colpi come si farebbe nella realtà o impugnare utensili nella stessa maniera.
Per quanto concerne l’AR si può essere in grado di visualizzare informazioni su un soggetto all’interno dell’obiettivo solamente indicandolo o tenere tra le mani un modello 3D della Torre di Pisa “afferrandola” dal proprio campo visivo, estraendone un succedaneo ed avvicinandola al volto per essere movimentata ed osservata a piacimento.
Sono prospettive entusiasmanti ma va detto che si tratta di un'applicazione che richiede tecnologie software e sensoristica avanzata, insieme a molta potenza di calcolo a fronte di un sistema che per limiti fisici non può fornire una completa e totale efficacia. Basti pensare anche solo alla prospettiva sbagliata, dove magari le dita sono coperte dal dorso della mano rispetto alla camera del visore rendendone impossibile il corretto tracciamento. Su questa scia l’ultima generazione di tecnologie ha però sfornato i guanti aptici, ovvero dei guanti dotati sia di sensori che normalizzano la precisione della percezione che il visore ha del movimento delle singole dita , sia di piccoli dispositivi che offrono una possibilità incredibile: un feedback sensoriale che restituirà all’utente l’impressione di stare davvero afferrando qualcosa o toccando una superficie. Esistono comunque vari dispositivi di input possibili, magari armi per i giochi FPS o strumenti di precisione per l’ambito chirurgico, ma l’utente medio si troverà ad impugnare dei controller particolari, i “motion controller”, che agiranno da interfaccia fisica per l’interazione attiva nei confronti della realtà digitale in cui sono immersi. Forniti di giroscopi, accelerometri, sensori di prossimità, leve e pulsanti, questi strumenti offrono degli input normalizzati e precisi e quindi eliminano molte fastidiose variabili.
Questi aspetti condizionano la strutturazione delle interfacce e la gamma di interazioni possibili. Un designer deve tenerne conto in quanto, per portare il concetto in un esempio concreto, un menù di selezione con elementi molto ravvicinati o lunghe liste di valori sarà difficile da gestire con il solo movimento delle mani, problema che non si pone se si impugna un controller con dei pulsanti.
Infine, se più o meno a chiunque sarà capitato di vedere almeno un'immagine di un visore VR, solo una sparuta minoranza saprà cosa si intende con “VR Walking Platform” ma è presto detto: si tratta di piattaforme calpestabili con imbracature per sorreggere il corpo dell’utente e consentirgli di coinvolgere anche gli arti inferiori nell’azione dando la possibilità di camminare nel mondo di gioco utilizzando le proprie gambe in maniera sostanzialmente naturale.
La VR mira a creare una sensazione di presenza e immersione totale e i designer devono lavorare per garantire che l'esperienza sia coinvolgente e realistica, o comunque coerente con le aspettative e la finalità. Questo per dire che se l’obiettivo è simulare una caccia paleolitica si vorrà avere una fisica coerente con quella naturale mentre se si desidera rappresentare l’ambientazione di un quadro di Dalì si potrebbe consentire all’avatar di compiere azioni peculiari, come volare, senza inficiare il senso dell’esperienza. Ciò implica la creazione di ambienti dettagliati e accurati, un'attenta gestione della prospettiva e del campo visivo e un'interazione realistica con l'ambiente virtuale. D’altro canto nell'AR, la presenza dell'utente nel mondo reale è già garantita e l'obiettivo principale del designer è di arricchire l'esperienza reale con informazioni e interazioni digitali pertinenti.
Volendo fare un parallelismo potremmo dire che se la VR trasforma l’utente nel suo alter ego, l’AR fornisce all'utente stesso dei “superpoteri” come la visione a distanza, la visione a raggi X, la capacità di osservare oggetti non esistenti, l’accesso diretto ad informazioni sconosciute e via dicendo.
Quando si progettano esperienze per la VR è fondamentale tenere conto anche del fattore uditivo. Se un’esperienza AR non necessita di particolari suoni ambientali o immersivi in quanto il soggetto è fisicamente presente in un luogo, l’esperienza VR trova nel Sound Design un grandioso ed imprescindibile alleato. Suoni spaziali, rumori, colonne sonore, feedback uditivi, sono ciò che insieme alla componente visiva permette all’utente di calarsi appieno dentro il mondo virtuale proposto. Si potrà sentire il rumore delle foglie secche schiacciate durante una passeggiata in un bosco o percepire il barrito di un elefante in avvicinamento durante un safari nella giungla indiana. Questo è importantissimo in quanto il ruotare della testa oltre a muovere la visuale in maniera naturale, modula anche il sonoro in modo che sia coerente con quanto osservato, offrendo il massimo del coinvolgimento.
Andiamo ora ad affrontare un tema di cruciale rilievo che ogni designer deve tenere bene a mente quando si accinge a progettare mondi immersivi e relative meccaniche: la sicurezza e il comfort dell’utente. Se per quanto riguarda l’AR il problema è pressoché irrilevante o comunque circoscritto non lo è affatto per quanto riguarda la VR. Come tutti sappiamo bene, gli input ambientali hanno degli effetti sul nostro apparato sensoriale, portando alle volte alla sofferenza dell’intero sistema. Pensiamo ad esempio ai comunissimi mal di mare o mal d’auto con capogiri e nausea annessa. Durante la progettazione di un’esperienza di realtà virtuale è fondamentale prestare particolare attenzione al comfort dell'utente per garantire che la stessa risulti piacevole e coinvolgente. Capiamoci, non tutto può risultare sempre perfetto e ci sarà una percentuale di utenti che riscontrerà conseguenze spiacevoli dopo una sessione col visore, ma con un po’ di attenzione si può ottenere un buon risultato, limitando quello che in gergo viene definito motion sickness (malessere da movimento). Questo fenomeno è ricorrente e dipende in generale dalle discrepanze tra il movimento percepito nell'ambiente virtuale e quello effettivamente esperito dal corpo. Pensiamo a quando pretendiamo di leggere un libro mentre si sta seduti comodi sul sedile del passeggero di un’auto che sale sui tornanti per Livigno, o magari a quella volta che mentre giocavate alla Switch sul traghetto per la Corsica siete dovuti correre in bagno con un senso di malessere. Non un bel vivere a dire il vero. Per mitigare questo problema, è importante adottare strategie mirate a ridurre al minimo il disagio.
Un buon approccio consiste pensare e adattare le meccaniche di gioco tenendo conto del funzionamento del corpo umano. Ad esempio, è possibile introdurre modalità di locomozione alternative, come il teletrasporto, che consente agli utenti di spostarsi rapidamente da un punto all'altro dell'ambiente virtuale senza visualizzare con gli occhi un movimento che il corpo non può percepire. Come abbiamo detto in precedenza i visori contengono dei sensori che consentono, tra le altre cose, di correlare la visuale ai movimenti della testa. Ovviamente nulla vieta al designer di utilizzare la leva analogica del controller per svolgere la medesima azione, sono scelte che devono essere ponderate tenendo conto anche della motion sickness. Nel primo caso l’orecchio interno percepisce il movimento e lo scorrimento della visuale risulta naturale e coerente, quindi nessun problema. Ma cosa succede invece nel secondo caso? La visuale scorre verso destra o sinistra ma la testa dell’utente rimane ferma, il cervello rileva la discrepanza ed entra in allerta. In questa situazione, dunque, è possibile implementare un sistema differente di controllo del movimento e della visuale, come lo "snap turning" (rotazione a scatti), per evitare scorrimenti che potrebbero causare disagio quando la testa rimane ferma. In questo modo la visuale cambierà in maniera repentina, come una slide o il cambio di scena in un film, evitando di simulare un movimento che nella realtà fisica non sta avvenendo.
É comunque buona prassi tenere a mente che la percezione del movimento e l’insorgere di situazioni di malessere è e rimane un elemento soggettivo. Non è quindi detto che una meccanica disturbi tutti gli utenti così come non è detto che una strategia di risoluzione tolga la nausea a tutti coloro i quali l’abbiano esperita. É però vero che la maggioranza delle persone reagisce in maniera simile, questo consente al designer di poter intraprendere delle scelte funzionali per un vasto numero di fruitori.
Oltre a tali soluzioni, è importante assicurarsi che il design del gioco sia intuitivo e facilmente comprensibile, in modo da ridurre al minimo il disorientamento e la confusione dell'utente e dunque la sua frustrazione. In sintesi, garantire il comfort nella VR è fondamentale per assicurare un'esperienza di gioco piacevole e soddisfacente. Integrando strategie mirate e adattando le meccaniche di gioco alle esigenze umane è possibile superare i problemi come la motion sickness e creare esperienze virtuali più coinvolgenti, emozionanti e che lascino di sé un ricordo positivo.
Nei prossimi articoli affronteremo altri temi di questo affascinante mondo come il processo di design, strumenti del mestiere o lo scopo dell’esperienza e la raccolta dati ma per ora direi che possiamo cominciare a ragionare su limiti e possibilità di questi potenti medium attraverso il filtro del nostro buon senso e mediante la nostra creatività. Come designer il nostro scopo è mantenere un approccio centrato sull’utente al fine di garantire esperienze utili e coinvolgenti. Dunque date libero scopo alla vostra fantasia ed esprimete le vostre idee per migliorare almeno un po’ il mondo che tutti condividiamo!
Nel design delle esperienze AR, è fondamentale considerare il contesto fisico in cui l'utente interagirà con gli elementi digitali. L'AR deve integrarsi armoniosamente con l'ambiente circostante e i designer devono garantire che gli elementi digitali siano pertinenti e utili nel contesto specifico senza distorcere eccessivamente la realtà e senza sottrarre dettagli essenziali.
Nel design delle esperienze VR, invece, il creatore ha il controllo totale sull'ambiente virtuale e deve strutturare un'esperienza immersiva e coerente all'interno di questo spazio. Egli può, a seconda dello scopo, modificare ogni dettaglio dell’ambiente, può modificare le leggi della fisica o può conferire capacità di ogni sorta all’avatar che l’utente impersona. Perché, è bene precisarlo, se nella AR l’utente rimane se stesso, nella VR egli veste i panni di un alter ego, elemento da tenere a mente.
Interfaccia utente e interazione
A questo punto, prima di continuare, è bene arricchire il tema dell’interazione con queste tecnologie ovvero l’integrazione delle proprie mani all’interno del contesto sia per la VR che per l’AR: l’hand tracking.
Questa tecnica è altamente promettente perché, opportunamente implementata, consente una vastità di interazioni molto naturali.
Grazie ad un mix di sensoristica dedicata e di image recognition questo sistema offre molte possibilità in termini d'interazione.
In ambito di VR si possono raccogliere oggetti dal terreno semplicemente applicando il medesimo movimento che si compirebbe nel mondo reale sfruttando il naturale senso di propriocezione, si possono sferrare colpi come si farebbe nella realtà o impugnare utensili nella stessa maniera.
Per quanto concerne l’AR si può essere in grado di visualizzare informazioni su un soggetto all’interno dell’obiettivo solamente indicandolo o tenere tra le mani un modello 3D della Torre di Pisa “afferrandola” dal proprio campo visivo, estraendone un succedaneo ed avvicinandola al volto per essere movimentata ed osservata a piacimento.
Sono prospettive entusiasmanti ma va detto che si tratta di un'applicazione che richiede tecnologie software e sensoristica avanzata, insieme a molta potenza di calcolo a fronte di un sistema che per limiti fisici non può fornire una completa e totale efficacia. Basti pensare anche solo alla prospettiva sbagliata, dove magari le dita sono coperte dal dorso della mano rispetto alla camera del visore rendendone impossibile il corretto tracciamento. Su questa scia l’ultima generazione di tecnologie ha però sfornato i guanti aptici, ovvero dei guanti dotati sia di sensori che normalizzano la precisione della percezione che il visore ha del movimento delle singole dita , sia di piccoli dispositivi che offrono una possibilità incredibile: un feedback sensoriale che restituirà all’utente l’impressione di stare davvero afferrando qualcosa o toccando una superficie. Esistono comunque vari dispositivi di input possibili, magari armi per i giochi FPS o strumenti di precisione per l’ambito chirurgico, ma l’utente medio si troverà ad impugnare dei controller particolari, i “motion controller”, che agiranno da interfaccia fisica per l’interazione attiva nei confronti della realtà digitale in cui sono immersi. Forniti di giroscopi, accelerometri, sensori di prossimità, leve e pulsanti, questi strumenti offrono degli input normalizzati e precisi e quindi eliminano molte fastidiose variabili.
Questi aspetti condizionano la strutturazione delle interfacce e la gamma di interazioni possibili. Un designer deve tenerne conto in quanto, per portare il concetto in un esempio concreto, un menù di selezione con elementi molto ravvicinati o lunghe liste di valori sarà difficile da gestire con il solo movimento delle mani, problema che non si pone se si impugna un controller con dei pulsanti.
Infine, se più o meno a chiunque sarà capitato di vedere almeno un'immagine di un visore VR, solo una sparuta minoranza saprà cosa si intende con “VR Walking Platform” ma è presto detto: si tratta di piattaforme calpestabili con imbracature per sorreggere il corpo dell’utente e consentirgli di coinvolgere anche gli arti inferiori nell’azione dando la possibilità di camminare nel mondo di gioco utilizzando le proprie gambe in maniera sostanzialmente naturale.
Presenza e coinvolgimento
La VR mira a creare una sensazione di presenza e immersione totale e i designer devono lavorare per garantire che l'esperienza sia coinvolgente e realistica, o comunque coerente con le aspettative e la finalità. Questo per dire che se l’obiettivo è simulare una caccia paleolitica si vorrà avere una fisica coerente con quella naturale mentre se si desidera rappresentare l’ambientazione di un quadro di Dalì si potrebbe consentire all’avatar di compiere azioni peculiari, come volare, senza inficiare il senso dell’esperienza. Ciò implica la creazione di ambienti dettagliati e accurati, un'attenta gestione della prospettiva e del campo visivo e un'interazione realistica con l'ambiente virtuale. D’altro canto nell'AR, la presenza dell'utente nel mondo reale è già garantita e l'obiettivo principale del designer è di arricchire l'esperienza reale con informazioni e interazioni digitali pertinenti.
Volendo fare un parallelismo potremmo dire che se la VR trasforma l’utente nel suo alter ego, l’AR fornisce all'utente stesso dei “superpoteri” come la visione a distanza, la visione a raggi X, la capacità di osservare oggetti non esistenti, l’accesso diretto ad informazioni sconosciute e via dicendo.
Quando si progettano esperienze per la VR è fondamentale tenere conto anche del fattore uditivo. Se un’esperienza AR non necessita di particolari suoni ambientali o immersivi in quanto il soggetto è fisicamente presente in un luogo, l’esperienza VR trova nel Sound Design un grandioso ed imprescindibile alleato. Suoni spaziali, rumori, colonne sonore, feedback uditivi, sono ciò che insieme alla componente visiva permette all’utente di calarsi appieno dentro il mondo virtuale proposto. Si potrà sentire il rumore delle foglie secche schiacciate durante una passeggiata in un bosco o percepire il barrito di un elefante in avvicinamento durante un safari nella giungla indiana. Questo è importantissimo in quanto il ruotare della testa oltre a muovere la visuale in maniera naturale, modula anche il sonoro in modo che sia coerente con quanto osservato, offrendo il massimo del coinvolgimento.
Comfort dell’utente
Andiamo ora ad affrontare un tema di cruciale rilievo che ogni designer deve tenere bene a mente quando si accinge a progettare mondi immersivi e relative meccaniche: la sicurezza e il comfort dell’utente. Se per quanto riguarda l’AR il problema è pressoché irrilevante o comunque circoscritto non lo è affatto per quanto riguarda la VR. Come tutti sappiamo bene, gli input ambientali hanno degli effetti sul nostro apparato sensoriale, portando alle volte alla sofferenza dell’intero sistema. Pensiamo ad esempio ai comunissimi mal di mare o mal d’auto con capogiri e nausea annessa. Durante la progettazione di un’esperienza di realtà virtuale è fondamentale prestare particolare attenzione al comfort dell'utente per garantire che la stessa risulti piacevole e coinvolgente. Capiamoci, non tutto può risultare sempre perfetto e ci sarà una percentuale di utenti che riscontrerà conseguenze spiacevoli dopo una sessione col visore, ma con un po’ di attenzione si può ottenere un buon risultato, limitando quello che in gergo viene definito motion sickness (malessere da movimento). Questo fenomeno è ricorrente e dipende in generale dalle discrepanze tra il movimento percepito nell'ambiente virtuale e quello effettivamente esperito dal corpo. Pensiamo a quando pretendiamo di leggere un libro mentre si sta seduti comodi sul sedile del passeggero di un’auto che sale sui tornanti per Livigno, o magari a quella volta che mentre giocavate alla Switch sul traghetto per la Corsica siete dovuti correre in bagno con un senso di malessere. Non un bel vivere a dire il vero. Per mitigare questo problema, è importante adottare strategie mirate a ridurre al minimo il disagio.
Un buon approccio consiste pensare e adattare le meccaniche di gioco tenendo conto del funzionamento del corpo umano. Ad esempio, è possibile introdurre modalità di locomozione alternative, come il teletrasporto, che consente agli utenti di spostarsi rapidamente da un punto all'altro dell'ambiente virtuale senza visualizzare con gli occhi un movimento che il corpo non può percepire. Come abbiamo detto in precedenza i visori contengono dei sensori che consentono, tra le altre cose, di correlare la visuale ai movimenti della testa. Ovviamente nulla vieta al designer di utilizzare la leva analogica del controller per svolgere la medesima azione, sono scelte che devono essere ponderate tenendo conto anche della motion sickness. Nel primo caso l’orecchio interno percepisce il movimento e lo scorrimento della visuale risulta naturale e coerente, quindi nessun problema. Ma cosa succede invece nel secondo caso? La visuale scorre verso destra o sinistra ma la testa dell’utente rimane ferma, il cervello rileva la discrepanza ed entra in allerta. In questa situazione, dunque, è possibile implementare un sistema differente di controllo del movimento e della visuale, come lo "snap turning" (rotazione a scatti), per evitare scorrimenti che potrebbero causare disagio quando la testa rimane ferma. In questo modo la visuale cambierà in maniera repentina, come una slide o il cambio di scena in un film, evitando di simulare un movimento che nella realtà fisica non sta avvenendo.
É comunque buona prassi tenere a mente che la percezione del movimento e l’insorgere di situazioni di malessere è e rimane un elemento soggettivo. Non è quindi detto che una meccanica disturbi tutti gli utenti così come non è detto che una strategia di risoluzione tolga la nausea a tutti coloro i quali l’abbiano esperita. É però vero che la maggioranza delle persone reagisce in maniera simile, questo consente al designer di poter intraprendere delle scelte funzionali per un vasto numero di fruitori.
Oltre a tali soluzioni, è importante assicurarsi che il design del gioco sia intuitivo e facilmente comprensibile, in modo da ridurre al minimo il disorientamento e la confusione dell'utente e dunque la sua frustrazione. In sintesi, garantire il comfort nella VR è fondamentale per assicurare un'esperienza di gioco piacevole e soddisfacente. Integrando strategie mirate e adattando le meccaniche di gioco alle esigenze umane è possibile superare i problemi come la motion sickness e creare esperienze virtuali più coinvolgenti, emozionanti e che lascino di sé un ricordo positivo.
Conclusioni
Nei prossimi articoli affronteremo altri temi di questo affascinante mondo come il processo di design, strumenti del mestiere o lo scopo dell’esperienza e la raccolta dati ma per ora direi che possiamo cominciare a ragionare su limiti e possibilità di questi potenti medium attraverso il filtro del nostro buon senso e mediante la nostra creatività. Come designer il nostro scopo è mantenere un approccio centrato sull’utente al fine di garantire esperienze utili e coinvolgenti. Dunque date libero scopo alla vostra fantasia ed esprimete le vostre idee per migliorare almeno un po’ il mondo che tutti condividiamo!