comment les films pourraient modifier les intrigues en temps réel en répondant aux émotions des téléspectateurs

La plupart des films offrent exactement la même expérience de visionnage. Vous vous asseyez, le film commence, l’intrigue se déroule et vous suivez ce qui se passe à l’écran jusqu’à la fin de l’histoire. C’est une expérience linéaire. Mon nouveau film, Avant que nous disparaissions – à propos d’une paire d’activistes du climat qui cherchent à se venger des entreprises responsables du réchauffement climatique – cherche à modifier cette expérience de visionnement.

Ce qui rend mon film différent, c’est qu’il adapte l’histoire à la réponse émotionnelle du spectateur. Grâce à l’utilisation d’une caméra informatique et d’un logiciel, le film regarde efficacement le public pendant qu’il visionne des images de catastrophes climatiques. Les téléspectateurs sont implicitement invités à choisir un camp.

J’ai choisi d’utiliser cette technologie pour faire un film sur la crise climatique afin d’amener les gens à vraiment réfléchir à ce qu’ils sont prêts à sacrifier pour un avenir viable.

La narration a toujours été interactive : les conteurs oraux traditionnels interagissaient et répondaient à leurs auditeurs. Depuis près d’un siècle, les cinéastes sont expérimenter l’interactivité – la dernière décennie a vu une explosion de contenu interactif.

Les services de streaming donnent aux téléspectateurs la possibilité de choisir leur propre aventure. Cependant, laisser le spectateur contrôler l’action a longtemps posé un défi : c’est en contradiction avec l’immersion narrative, où le spectateur est entraîné dans le monde créé par l’histoire.

L’une des expériences récentes les plus marquantes du cinéma interactif, Bandersnatch de Netflix, l’illustre bien. Ici, l’action s’arrête pour demander à l’utilisateur ce qu’il doit faire ensuite – rompre le flux de l’histoire et impliquer activement le spectateur. Résoudre ce problème de rupture de l’expérience immersive reste une question clé pour les artistes explorant le cinéma interactif.

Les films que je crée et réalise empruntent une voie différente, tirant parti du contrôle non conscient pour influencer un film pendant que le public regarde. Mon précédent contrôlé par le cerveau films, L’instant (2018) et Les inconvénients du voyage dans le temps (2014), ont utilisé des interfaces cerveau-ordinateur (BCI). Ces systèmes utilisent des ordinateurs pour analyser les signaux électriques du cerveaupermettant aux gens de contrôler efficacement un appareil avec leur esprit.

En utilisant ces données du cerveau, le public créer une édition non consciente du film en temps réel – renforçant les histoires respectives des films de dystopie de science-fiction et d’un esprit errant et rêveur.

Cependant, l’interface BCI nécessite un équipement spécialisé. Pour Before We Disappear, je voulais utiliser une technologie plus facilement accessible au public, qui pourrait permettre de partager des films sur Internet.

Contrôler le récit

Before We Disappear utilise une caméra d’ordinateur ordinaire pour lire les signaux émotionnels et instruire le montage en temps réel du film. Pour que cela fonctionne, nous avions besoin de bien comprendre comment les gens réagissent aux films.

Nous avons couru plusieurs études explorer les émotions les cinéastes ont l’intention d’évoquer et comment les téléspectateurs présentent visuellement l’émotion lorsqu’ils regardent. En utilisant les techniques de vision par ordinateur et d’apprentissage automatique de notre partenaire BlueSkeye AInous avons analysé les émotions faciales et les réactions des téléspectateurs aux extraits de films et développé plusieurs algorithmes pour exploiter ces données afin de contrôler un récit.

Bien que nous ayons observé que le public a tendance à ne pas ressentir beaucoup d’émotions lorsqu’il regarde un film, les outils d’analyse du visage et des émotions de BlueSkeye sont suffisamment sensibles pour détecter suffisamment de petites variations et d’indices émotionnels pour adapter le film aux réactions du spectateur.

Le logiciel d’analyse mesure le mouvement des muscles faciaux ainsi que la force de l’excitation émotionnelle – essentiellement l’émotion ressentie par le spectateur à un moment donné. Le logiciel évalue également la positivité ou la négativité de l’émotion – quelque chose que nous appelons “valence”.

Nous expérimentons divers algorithmes où ces données d’excitation et de valence contribuent aux décisions de montage en temps réel, ce qui entraîne la reconfiguration de l’histoire. La première scène agit comme une ligne de base, par rapport à laquelle la scène suivante est mesurée. En fonction de la réponse, le récit deviendra l’une des quelque 500 modifications possibles. Dans Before We Disappear, j’utilise une narration non linéaire qui propose au public différentes fins et voyages émotionnels.

Voyage émotionnel

Je vois la technologie interactive comme un moyen d’élargir la boîte à outils du cinéaste, de raconter davantage une histoire et de permettre au film de s’adapter à un spectateur individuel, en défiant et en distribuant le pouvoir du réalisateur.

Cependant, les réponses émotionnelles pourraient être mal utilisées ou avoir des conséquences imprévues. Il n’est pas difficile d’imaginer un système en ligne affichant uniquement du contenu suscitant des émotions positives de la part de l’utilisateur. Cela pourrait être utilisé pour créer une chambre d’écho – où les gens ne voient que le contenu qui correspond aux préférences qu’ils ont déjà.

Ou il pourrait être utilisé pour la propagande. Nous avons vu dans le scandale de Cambridge Analytica comment grandes quantités d’informations personnelles ont été collectées sur Facebook et utilisées à des fins de publicité politique.

Notre recherche vise à générer une conversation sur la manière dont les données émotionnelles des utilisateurs peuvent être utilisées de manière responsable avec un consentement éclairé, tout en permettant aux utilisateurs de contrôler leurs propres informations personnelles. Dans notre système, les données sont analysées sur l’appareil des utilisateurs, plutôt que, disons, sur le cloud.

Grande entreprise, grande responsabilité

L’interaction non consciente est une grosse affaire. Des plateformes telles que TIC Tac et Youtube utiliser l’analyse des interactions passées des utilisateurs sur les plateformes pour influencer le nouveau contenu qu’ils y voient. Les utilisateurs ne sont pas toujours conscients des informations personnelles qui sont créées ou stockées, et ils ne peuvent pas non plus influencer les algorithmes qui leur seront ensuite présentés.

Il est important de créer un système où les données des audiences ne sont pas stockées. La vidéo du spectateur ou les données d’expression faciale ne doivent pas être téléchargées ou analysées ailleurs que sur l’appareil du lecteur. Nous prévoyons de publier le film sous la forme d’une application interactive, intégrant une prise de conscience de l’abus potentiel des données de l’utilisateur et protégeant toutes les données personnelles sur l’appareil utilisé pour le regarder.

Les films adaptatifs offrent une alternative à la narration traditionnelle « choisissez votre propre aventure ». Lorsque l’histoire peut changer en fonction des réponses inconscientes du public plutôt que de l’interaction intentionnelle, leur concentration peut être maintenue dans l’histoire.

Cela signifie qu’ils peuvent profiter d’une expérience plus personnalisée du film. Il s’avère que les anciennes traditions de la narration ont peut-être encore beaucoup à nous apprendre au 21e siècle.