Kunst, wetenschap en tech ineen

Augmented-reality-brillen worden lichtgewicht, beeldherkenningstechnologie kleiner, sneller en goedkoper waardoor de fysieke werkelijkheid voor iedereen kan worden verrijkt met een extra audiovisuele informatielaag. Deze mix van de fysieke realiteit en realtime simulatie zal gemeengoed worden.

Dit zijn enkele uitgangspunten van de artistieke interventie ‘Sgraffito in 3D’ bij het Museum Boijmans Van Beuningen waarbij middeleeuws sgraffito-aardewerk uit de collectie Van Beuningen-De Vriese in 3D werd gereconstrueerd en gerepesenteerd. Er is gebruik gemaakt van de meest innovatieve technieken op het gebied van 3D-visualisatie uit de medische wereld en de industrie zoals CT-scanning, Rapid Manufacturing en Augmented Reality. Het pre-industriële cultureel erfgoed werd met post-industriële technologie digitaal toegankelijk gemaakt. Kunst, technologie en wetenschap komen binnen deze tentoonstelling samen.

Een oude, pre-industriële schaal  meenemen naar het ziekenhuis, naar het Erasmus Medisch Centrum, om hem daar te laten scannen in een CT scanner. De 14e eeuwse schaal terug veilig in de vitrine kast van Museum Boijmans van Beuningen. Het CT beeld bewerken en geschikt maken om er een kloon van te maken in een 3D printer. Naar TNO Eindhoven met een digitaal bestand en terugkomen met een kloon van een Middeleeuwse schaal van een soort nylon-achtige kunststof? Dan moet het CT bestand geschikt gemaakt worden om via innovatieve visualisatie technieken te verschijnen op een beeldscherm of virtueel in de werkelijkheid. De verschijning van de beelden vindt plaats doordat een camera een ‘marker’ herkent.

We zien dan niet alleen een ‘plaatje’ van de schalen, maar we zien een 3D beeld dat we kunnen manipuleren met een [computer] muis, zodat we ook  onderkant en de zijkanten kunnen zien.  Er zijn diverse opstellingen gemaakt:  – een boek dat voor een computerscherm ligt. Op het computerscherm zit een kleine webcam. Wanneer de webcam de marker op het opengeslagen  boek ziet,  komt een schaal op het beeldscherm te voorschijn . De decoratie van de schaal komt los van de schaal en beweegt elegant in het rond. Door het boek een beetje te bewegen of schuin te houden is de schaal van alle kanten te bekijken.  Daarenboven is er muziek te horen uit de regio en de tijd waarin de schaal werd gemaakt. Een plaatjesboek wordt zo een 4-D-belevenis.

Op de tentoonstelling zijn nog andere manieren te zien waarop Joachim Rotteveel en het AR+RFID lab van de Koninklijke Academie van Beeldende Kunsten het cultureel erfgoed toegankelijk maakten:

1. CT-scan – projectie op de muur

2. Protagonist-Antagonist – 7 originelen in vitrines met daarvoor in 3D geprinte replica’s die mogen worden vastgepakt,  op speciaal ontworpen lichtsokkels

3. 3D-archive – Interactieve installatie in de vorm van een waterput bestaande uit een balustrade en een interactieve vloerprojectie gemaakt in een game-engine

4. Reconstruction Lab – Installatie bestaande uit 2 tafels met screenbased AR installaties. Bovendien stond in  de tentoonstelling zelf  ook een architectonische opstelling van vitrines waarin de hele collectie sgraffito-aardewerk en een informatietafel met digitale foto’s en geschiedenis over de collectie.

In samenwerking met het AR+RFID Lab van de KABK werd als onderdeel van de tentoonstelling het  ‘Reconstruction Lab’ gerealiseerd. Deze bestaat uit een tweetal augmented reality installaties: Een scherven-interface en een 3D-Popup Boek. De visualisatietechniek Augmented Reality (verhoogde realiteit) maakt digitale 3D beelden zichtbaar in de echte werkelijkheid. De beelden worden als het ware uit het computerscherm gehaald en onderdeel van de fysieke omgeving. Om deze ‘spookbeelden’ te kunnen zien moet je door een speciale bril kijken. Om de positie van deze virtuele beelden te bepalen, is op de AR-bril een kleine camera bevestigd. Zo krijgt men de virtuele beelden real time op exact de goede plek te zien. Deze techniek is ontwikkeld door wetenschappers van de TU-Delft o.l.v. professor Jonker. Zijn promovendus Jurjen Caarls promoveert hier binnenkort op. Uitsluitend tijdens de opening was het mogelijk de ‘tafel te dekken’ met de virtuele schalen door personen die een AR headset droegen.

Reconstruction Lab en 3D Pop-Up Book werken met een vergelijkbare methode: een webcam bepaalt de plaats van de virtuele objecten in de werkelijkheid, maar projecteert de beelden op een scherm.  Het publiek kon zelf de 3D kloons vasthouden.

Zie de volgende video-links: -> http://www.sgraffito-in-3d.com/download/3D-PopUp-Book.mov -> http://www.sgraffito-in-3d.com/download/Reconstruction_Lab.mov