VR suddar ut gränserna mellan liv och död

Skulle du vilja träffa en avliden person som du älskar igen, i en virtuell värld?
2016 dog Jang Ji-sungs sju år gamla dotter Nayeon av en obotlig sjukdom. Tre år senare återförenades den sydkoreanska mamman med Nayeon, i en virtuell värld skapad för en TV-dokumentär.

I nedanstående Youtube-film har Munhwa Broadcasting Corporation delat sekvenser från den speciella dokumentären, med titeln ”Jag träffade dig”, där bilderna klipptes mellan ”den verkliga världen” och den virtuella.

En mamma återförenas med sin avlidna dotter i VR

Först ser vi hur Jang står framför en massiv grön skärm medan hon bär både ett VR-headset och någon slags haptiska handskar. Lite senare ser vi hur hon pratar med sin dotter, håller hand och till och med har en födelsedagsfest i deras favoritpark med en tårta med tända ljus.

VR-återföreningen är, som du kan förvänta dig, extremt känslomässig. Jang börjar gråta i det ögonblick hon ser den virtuella Nayeon, medan resten av familjen, Nayeons far, bror och syster ser hur den känslomässiga återföreningen mellan mamman och dottern utspelas framför dem.

”Kanske är det ett riktigt paradis,” sade Jang om återföreningen i VR enligt Aju Business Daily. ”Jag träffade Nayeon, som mötte mig med ett leende för en mycket kort tid, men det är en mycket lycklig tid. Jag tror att jag har haft den dröm jag alltid velat ha.”

Enligt Aju Business Daily tillbringade produktionsteamet åtta månader på projektet. De designade den virtuella parken efter en som mor och dotter hade besökt i den verkliga världen, och använde rörelsefångstteknologi (motion capture) för att spela in rörelserna hos en barnskådespelare som de senare kunde använda som modell för sin virtuella Nayeon.

Processen är kanske inte enkel, och slutprodukten kanske inte är helt perfekt, men vi har nu tekniken för att återskapa de döda i VR – övertygande nog för att få sina nära och kära till tårar.
Konsekvenserna av detta är omöjliga att förutsäga.

Det kan ha tagit ett helt team av experter att producera ”Jag träffade dig”, men hur långt är vi från att ha en plattform som låter någon ladda upp bilder av en avliden kärlek och sedan interagera med en virtuell version av den personen? År? Månader?

Vilken typ av påverkan kommer detta att ha på sorgprocessen?
Kommer det hjälpa människor att komma till ett avslut och gå vidare med sina liv, om de får se en nära anhörig i VR efter dennes död? Kommer vissa människor bli beroende av den virtuella världen, spendera mer och mer tid i den och mindre och mindre i den verkliga?
Och kommer det att sluta med VR? Eller är detta bara det första steget till androider utformade för att härma, imitera och ersätta våra döda nära och kära till både utseende och personlighet, som i avsnittet ”Black Mirror” Be Right Back?

Black Mirror

Flera nystartade företag lägger grunden för den framtiden och sammanställer data om människor, både levande och döda, så att de med hjälp av AI kan skapa ”digitala avatarer” av dessa människor och återskapa både röster och simulerade datorgenerade filmklipp med fotorealistisk och verklighetstrogen kvalitet. Andra företag bygger redan robotkloner av riktiga människor.

Nyckeln till att en VR-återförening blir en positiv sak, det vill säga mer som ett tjugoförsta århundradets utvecklade variant av ett fotoalbum och mindre som ”Black Mirror”-avsnittet, verkar vara att den levande personen helt accepterar sin älskades död.

”Eftersom du vet att personen är borta accepterar du den virtuella motsvarigheten för vad den är – ett tröstande minne,” sa Princeton neurovetenskapsman Michael Graziano till Dell Technologies i december. ”Det är inget fel eller oetiskt med det.”

Kanske är reglering nödvändig? I stället för att låta nystartade företag erbjuda allmänheten chansen att interagera med virtuella versioner av sina döda nära och kära, utan tvekan till en kostnad, kanske vi bör göra tekniken tillgänglig endast för personer som först har genomgått en screening med en psykolog?

Det är svårt i dagsläget att säga vad som kan fungera eftersom möjligheten att interagera med övertygande versioner av den avlidne i VR definitivt är ett outforskat territorium. Men nu när vi officiellt har kommit in på den arenan har vi många frågor vi måste svara på så snart som möjligt.

Diskussionsfrågor:

  1. Skulle du vilja träffa en avliden person som du älskar igen, i en virtuell värld?
  2. Vilka fördelar ser du med den här tekniken?
  3. Vilka nackdelar ser du med den här tekniken?
  4. Anser du att det är etiskt att använda AI och VR-tekniken så här?
  5. Tycker du att den här teknikanvändningen borde regleras?
  6. Vilka företag eller organisationer tycker du borde hantera och erbjuda den här typen av tjänster?
  7. Vilka yrkeskategorier anser du bör vara inblandande i projektgruppen för att utveckla en sådan här VR-upplevelse?
TIS-projekt Oceanhamnen

TIS-projekt Oceanhamnen

Drönarfoto över Oceanhamnen och Pixlapiren 22 januari 2020

Det händer mycket i Oceanhamnen i Helsingborg nu.
Oceanhamnen är första etappen av stadsutvecklings-projektet H+ i Helsingborg som fram till år 2035 ska omvandla en miljon kvadratmeter gammalt hamn- och industriområde till de fyra stadsdelarna Oceanhamnen, Universitetsområdet, Husarområdet och Gåsebäck och ge plats för 10 000 nya invånare. Syftet är att skapa framtidens smarta hållbara stad och då behöver vi självklart involvera eleverna på Innovationsgymnasiet i Helsingborg!

Alla viktiga projekt behöver en flygande start!
Först ut på bollen är teknikeleverna i årskurs 2 (TE18DP) som läser Design, Konstruktion, CAD och produktutveckling som, förutom att skapa 3D-ritningar med inredningsförslag till blivande bostadsrätter, kontor och hotell, även kommer bygga fysiska 3D-modeller av de nya bostäderna. Teknikeleverna i årskurs 1 (TE19) är också med i projektet och kommer jobba med fasadritningar och bygga skalenliga modeller av fastigheternas fasader inom kursen Teknik 1.
TE18DP ska även designa och konstruera förslag på smarta, kompakta och mobila modulära studentbostäder av återbruksmaterial.
Som en naturlig del i projektet väver vi in innovativa tekniska lösningar för smarta hem, intelligenta byggnader med lokal energiåtervinning och system för användarcentrerad feedback i syfte att minska varje individs energi- och vattenförbrukning och avfallsmängd. För de projekt och produktidéer som rör IoT (Internet Of Things) och digitala lösningar kommer våra elever (TE18IM) som läser Dator- och Nätverksteknik, Programmering, Webbutveckling och certifieringskursen Cisco IoT Fundamentals Connecting Things involveras.
Genomgående för uppdragen är tillämpning av principer för hållbar design och användandet av moderna professionella digitala design- och konstruktionsverktyg som Blender, Sketchup, Fusion 360, Meshroom, Autodesk Revit, Unity, Unity Reflect samt 3D-skrivare och återbruksmaterial för att skapa skalenliga fysiska modeller.
Under våren kommer natureleverna (NA19), som en del av projektet ”TIS-Tema Vatten”, titta närmare på den nya innovativa vattenreningsanläggningen Reco Lab (se mer info nedan) som är en modell för framtidens avloppssystem som håller på att byggas i Oceanhamnen.

Oceanhamnsområdet är just nu en inhägnad byggarbetsplats där förvandlingen till en levande stadsdel med de första 450 bostäder pågår för fullt så att de första invånarna kan flytta in redan nästa år. Här byggs också restauranger, handelsyta och Oceanhamnen Waterfront Business District, ett nytt affärsdistrikt med 32 000 kvadratmeter nya kontor. Området får endast besökas av behörig personal med ID06 passerkort, så vi har inte möjlighet att gå dit och göra fältstudier på nära håll med eleverna. Så för att få en inblick i hur arbetsprocesserna och bygget fortskrider får vi ta till andra kreativa metoder. I första hand söker vi samarbeten med de aktörer som är inblandade i olika delar av Oceanhamnen-projektet.

För att få lite perspektiv på projektet, fågelperspektiv alltså, så lyfte jag blicken och flög runt ett par varv och kollade in hur området ser ut idag, den 22 januari 2020.
Här nedan är ett litet filmklipp med en helikoptervy över området som vi kommer ha under luppen de närmaste månaderna.

För att få en känsla för hur det är tänkt att se ut när Oceanhamnen är färdigbyggd så är en 3D-visualisering med realistisk rendering ett bra och kraftfullt verktyg. Här nedan får du en förhandstitt i 3D på den nya stadsdelen som håller på att växa fram med ett spektakulärt läge vid havet, ett stenkast från Helsingborgs centralstation. För att skapa en sådan film kan man t ex använda programvaran Blender 2.81 som vi börjat använda i kurserna Design, Konstruktion och Cad.

Välkommen till Oceanhamnen – 3D visualisering (3:05)

Digitalisering möjliggör nya innovativa arbetssätt
Om man vill gå ett steg längre och erbjuda en interaktiv upplevelse så att besökaren själv kan navigera runt i 3D-miljön så kan man istället lägga in de 3D-objekt man skapat i t ex Fusion 360 eller Sketchup, i spelutvecklingsmiljön Unity, som vi använt i undervisningen i Programmering. I Unity kan man även skapa en interaktiv VR- eller AR-upplevelse. Med Unity Reflect kan man sedan koppla samman konstruktionsritningarna och projektplaneringsverktygen och följa hela byggprocessens alla olika steg i VR från en annan plats, eller med hjälp av AR-teknik se hur byggnaden steg för steg kommer att byggas upp precis där du står, trots att det ännu inte är klart. Det är som att i realtid kunna se in i framtiden, in genom väggar eller tillbaka till hur någonting såg ut innan.

Unity Reflect gör konstruktionsdokument och ritningar digitalt tillgängliga på byggarbetsplatsen i realtid via AR.

Här kan du se var byggherrarna bygger

Det är totalt sex byggherrar som ska bygga bostäder i den nya stadsdelen. Vi vill gärna samarbeta med dem på olika sätt inom ramen för de kurser eleverna läser, men även för SYV (Studie- och Yrkes-Vägledning). Det kan t ex handla om studiebesök, intervjuer, designuppdrag eller praktikplatser.
Kartan härunder visar var de ska bygga, och länkarna går till mer information om dem och deras projekt.

 Kartan visar var det ska byggas bostäder i oceanhamnen
Översiktskarta över Oceanhamnen med markeringar för placeringen av de olika byggherrarnas bostadsfastigheter.

Vid havet, mitt i centrum

Oceanpiren är en del av Oceanhamnen, ett nytt spännande bostadsområde mitt i Helsingborg. På bästa läge, längst ut på piren, bygger vi 69 bostadsrätter om 1-4 RoK – Brf Oceanpiren. Här bor du på första parkett vid havet, i hjärtat av stadsdelen, i ljusa, välplanerade bostadsrätter som är byggda för en hållbar livsstil. Samtidigt om vi uppför Brf Oceanpiren bygger vi fyra radhus i townhouse-stil. Vi kallar dem Oceanvillorna. De har både hållbarhetstänket och den magnifika havsutsikten gemensamt med Brf Oceanpiren.

Brf Oceanpiren

För mer information om Brf Oceanpiren se oceanpiren.se, den interaktiva presentationssidan för de olika bostadsobjekten eller de två faktabladen (pdf) för hus 1 och hus 2.

Interaktiv presentationssida för de olika bostadsobjekten.

Design-, konstruktions- och CAD-uppgifter till TE18DP
Här är en lista på exempel på arbeten och uppdrag som eleverna ska jobba med. Mer utförliga och detaljerande instruktioner ges under lektionerna, men de olika uppgifterna publiceras också på sidorna Designuppgifter för TE18DP och Konstruktions- och CAD-uppgifter för TE18DP.

  • Skapa en CAD-ritning på en av lägenheterna i Brf Oceanpiren. Utgå från planritningen.
  • Skapa ett komplett inredningsförslag till lägenheten.
  • Skapa konstruktionsritningar av väggsektioner, tak och golv i minst två olika material.
  • Skapa en materiallista och kostnadskalkyl för de ingående konstruktionselementen.
  • Gör hållfasthetsberäkningar och riskanalyser
  • Jämför materialalternativen med hänsyn till kostnad, hållfasthet, hållbarhet, miljöpåverkan, klimatavtryck och möjlighet till återvinning (livscykelanalys).

Oceanvillorna

De townhouse-inspirerade Oceanvillorna är Oceanpirens mest fulländade boende med spektakulära solnedgångar och en magnifik havsutsikt

https://public.wec360.se/midroc/oceanhamnen/a-1003/index.html

World Trade Center Helsingborg

World Trade Center Helsingborg i Oceanhamnen ska bli mötesplatsen för entreprenörer, scale-ups, etablerade företag och affärs- och helgresenärer.

MP_kontor_99493_WTC Oceanhamnen_Bröderna Pihls gränd_västerbild ([3149][@[resize:5200,2930][crop:34,0,5021,2919][autoorient:][background:%23ffffff][quality:80][strip:][extension:jpg][id:7]]).jpg
World Trade Center med Scandic Hotel Helsingborg på Bröderna Pihls gränd

WTC Helsingborg blir en kontors- och hotellfastighet som kommer bli ett landmärke i Helsingborg. Med sina fjorton våningar precis vid hamninloppet ger den dig närkontakt med sundet, båtarna och kontinenten. Här kommer finnas gemensam service som reception och konferensavdelning. Gym, relax, dusch- och omklädningsrum. Restaurangen med uteservering vid vattnet och takterasser är ytterligare fördelar som berikar både arbets- och privatliv. I källaren planeras för cykelgarage med möjligheter till reparationer och en laddstation för elcyklar.    

Fastighet är ritad av Juul Frost Arkitekter, men byggherren Midroc välkomnar kunderna tidigt in i processen för att kunna påverka lokalens utformning så att den passar verksamheten bäst. Att vara med och arbeta med förslag på lokalernas utformning kan vara ett bra elevprojekt!
Juul Frost Arkitekter är förövrigt experter på design av campusområden och studentbostäder, och hur man kan integrera dem i städer.

Läs mer om World Trade Center Helsingborg på följande länkar:
https://www.midroc.se/fastighetsutveckling/ny-lokal/nybyggnadsprojekt-lokaler/helsingborg-world-trade-center/

https://www.wtcmalmolundhelsingborg.se/fastigheter-och-lokaler/vara-fastigheter/helsingborg/broderna-phils-grand/

Se en typskiss på en kontorslokal i WTC:
https://www.wtcmalmolundhelsingborg.se/globalassets/lime/documents/483701-pdf-document.pdf

Oceanhamnen får ett innovativt nytt avloppssystem – Reco Lab med Tre Rör Ut

Innovativt avloppssystem i Oceanhamnen kräver nytänk (2:13)

Oceanhamnen kommer få en helt ny typ av klimatsmart avloppssystem med värmeåtervinning och lokalt producerad biogas. Varje fastighet ansluts till tre separata rör, ett för matavfall, ett för gråvatten och ett för svartvatten. Detta innovativa avloppssystem kräver att ingenjörerna tänker utanför boxen. I filmklippet ovan berättar VA-ingenjören Peter Winblad på Nordvästra Skånes vatten och avlopp, NSVA, om utmaningarna.

Reco Lab – en testbädd och showroom för framtidens källsorterande avloppssystem

Reco Lab kommer att bidra till att utveckla det världsunika systemet Tre Rör Ut för insamling och hantering av mat- och toalettavfall i fastigheterna på Oceanpiren i stadsdelen Oceanhamnen i centrala Helsingborg.

På uppdrag av NSVA har entreprenörföretaget NCC upphandlat det nederländska företaget Landustrie och det svenska företaget EkoBalans Fenix AB för att installera processteg i det unika Reco labs utvecklingsanläggning. Reco lab, som är en del av Öresundsverket i Helsingborg, ska behandla det källsorterade avloppet från Helsingborgs nya stadsdel, Oceanhamnen. Avloppshantering har en naturlig roll att spela i den cirkulära ekonomin då mycket av våra essentiella resurser, som vatten, näringsämnen och organiskt material passerar igenom stadens avlopp.

Det källsorterande avloppet innebär en reningsprocess med kraftigt ökad resursåtervinning. Miljövinsterna är flera:

  • ökad biogasproduktion
  • ökad näringsåtervinning
  • effektiv värmeåtervinning
  • mer energieffektiv läkemedelsrening
  • minskad klimatpåverkan
  • möjligheten för vattenåtervinning 

    Reco Lab planeras att vara färdigbyggt och driftsatt våren 2021 och inkluderar även ett showroom för utbildning samt en testbädd för teknikutveckling.
    Studiebesök hos NSVA för natureleverna (NA19) är planerat till maj 2020.
    Eleverna i NA18 borde också studera Reco Lab som en del av biologi- och kemikurserna, i synnerhet de som valt inriktningen mot natur och samhälle.

Bilder på bygget av Oceanhamnen

Bilder från fältstudie vid Oceanhamnen och Pixlapiren 2020-01-22 med drönaren DJI Spark:

Drönarvy | Helsingborg Oceanhamnen 2019-02-24 (Helsingborg då & nu)

VR i undervisningen för elever i och utanför klassrummet

Här är en kort introduktion till Chimera, en fördjupningsteknologi som gör det möjligt för lokala och avlägsna studenter att känna att de deltar lika och interagerar i en klassmiljö. Denna teknik kommer att vara lika användbar i alla presentatörs-/deltagarsituationer med tillägg av alternativa VR-miljöer.

Skicka frågor eller förfrågningar för mer information till JimmyG@PagoniVR.com

Motion tracking med Blender 2.8

In this blender 2.8 tutorial, by CGMatter (https://www.cgmatter.com), we go over the fundamentals of motion tracking inside blender. Specifically we go over image sequence conversion and the motion models (location, rotation, scale, affine, perspective) used for tracking.
This is the first part of a 3 part tutorial series covering everything to do with motion tracking.
TIMESTAMPS: 00:00:00 – Introduction
00:01:18 – What is motion tracking?
00:01:55 -Image sequences (theory + conversion)
00:08:33 – Switching to movie clip editor
00:10:05 – Setting up
00:11:46 – Location tracking (and some basics)
00:16:43 – Tracking panel (track speed, frames limit, etc)
00:19:16 – Search area and pattern area (optimization)
00:22:20 – Default settings vs local settings
00:23:03 – Modifying the pattern area
00:24:33 – Graphs (how to interpret X and Y data)
00:26:10 – Link empty to track
00:27:33 – Basic 3d integration
00:28:37 – Location rotation motion model (+ comparing to location model)
00:33:10 – What a tracker really stores
00:33:58 – 2 point tracking (for rotation/scaling data)
00:39:20 – Normalize
00:42:16 – Location rotation scale motion model
00:46:17 – Previous frame vs keyframe (match mode)
00:48:47 – Correlation (with a small mistake :D)
00:53:03 – Affine motion model
01:00:19 – Perspective motion model
01:13:03 – RGB color channels
01:15:10 – Closing thoughts + sneak-peek

Blender 2.8 Motion tracking #2: Even more to go over (tutorial)

In this blender 2.8 tutorial we continue developing the theory of motion tracking by going over techniques like join tracks and offset tracking. We also talk about applications like masking, plane tracks, stabilization, and compositing. TIMESTAMPS:
00:00:00 – Introduction (what we’ll go over)
00:01:11 – Setup 00:02:35 – Obstructions (join tracks)
00:08:23 – Offset tracking
00:14:52 – Stabilization (lot’s of stuff in here) – multiple trackers – stab weight – rotation/scale
00:23:21 – Color coding
00:24:36 – More stabilization – autoscale – anchor frame
00:26:51 – Compositing (stabilize 2d node)
00:32:32 – Rendering stabilized result
00:35:23 – Plane track
00:42:30 – Compositing (plane track deform node) – masking – dilate/erode node
00:49:44 – Manual hook approach
00:57:12 – Masking
01:00:16 – Mask node (compositing)
01:01:37 – Overview + sneak-peek

Blender 2.8 Motion tracking #3: Camera tracking in depth (tutorial)

In this blender 2.8 tutorial we finally go over camera tracking and the theory involved in reducing your solve error. We also talk about orientation and compositing which lets us put 3d objects in our scene.

Blender 2.8 Motion tracking #4: Camera tracking examples (tutorial)

In this blender 2.8 tutorial we review what we’ve learned about camera tracking. Specifically we try to get a good camera solve on two new shots one of which is a tripod shot.

ThisPersonDoesNotExist.com använder AI för att skapa falska ansikten

ThisPersonDoesNotExist.com använder AI för att skapa falska ansikten

Från bildigenkänning till artificiell bildgenerering.
AI-forskningen och utvecklingen inom maskininlärning (machine learning), när det handlar om bilder och foton, har i huvudsak handlat om artificiell bildigenkänning. Dvs att skapa algoritmer för att lära datorer att känna igen visuella objekt i bilder och tolka det som syns och sker i foton.
(engelska: Image recognition, object detection, object classification)

De senaste åren har även AI:s förmåga att skapa (generera) falska fotorealistiska bilder tagit stora kliv framåt.
På webbplatsen, ThisPersonDoesNotExist.com, kan du se själv med egna ögon hur långt utvecklingen kommit.

Bildresultat för this person does not exist"
Dessa personer finns inte på riktigt. Ansiktena har skapats av AI-algoritmen StyleGAN på webbplatsen ThisPersonDoesNotExist.com

Webbplatsen är skapad av Phillip Wang, en fd programvaruingenjör vid Uber, och skapar automatiskt nya bilder på människors ansikten som inte finns på riktigt. Algoritmen bakom den bygger på forskning som släpptes förra året av grafikchipdesignern Nvidia. AI:t är tränat på ett enormt stort dataset med foton på riktiga människoansikten, och använder sedan en typ av neuralt nätverk som kallas ett Generativt Adversarialt Nätverk (engelska Generative Adversarial Network, GAN) för att tillverka nya falska människoporträtt.

”Varje gång du läser in webbsidan skapar nätverket en ny ansiktsbild från början,” skrev Wang i ett Facebook-inlägg. ”De flesta förstår inte hur bra AI:er kommer att vara på att syntetisera bilder i framtiden.”

Den underliggande AI-algoritmen som drivs på webbplatsen uppfanns ursprungligen av en forskare som heter Ian Goodfellow. Nvidias AI-algoritm, kallat StyleGAN, gjordes nyligen till öppen källkod och har visat sig vara otroligt flexibel. Även om den här versionen av modellen är tränad för att generera mänskliga ansikten, kan den i teorin användas för att efterlikna någon annan källa. Forskare experimenterar redan med andra mål, som t e x anime tecken, teckensnitt och graffiti.