Algoritme tovert knullige selfie om tot weergaloos portret

portretten

Amerikaanse wetenschappers hebben een algoritme ontwikkeld dat je met de smartphone gemaakte selfie omtovert tot een foto die door een beroemde portretfotograaf lijkt te zijn gemaakt. Hoe gaaf is dat?

De onderzoekers noemen het ‘style transfer‘. Ze pakken de stijl van een beroemde portretfotograaf en transformeren een ietwat knullig selfie vervolgens tot een portret in die stijl. Het idee van style transfer is niet nieuw. Er zijn reeds verschillende technieken ontwikkeld om een bepaalde stijl op je foto’s los te laten, de bekendste vind je misschien wel in het populaire Instagram.

Close-up
Maar de standaard style transfer-technieken werken niet zo goed als het aankomt op gezichten in close-up. “De meeste technieken werken heel globaal: je achterhaalt enkele algemene parameters zoals de belichting, kleurverschuiving, contrast,” somt onderzoeker YiChang Shih op. “We begonnen met die filters, maar ontdekten dat die niet zo goed werkten als het om menselijke gezichten gaat. Onze ogen zijn zo gevoelig voor menselijke gezichten: er wordt geen enkel foutje getolereerd.”

Op de foto

Op de foto bovenaan dit artikel zie je helemaal links de originele foto en daarnaast drie verschillende stijlen die op de foto zijn gelegd.

Lokaal
Om die foutjes te voorkomen, werken de onderzoekers niet ‘globaal’, maar ‘lokaal’. Met behulp van gezichtsherkenningssoftware identificeren ze eerst een portret in de gewenste stijl dat eigenschappen heeft die lijken op eigenschappen van de selfie. Vervolgens wordt de stijl van het portret overgedragen op de selfie. Niet de stijl van het gehele portret, maar de stijl van losse onderdelen wordt vervolgens op dezelfde onderdelen van de selfie losgelaten. De ogen van de officiële portretfoto worden dus gebruikt om de ogen van de selfie aan te passen. En zo worden ook afzonderlijke ‘onderdelen’ als de baard, huid en haren op de officiële portretfoto gebruikt om de baard, huid en haren op de selfie de stijl van de beroemde portretfotograaf te laten ademen.

Verschillende schalen
Deze ‘lokale transfer’ werkte, maar de resultaten waren niet heel natuurlijk. En daarom sleutelden de onderzoekers nog even verder aan hun algoritme. Ze voegden er ‘multiscale matching’ aan toe. “Menselijke gezichten bestaan uit texturen op verschillende schalen,” legt Shih uit. “Je wilt dat de kleine schaal – poriën en haren – overeenkomt, maar je wilt ook dat de grote schaal – zoals de neus, mond en belichting – overeenkomt.”

De eerste experimenten met het algoritme zijn goed verlopen. De onderzoekers haalden 94 portretfoto’s van het internet en toverden ze om tot portretfoto’s die door een echte portretfotograaf leken te zijn gemaakt. Het algoritme bleek wel het beste te werken wanneer de foto waar de stijl van gekopieerd wordt sterke overeenkomsten vertoont met de foto die die stijl moet krijgen. Als dat niet het geval is, kunnen heel bizarre foto’s het eindresultaat zijn. Denk bijvoorbeeld aan een jongere met rimpels wanneer de stijl van een portretfoto van een bejaarde op de selfie van de jongere overgedragen wordt.

Bronmateriaal

"Spruce up your selfie" - MIT.edu
De foto bovenaan dit artikel is gemaakt door onderzoekers van MIT-Adobe 5K.

Fout gevonden?

Voor jou geselecteerd