Cantata verbetert videoanalyse voor artsen, bewakers en consumenten thuis
Met de groeiende hoeveelheid beschikbare digitale videocontent wordt het steeds belangrijker om de inhoud efficiënt en snel te kunnen benutten. Doel van het eind vorig jaar afgelopen Cantata-project was om digitale videosystemen contentbewust te maken door geavanceerde videoanalyse te gebruiken. Het project heeft geleid tot verschillende systeemdemonstraties op surveillance-, medisch en consumentengebied, waarvan sommige al als nieuwe producten op de markt zijn gekomen.
Digitale videocontent is gemeengoed geworden in vele domeinen, van professioneel gebruik tot consumentenapparaten. Ook zien we de laatste jaren steeds meer internetgebaseerde toepassingen die rijk zijn aan audiovisuele inhoud. Een paar jaar geleden was analyse van het beeldmateriaal een hulpmiddel voor classificatie. Nu deze techniek bredere toepassingen krijgt, wordt de kwaliteit en betrouwbaarheid van beeld- en videoanalyse steeds belangrijker en dus een onderscheidende factor.
Veel toepassingen betreffen de verwerking van grote hoeveelheden data. Bij videobewaking genereren multicamerasystemen vierentwintig uur per dag, zeven dagen per week videosignalen om gebeurtenissen te kunnen analyseren en zo eventuele onregelmatigheden te voorkomen. In de medische sector zorgt het gebruik van geavanceerde 3D-scanners voor een betere diagnose, maar ook voor een berg meetgegevens. Thuis heeft de consument toegang tot een zeer grote database met eigen en gedownload materiaal. Meestal hebben de huidige multimediasystemen echter geen notie van de media-inhoud, zodat menselijke interpretatie nodig is voor het navigeren door en het selectief gebruiken van de visuele data.
Het Cantata-project slaat een brug tussen het academisch onderzoek op het gebied van videoanalyse en de economische toepassing in een aantal domeinen. We hebben aandacht besteed aan geschikte algoritmes, een analyse- en presentatieplatform en visualisatie van en interactie met het beeldmateriaal. Doel was te komen tot contentbewuste systemen. De belangrijkste innovaties zijn al toegepast voor consumentenmultimedia, medische diagnose en videobewaking. In de eindfase van het project zijn de eerste commerciële producten geïntroduceerd.
Tegelijk hebben we binnen Cantata verschillende stappen genomen om contentbewuste producten te valideren en te evalueren op kwaliteit en robuustheid. De deelnemers hebben een begin van een gemeenschappelijke validatiemethodologie opgezet en datasets beschikbaar gemaakt op internet waarmee ontwerpers hun algoritmes kunnen vergelijken. Ook de videoanalyse uit het project zelf hebben we op deze manier getest.
Juichend publiek
Het aanbod aan multimediadata groeit dagelijks met een toevloed van uitzendingen via televisie, internet (IP-tv, Youtube) en dvd/Blu-Ray. De consument wil het gebruik van media toesnijden op de eigen wensen om de persoonlijke beleving te vergroten. Gebruikersgemak is dan een essentiële voorwaarde. Bij Cantata hebben we een deel van de innovatieve concepten al toegepast in een contentbewuste IP-tv-settopbox van Ortikon.
Een andere bijdrage van Cantata aan consumentenmultimedia is een interactieve tv die de inhoud van het audio- en beeldmateriaal interpreteert. Het door Philips ontwikkelde systeem heeft een veelheid aan nieuwe features die kennis hebben van de beeldinhoud. Het kan bijvoorbeeld uitgezonden nieuws- en sportprogramma’s samenvatten in de vorm van de belangrijkste gebeurtenissen zoals de doelpunten, of aanbevelingen doen op basis van programmavoorkeur en kijkgedrag.
Een van de Cantata-bijdrages aan consumentenmultimedia is een door Philips ontwikkelde interactieve tv die de inhoud van het audio- en beeldmateriaal interpreteert.
De analyse gaat in twee stappen. Eerst segmenteert het systeem de losse scènes, waarbij het sport en nieuws onderscheidt van andere inhoud zoals de programma-intro en reclamespots. Vervolgens detecteert het de hoogtepunten. Om de sport- en nieuwsscènes te onderscheiden, kijkt het systeem in het videosignaal naar kenmerkende eigenschappen. Zo is in een voetbalscène de kleur groen dominant en volgt een nieuwsitem op een of twee nieuwslezers die op hun plaats blijven. Voor het detecteren van de hoogtepunten wordt niet alleen de video maar ook de audio gebruikt. Zo zal na een doelpunt het karakteristieke geluid klinken van juichend publiek en de commentator. Nieuwsberichten worden altijd gescheiden door korte momenten van stilte. De audioanalyse gebeurt in het frequentiedomein dat al aanwezig is in de gecodeerde datastroom (AC3 of MP3), waardoor het algoritme geschikt is voor home-entertainmentsystemen met relatief weinig rekenkracht.
Armen omhoog
Beveiligingsbeambten in meldkamers moeten een groeiend aantal videokanalen in de gaten houden, terwijl we van hen verwachten dat ze hun werk naar behoren blijven uitvoeren. Zelfs voor een getraind persoon is het echter onmogelijk om langer dan twintig minuten geconcentreerd te werken. Cantata heeft bijgedragen aan het geautomatiseerd screenen van video door gespecialiseerde algoritmes te ontwikkelen die op de achtergrond alle binnenkomende video analyseren en risicoschattingen geven.
Concreet heeft het projectteam een demonstratieproduct afgeleverd dat met diverse camera’s een scène realtime kan analyseren. Deelbeslissingen uit de camera’s combineert het daarbij tot robuuste beslissingen. De analyse van de systeemeisen voor multivideo in Cantata heeft geresulteerd in een nieuw prototype hardwareplatform en een videosoftwareraamwerk dat de resources van de hardware in de gaten kan houden. Het raamwerk wordt daarmee een integraal deel van de producten en niet zomaar een tussenlaag om sneller een applicatie te kunnen ontwikkelen.
VDG Security uit Zoetermeer heeft in het Cantata-project een intelligente surveillancecamera ontwikkeld die geavanceerde videoanalyse koppelt aan moderne videocompressie.
VDG Security heeft binnen Cantata een intelligente surveillancecamera ontwikkeld die geavanceerde videoanalyse koppelt aan moderne videocompressie die stromende beelden over het internet ondersteunt. Voor de hardwarearchitectuur heeft het Zoetermeerse bedrijf in samenwerking met Prodrive een programmeerbare oplossing gekozen die goed past bij de videoanalysealgoritmes die het zelf heeft ontworpen met het oog op complexiteit en systeemgedrag. Deze aanpak heeft geresulteerd in realtime draaiende prototypes. De gebruikte firmware is een uitgeklede versie van het Cantata-raamwerk, toegespitst op de ontworpen hardware.
Cantata heeft ook geleid tot een verzameling algoritmes waarmee op een robuuste manier het postuur van mensen is te herkennen en afwijkend gedrag is te detecteren en te interpreteren. De Video Coding and Architectures-groep van de TUE-faculteit Elektrotechniek heeft deze set gebruikt in een experimenteel systeem om een bankoverval te herkennen. De oplossing bestaat uit verschillende softwarecomponenten, in een architectuur die de TUE-groep System Architecture and Networking bij Wiskunde en Informatica in de basis heeft ontworpen en die Logica uiteindelijk heeft gerealiseerd.
Het systeem detecteert eerst de personen in de bewakingsvideo door een bewegingsanalyse uit te voeren op de pixels. Dan volgt het de bewegende objecten in opeenvolgende beelden, waarna het postuur wordt herkend. De gevonden personen zet het systeem om in eenvoudige modellen waarmee het sneller kan redeneren over hun gedrag. Na deze omzetting classificeert het dat gedrag in basisacties, zoals staan, lopen, wijzen, hurken of armen omhoog. Het tijdsgedrag van elke persoon legt het vast in de volgorde van de herkende acties. Zo is iedere belangwekkende gebeurtenis te modelleren als een sequentie van gedragingen, al of niet in interactie met andere individuen. Bedreigende situaties of hurkhoudingen kunnen bijvoorbeeld wijzen op een bankoverval.
Binnen Cantata ontwikkelde softwaretools ondersteunen de radioloog bij de analyse van CT-beelden.
Het Cantata-project heeft veel aandacht besteed aan realtime-eisen voor surveillance. Veel algoritmische functies zijn ontworpen op efficiëntie om tijdkritieke operatie te realiseren. De gebruikte modelvorming in videoanalyse kan helpen bij robuuste gedragsanalyse en het betrouwbaar redeneren voor snelle besluitvorming, wat in tijdgebonden surveillance onmisbaar is.
Computergestuurde diagnose
Longtrombose in een ver stadium en daarbij optredende bloedvatblokkades (embolieën) vormen een serieus gezondheidsprobleem voor ongeveer tweeënhalf miljoen mensen in de EU en de VS. In een derde van de gevallen leiden de complicaties van deze ziekte tot de dood. Het tijdig vinden van een longembolie is bijzonder moeilijk. Tijdig betekent hier dat een geschikte therapie de kans op overlijden verlaagt tot onder de 10 procent. Multidetectorcomputertomografie (MDCT) heeft de diagnose drastisch verbeterd, niet alleen direct door snelle herkenning van een embolie, maar ook door een alternatieve diagnose te stellen wanneer een bloedvatblokkade onwaarschijnlijk is.
MDCT is snel en patiëntvriendelijk, maar de radioloog moet wel honderden beelden nagaan. Dit is een tijdrovend proces, dat vaak tot fouten leidt. Binnen Cantata ontwikkelde softwaretools verlenen assistentie door een deel van de diagnose op een acceptabele manier te kwantificeren. De gereedschappen detecteren automatisch een longembolie. Daarnaast gebruiken ze hun kennis van de content om de interface naar de gebruiker te vereenvoudigen. Ook is het mogelijk om de medische gegevens in verliesvrij gecomprimeerde vorm over te dragen aan een andere specialist. Verschillende Nederlandse ziekenhuizen hebben al een klinische evaluatie uitgevoerd van dergelijke computergestuurde diagnose en Philips Healthcare heeft inmiddels de eerste computergestuurde systemen voor de detectie van longembolieën op de markt geïntroduceerd.
Egbert Jaspers is directeur van Vinotion. Hij was projectleider van Cantata. Rick Koeleman is video- en camera-architect bij VDG Security. Peter de With is vicepresident videotechnologie bij Cyclomedia en parttime hoogleraar aan de TU Eindhoven. Hij was een van de grondleggers van Cantata.
Een deel van dit artikel is al eerder gepubliceerd in het Itea 2 Magazine na een interview met de auteurs.
Egbert Jaspers, Rick Koeleman en Peter de With
