Sicurezza e Giustizia

IMAGE/VIDEO FORENSICS: THEORETICAL BACKGROUND, METHODS AND BEST PRACTICES – Part one: Can we trust Images and Videos?

by Fausto Galvan and Sebastiano Battiato

From the beginning of this century, Image/Video Forensics experts faced the need to extract the largest number of information from a digital visual content, developing a plethora of methods and algorithms. These approaches, which may concern the authentication of images or videos, the identification of the device in which the visual data was originated, or the alterations to which the document has been subjected, find applications both in the civil and criminal context. In a series of three papers, we provide first an introductory part about the powerful impact of images and videos in today’s reality, followed by a section where we highlight the differences between the analog and digital age in the formation of an image. Then we will define what is a digital evidence, and we will introduce Image/Video Forensics as a branch of the forensic sciences, highlighting its potential and limits. In the following, we will examine in detail some methods allowing to retrieve information from images when they are not readily available, and finally will provided a list of free and non-free software to face the daily challenges coming from processing images and videos for forensic purposes. The work ends with a list of publications containing the Best Practices in the field.

pdf-icon

 


 

1- Introduction

If it is true that “a picture is worth a thousand words” (Brisbane, 1911), nowadays our whole life is becoming increasingly more reliant upon images. Virtually all our visual memories are stored in real-time in our devices, uploaded in the cloud (often without the user realizing it), and possibly shared through the web. The amount of multimedia data created each day on the Internet is massive and impressive. According to (Schultz, 2017), in 2017 more than 4 million hours of content have been uploaded to Youtube, with users watching 5.97 billion hours of Youtube videos, 200,000,000 photos have been uploaded on Facebook and 67,300,000 pictures have been posted on Instagram. This enormous pervasiveness of images has a lot of consequence in all the aspects in our everyday life. How many times we form our own conviction in mind about an event, simply looking at the relative images or footages presented to us by the media. In most of the cases simply there is no time to investigate if a visual information is true or false, so people simply trust what sometimes is a fake. The danger in this behavior in that, once an opinion is rooted in this way, is really difficult to remove it (Nash, Wade and Lindsay, 2009 – Sacchi, Agnoli and Loftus, 2007).
The lack of human ability to distinguish between tampered and original images (Schetinger, Oliveira, da Silva and Carvalho, 2015), helps to increase the risk for mankind to be fooled by malicious agents. In this complex environment, the overall feeling for the Integrity Verification in Multimedia is constantly increasing (Battiato, Giudice and Paratore, 2016).
In the forensics scenario, a natural consequence of this pervasiveness of visual sources of what is called “liquid knowledge” is that very often one (or more) images or videos could become fundamental evidences in a large and heterogeneous set of legal trials. Like all the finds used as evidence, images and footage become valid, and therefore admissible, only if they had been acquired, processed and stored according with the required procedures. One of the main steps in this pipeline is devoted to ascertain the originality of the evidence. But how can we trust images or footage? How can we be sure about the source from where they are supposed to come, and most of all, how can we prove that the visual content that we would like to validate as an evidence (possibly a primary one) has not been altered?

2. The evolution of Image/Video Tampering
Despite to what one might imagine, the first documented examples of image manipulation (Figure 1) date back to 1860, only a few decades after the birth of photography. Although the reasons of this photo-editing have never been clarified, experts think that this first version of “cut-and-paste” forgery has been motivated by the best physical appearance of the politician John Calhoun compared to the one of the most famous colleague. From that episode, there had been thousands of cases in which more or less important images have undergone to substantial changes. Figures 3-6 also show some examples of “photo tampering throught history”, as it is called the exhaustive and updated list of examples, spread in different historical periods, available on the famous website http://pth.izitru.com/, from which all these samples were taken.

During the 2004 Presidential primaries, as Senator Kerry was campaigning for the Democratic nomination, the image at the left of Figure 5 appeared, showing Senator John Kerry and Jane Fonda sharing a stage at an anti-war rally. Its caption was: “The Actress and anti-war activist Jane Fonda speaks to a crowd of Vietnam as activist and former Vietnam Vet John Kerry (LEFT) listens and prepares to speak next concerning the war in Vietnam (AP Photo)”. The picture was later discovered to be a fake, composed by the picture of Senator Kerry captured in June 1971, while he was preparing to give a speech at the Register for Peace Rally in Mineola, New York, merged with the one of Jane Fonda, shooted while she was speaking at a political rally in Miami Beach, Florida in August 1972. The aftermath on the campaign of the candidate Kerry have been enormous.

In the very first hours after Osama bin Laden was killed by US forces in Pakistan on May 2nd, 2011, the image on the right of Figure 6 was shown on Pakistani television, and immediately published by the British newspaper Mail, Times, Telegraph, Sun, and Mirror. Even in this case, the photo is a composite of two separate images, one of an alive Bin Laden, and one of another person.

In a shocking TED speech titled “Fake videos of real people — and how to spot them”, last April Supasorn Suwajanakorn, an American expert of Computer Vision and AI, presented his work (Supasorn, Seitz and Kemelmacher-Shlizerman, 2017) about how producing an artificial video (in their example a footage with President Obama pronouncing a speech) starting only from an audio track, and footages of the subject taken in other moments of his life. By modeling the mouth shape at each time instant, they synthesize high quality mouth texture, and composite it with proper 3D pose matching to change what he appears to be saying in a target video to match the input audio track. Their approach is then compared (see Figure 7) with the real video from where the audio was extraxted. The results are amazing.

How different the outcomes of John Kerry’s election campaign would have been without the circulation of the above Figure 5? What the social and geopolitical consequences of the relationships with Muslim people would have been without the appearance of Figure 6, which is still circulating on the web? What could happen if a fake video of the current U.S. president, artificially built with the Neural Network approach seen in Figure 7, announced an unexpected change on the U.S. economic policy? Nobody really knows the answers, but the thing that remains is that, still and more than ever, the verification of the authenticity of images and videos is an inescapable requirement. As we will see in the following, this is one of the answers given by some Image/Video Forensics approaches. ©

CITATIONS
Arthur Brisbane: Speakers give sound advice. Syracuse Post Standard, 18, 1911.
Jeff Schultz (10/10/2017) How Much Data is Created on the Internet Each Day? Retrieved from https://blog.microfocus.com/how-much-data-is-created-on-the-internet-each-day/.
Robert A.. Nash, Kimberley A. Wade, and D. Stephen Lindsay: Digitally manipulating memory: Effects of doctored videos and imagination in distorting beliefs and memories. Memory & Cognition, 37(4):414–424, 2009.
Dario LM Sacchi, Franca Agnoli, and Elizabeth F. Loftus: Changing history: Doctored photographs affect memory for past public events. Applied Cognitive Psychology, 21(8):1005–1022, 2007.
Victor Schetinger, Manuel M Oliveira, Roberto da Silva, and Tiago J Carvalho: Humans are easily fooled by digital images. arXiv preprint arXiv:1509.05301, 2015.
Raymond Wardell: Short cuts to photo-retouching for commercial use ed. The House of Little Books ASIN: B0007E33M6, 1946.
Suwajanakorn, Supasorn, Steven M. Seitz, and Ira Kemelmacher-Shlizerman: Synthesizing obama: learning lip sync from audio. ACM Transactions on Graphics (TOG) 36.4 (2017): 95.
Sebastiano Battiato, Oliver Giudice, Antonino Paratore: Multimedia forensics: discovering the history of multimedia contents. In Proceedings of the 17th International Conference on Computer Systems and Technologies 2016, pp. 5–16, 2016.

 


Altri articoli di Sebastiano Battiato

RICOSTRUZIONE DI EVENTI E DI DINAMICHE ATTRAVERSO S.U.M.O., UN AVANZATO TOOL DI SIMULAZIONE DEL TRAFFICO URBANO
di Sebastiano Battiato, Oliver Giudice, Antonino Barbaro Paratore (N. III_MMXVIII)
L’ausilio di strumenti di simulazione informatica permette una più completa e per quanto possibile esaustiva valutazione degli eventi grazie alla capacità intrinseca di tali strumenti di generare automaticamente centinaia di migliaia di eventi, al variare di tutte le combinazioni di variabili e situazioni incognite. A tale scopo in questo articolo si presenta il software opensource “Simulation of Urban Mobility” (SUMO).
ANALISI VIBRAZIONALE AVANZATA (AVA): UN ALGORITMO INNOVATIVO PER L’ESECUZIONE DI INTERCETTAZIONI AMBIENTALI
di Francesco Rundo, Sebastiano Battiato, Sabrina Conoci e A. Luigi Di Stallo (N. I_MMXVIII)
Decreto legislativo 29 dicembre 2017, n. 216. Con decorrenza Gennaio 2018, entra in vigore la riforma della disciplina delle intercettazioni attuata con il decreto legislativo 29 dicembre 2017, n. 216: “Disposizioni in materia di intercettazioni di conversazioni o comunicazioni, in attuazione della delega di cui all’articolo 1, commi 82, 83 e 84, lettere a), b), c), d) ed e), della legge 23 giugno 2017, n. 103”. La riforma rafforza il ruolo delle intercettazioni come indispensabile strumento di indagine ed investigazione forense. Nell’ambito di questa riforma, gli autori intendono illustrare nel presente articolo, una innovativa pipeline di elaborazione dati che consente, sotto opportune ipotesi, la ricostruzione delle conversazioni tra due o piu’ soggetti, dal solo filmato video (a risoluzione e frame-rate tipici di uno dispositivo di acquisizione video di ultima generazione) senza avere accesso alla relativa traccia audio associata.
SISTEMI “POINT OF CARE” PER LE INDAGINI GENETICHE IN AMBITO FORENSE
di Sabrina Conoci , Salvatore Petralia, Francesco Rundo, Sebastiano Battiato (N. I_MMXVII)
Un’attenta disamina dei processi penali più recenti (alcuni dei quali divenuti “mediatici”) ha evidenziato il ruolo dirompente dell’analisi genetica e bio-molecolare nelle indagini investigative eseguite dagli inquirenti. Quando viene richiesta la repertazione di campioni biologici, le procedure adottate per il campionamento e successiva analisi delle tracce, devono rispettare standard di altissimo rigore scientifico grazie ai quali è poi possibile garantire l’accuratezza, la ripetibilità e l’assenza di contaminazione dovuta ad una non conforme procedura di repertazione o ad una errata catena di custodia del reperto. Nell’articolo che segue, gli autori illustreranno le potenzialità dei sistemi c.d. “Point of Care”(PoC) genetici” sia in riferimento all’indagine genetica in ambito forense che, in generale, come strumento per l’analisi in loco di reperti biologici rinvenuti nella scena di un crimine. Il “PoC genetico” può essere definito come sistema in grado di eseguire il processo diagnostico sample-in-answer-out senza intervento di un complesso laboratorio analitico. Esso è costituito in concreto dalla combinazione tra un sistema di detezione per il riconoscimento della composizione genetica e bio-molecolare del campione, da un sistema di trasduzione ottica od elettrica del segnale e da un sistema di post-processing dei dati, che si avvale di algortimi di interpretazione “immediata” delle rilevazioni acquisite, le quali produrrano in concreto report sulla profilazione del DNA campionato.
LA STIMA DELL’ERRORE NELLA DETERMINAZIONE DELL’ALTEZZA DI UN SOGGETTO RIPRESO DA UN SISTEMA DI VIDEOSORVEGLIANZA
di Sebastiano Battiato e Giovanni Tessitore (N. IV_MMXVI)
La diffusione dei sistemi di video-sorveglianza pubblici e privati rende frequente oggigiorno il caso in cui gli autori di un reato siano ripresi dalle telecamere di tali sistemi. La misura dell’altezza può essere un valido strumento per restringere la cerchia dei sospettati ed aiutare ad identificare i soggetti coinvolti. La stima dell’errore di misura deve sempre accompagnare le misure effettuate.
MEDICAL IMAGE ENHANCEMENT NEI PROCEDIMENTI GIUDIZIARI MEDICO-LEGALI IN AMBITO ONCOLOGICO
di Francesco Rundo, Edoardo Tusa, Sebastiano Battiato (N. I_MMXVI)
La professione medica e sanitaria riveste un ruolo cruciale nel tessuto sociale ed economico del nostro Paese, attese peraltro le numerose vicende giudiziarie che hanno costretto, non da ultimo, il legislatore ad innovare nuovamente il quadro normativo che regolamenta e disciplina le azioni giudiziarie per errore medico. In questo quadro piuttosto complesso in cui si contrappongono gli interessi dei pazienti a quelli della professione medico-sanitaria è certamente attuale la figura del consulente tecnico (sia di parte che d’ufficio) che nei contenziosi medico-legali ha l’arduo compito di valutare con giudizio e rigore scientifico l’operato del professionista medico chiamato a rispondere del proprio operato. L’obiettivo del consulente tecnico è, dunque, quello di indirizzare opportunamente l’adito giudicante al fine di discriminare con ragionevole certezza l’errore volontario, doloso o colposo commesso dal professionista per imperizia, negligenza, superficialità ovvero per mancata adesione alle linee guida adottate dalla comunita scientifica, dagli scenari in cui nonostante il risultato avverso per il paziente questo non sia imputabile al professionista medico che ha , dunque, esercitato la sua professione al meglio delle proprie possibilità difettando, in concreto, il c.d. nesso eziologico. Nell’articolo proposto si mostreranno, attraverso la presentazione di un caso-studio in ambito oncologico, gli enormi vantaggi che la costituzione di un team di consulenza multi-disciplinare composto oltre che da medici, anche da ingegneri e matematici, può apportare nei contenziosi medico-legali sia in ambito civile che penale. Nello specifico, il team multi-disciplinare costituito dagli autori (medico-legale, ingegnere, informatico, matematico) attraverso un’analisi rigorosa delle immagini mediche riferite al caso presentato, messe peraltro in relazione con le linee guida adottate dalla comunita medica, ha sensibilmente elevato il livello di accuratezza scientifica della valutazione medico-legale del caso esaminato con l’ovvia conseguenza in relazione al peso probatorio che una tale analisi avrà in sede giudiziaria qualora il paziente decida di adire le vie legali.
VERIFICA DELL’ATTENDIBILITÀ DI UN ALIBI COSTITUITO DA IMMAGINI O VIDEO
di Sebastiano Battiato e Fausto Galvan (N. II_MMXIV)
Tra le conseguenze che l’informatizzazione globale ha sul mondo delle investigazioni, vi è il sempre maggior utilizzo di strumenti digitali per la creazione di alibi. In questo contesto, le immagini e/o i video opportunamente modificati sono molto sfruttati. Al fine di rivelare le manipolazioni dei documenti visivi, oltre ai metodi forniti dalla Image Forensics “classica” vengono qui considerati, in una visione più globale del fenomeno falsificatorio, gli approcci che analizzano la possibile presenza di falsi originali. Alcuni esempi tratti da casi reali completano la trattazione.
RICOSTRUZIONE DI INFORMAZIONI 3D A PARTIRE DA IMMAGINI BIDIMENSIONALI
di Sebastiano Battiato e Fausto Galvan ( n.IV_MMXIII )
Tra gli strumenti di indagine disponibili oggigiorno, cominciano a farsi strada anche metodi che permettono di estrapolare da una (o più) immagini informazioni relative alle dimensione di oggetti e/o persone fotografate. Alcuni di questi algoritmi rendono possibile ricostruire l’intera scena 3D ripresa dalla camera al momento dello scatto. Dopo una breve introduzione alla teoria matematica di riferimento verranno brevemente elencati alcuni risultati di rilievo già utilizzati ampiamente in ambito investigativo.
LA VALIDITÀ PROBATORIA DELLE IMMAGINI E DEI VIDEO
di Sebastiano Battiato e Fausto Galvan ( n.II_MMXIII )
Il numero di immagini in circolazione sul web, e non solo, è in costante aumento. Questo scenario ha un inevitabile riscontro in ambito forense: è sempre più improbabile che un evento delittuoso possa consumarsi senza che la scena del crimine o parte di essa, oppure l’autore del fatto, non vengano ripresi da un sistema di videosorveglianza. La relativa facilità con cui al giorno d’oggi l’uso di software di fotoritocco o di editing video, anche di facile reperimento, permette di “comporre” una immagine o “montare” una scena alterandone i contenuti originari impone che l’acquisizione ed il trattamento di immagini e video digitali sia regolato da “best practice” di riferimento.

 


Altri articoli di Fausto Galvan

VERIFICA DELL’ATTENDIBILITÀ DI UN ALIBI COSTITUITO DA IMMAGINI O VIDEO
di Sebastiano Battiato e Fausto Galvan (N. II_MMXIV)
Tra le conseguenze che l’informatizzazione globale ha sul mondo delle investigazioni, vi è il sempre maggior utilizzo di strumenti digitali per la creazione di alibi. In questo contesto, le immagini e/o i video opportunamente modificati sono molto sfruttati. Al fine di rivelare le manipolazioni dei documenti visivi, oltre ai metodi forniti dalla Image Forensics “classica” vengono qui considerati, in una visione più globale del fenomeno falsificatorio, gli approcci che analizzano la possibile presenza di falsi originali. Alcuni esempi tratti da casi reali completano la trattazione.
RICOSTRUZIONE DI INFORMAZIONI 3D A PARTIRE DA IMMAGINI BIDIMENSIONALI
di Sebastiano Battiato e Fausto Galvan ( n.IV_MMXIII )
Tra gli strumenti di indagine disponibili oggigiorno, cominciano a farsi strada anche metodi che permettono di estrapolare da una (o più) immagini informazioni relative alle dimensione di oggetti e/o persone fotografate. Alcuni di questi algoritmi rendono possibile ricostruire l’intera scena 3D ripresa dalla camera al momento dello scatto. Dopo una breve introduzione alla teoria matematica di riferimento verranno brevemente elencati alcuni risultati di rilievo già utilizzati ampiamente in ambito investigativo.
LA VALIDITÀ PROBATORIA DELLE IMMAGINI E DEI VIDEO
di Sebastiano Battiato e Fausto Galvan ( n.II_MMXIII )
Il numero di immagini in circolazione sul web, e non solo, è in costante aumento. Questo scenario ha un inevitabile riscontro in ambito forense: è sempre più improbabile che un evento delittuoso possa consumarsi senza che la scena del crimine o parte di essa, oppure l’autore del fatto, non vengano ripresi da un sistema di videosorveglianza. La relativa facilità con cui al giorno d’oggi l’uso di software di fotoritocco o di editing video, anche di facile reperimento, permette di “comporre” una immagine o “montare” una scena alterandone i contenuti originari impone che l’acquisizione ed il trattamento di immagini e video digitali sia regolato da “best practice” di riferimento.