With the tremendous increase of video recording devices and the resulting abundance of digital video, finding a particular video sequence in ever-growing collections is more and more becoming a major challenge. Existing approaches to retrieve videos mostly still rely on text-based retrieval techniques to find desired sequences. With vitrivr, we present you a fully working system for indexing and retrieving video data based on the content.
Architecture
The following image shows the overall architecture of vitrivr. vitrivr is composed of Cineast and ADAMpro. Cineast is our retrieval engine responsible for performing the shot segmentation, extracting features from the video collection and generating the query. The query is then processed by ADAMpro which is able to return the k nearest neighbors to a query in a very efficient way. Cineast then combines the results from various queries to one coherent result set.
Components
Cineast, ADAMpro and the vitrivr UI are open source and we are actively developing to improve the code and extend the functionalities.
vitrivr UI
The browser-based vitrivr UI offers multiple query modes to facilitate retrieval.
Cineast
Cineast is a multi-feature sketch-based content video retrieval engine. It is capable of retrieving video sequences based on edge or color sketches and sketch-based motion queries.
ADAMpro
ADAMpro is a database system to store and retrieve multimedia data. It provides Boolean retrieval and similarity search and makes use of a various index structures for efficient retrieval.
vitrivr in the media
(29.07.2016)
Lauter bekannte Gesichter
Nichts macht einen Menschen unverwechselbarer als sein Gesicht. Software-Algorithmen nutzen diese Einzigartigkeit, um Personen zu identifizieren. Sie arbeiten inzwischen so zuverlässig, dass sie die Strafverfolgung stark erleichtern könnten – aber auch das Ausspähen unbescholtener Bürger.
(06.07.2016)
Suchmaschine für Skizzen
Informatiker der Universität Basel haben ein Verfahren entwickelt, das eine Suche in Bild- und Videodatenbanken mithilfe von Handskizzen ermöglicht.
(20.06.2016)
Videos automatisch durchforsten
Smartphone-Kameras sind immer dabei und es wird ständig geknipst und gefilmt. Doch wie findet man später ein Video wieder, wenn man sich nur noch an das Motiv erinnert, nicht aber daran, wann und wo es aufgenommen wurde? Forscher der Uni Basel haben eine Bild- und Videosuche entwickelt, die dieses Problem lösen soll – mithilfe von Skizzen.
(03.06.2016)
Online-Suche mittels Skizzen
Eine Skizze sagt mehr als tausend Worte – deshalb haben Informatiker der Uni Basel eine Suchfunktion für Bilder entwickelt, in der man das Gesuchte von Hand auf dem Tablet oder Smartphone skizziert. Anschliessend durchwühlt das Programm ganze Bilddatenbanken nach vergleichbaren Mustern und zeigt die ähnlichsten Bilder an. Die Anwendung eigne sich ausserdem dazu, um in Videos einzelne Sequenzen zu suchen, schreibt die Uni Basel. Damit liessen sich zum Beispiel bestimmte Bewegungsmuster in Sportvideos entdecken. Ihren Programmiercode haben die Basler Forscher nun ins Internet gestellt. So ermöglichen sie Informatikern aus der ganzen Welt, die Anwendung weiterzuentwickeln.
(31.05.2016)
In a New Method for Searching Image Databases, a Hand-drawn Sketch Is all it Takes
Computer scientists at the University of Basel have developed a new method for conducting image and video database searches based on hand-drawn sketches. The user draws a sketch on a tablet or interactive paper, and the system searches for a matching image in the database. The new method is free to access for researchers.
(31.05.2016)
In a New Method for Searching Image Databases, a Hand-drawn Sketch Is all it Takes
Computer scientists at the University of Basel have developed a new method for conducting image and video database searches based on hand-drawn sketches. The user draws a sketch on a tablet or interactive paper, and the system searches for a matching image in the database. The new method is free to access for researchers.
Google Summer of Code
vitrivr has participated to Google Summer of Code 2016.
Contact us
We have set up a mailing list for the vitrivr project. You can use the mailing list for questions regarding the code, bugs, etc. Note that the mailing list is publicly visible.