WO2009031923A1 - Method for indexing objects on digital images and method for searching objects on digital images - Google Patents

Method for indexing objects on digital images and method for searching objects on digital images Download PDF

Info

Publication number
WO2009031923A1
WO2009031923A1 PCT/RU2008/000434 RU2008000434W WO2009031923A1 WO 2009031923 A1 WO2009031923 A1 WO 2009031923A1 RU 2008000434 W RU2008000434 W RU 2008000434W WO 2009031923 A1 WO2009031923 A1 WO 2009031923A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
objects
images
similarity
series
Prior art date
Application number
PCT/RU2008/000434
Other languages
French (fr)
Russian (ru)
Inventor
Alexander Anatolevich Yudashkin
Alexey Vladimirovich Maslennikov
Sergey Alexandrovich Kolpaschikov
Ivan Alexandrovich Danilushkin
Original Assignee
Obschestvo S Ogranichennoy Otvetsvennostyu, 'rekogmission'
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Obschestvo S Ogranichennoy Otvetsvennostyu, 'rekogmission' filed Critical Obschestvo S Ogranichennoy Otvetsvennostyu, 'rekogmission'
Publication of WO2009031923A1 publication Critical patent/WO2009031923A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the invention relates to systems for automatically searching for objects in images contained in files of various graphic formats located on a user's local computer or on public resources, including on the Internet.
  • the proposed method can be widely used in search engines, as well as in digital photo album management systems.
  • two main tasks are distinguished: searching for faces in an image and searching for images containing similar objects.
  • the prototype focuses on the search for human images.
  • the following objects can be distinguished and analyzed on each image: a person’s face, text, clothes.
  • the work of the prototype consists in sequentially performing for each image the following steps: detection of objects in the image; performance recognition of found objects depending on their type; the formation of identification information for each object.
  • identification information can be used to organize groups of images containing similar faces.
  • a vector of the found object is formed, which is subsequently included in the identification information of the object and can be used to search for similar persons.
  • the module of the difference of two vectors Images can be grouped according to the date and time the images appeared, as well as the place where the images appeared. This information is stored as metadata in some image files created using modern digital cameras.
  • the disadvantages of the prototype include the use for recognition of parts of the face and hairstyles, which worsens the effectiveness of the search, since one person with different hairstyles may be mistakenly identified by the system as two different people.
  • the prototype provides a low speed image search, because to find images, containing similar objects, it is necessary to compare the identification information of all images available to the system.
  • the prototype does not in any way take into account the angle of the face (turning the neck and tilting the head forward and back) in the photograph, while changing the angle leads to distortion of the images of the faces, significantly worsening the recognition results and leading to an erroneous determination of the faces of one person in different angles as faces of different people.
  • the technical result is achieved by the fact that in the method of indexing objects on digital images, in which the digital representation of the image is analyzed in order to determine the areas of the location of objects, the presence of characteristic features reveals areas containing objects, areas containing objects are compared with a basic set of typical images of objects and from images from the basic set form a series of similarities in descending degree of similarity to the presented image, which is used as an identifier for organizing the search procedure.
  • Searched objects are human faces.
  • the desired image of the object is presented, the specified similarity series is generated for the presented object, which is used when searching for images similar to the image of the presented object in the database, and as a result search form a list of images that contain images of objects with similarity rows close to the similarity series of the presented image.
  • FIG. 1 shows an algorithm for searching for faces in an image.
  • FIG. 2 presents an algorithm for forming a list of groups
  • FIG. 3 shows the operation of the method, including actions in accordance with both algorithms.
  • a separate record is created containing: a series of similarities and a series of additional features that allow you to set additional search criteria that contain information about the position of the found face in the image and / or information about the angle of the face in the image and / or the characteristics of the image file containing the found object - information about the location of the image file and / or the number of objects found in the image and / or image type and / or image creation date and other metadata.
  • the search for image areas containing human faces can be performed in various ways, for example, by finding areas of the image with the predominant color of the human skin, followed by analysis of the border shape of the found image.
  • an uneven grid step is used for image analysis: in areas of images where the face location is most likely, a smaller grid step is chosen for a more detailed analysis.
  • the image areas remaining after screening are scaled so that all faces become the same size. Then, a check is carried out for the presence of characteristic features of the face, for example, the eyes. For this, the area of the most probable eye arrangement is divided into several overlapping sections. All sections go to the input of an artificial neural network, which determines the area that is most similar to some reference pattern of the eye.
  • a method for constructing an artificial neural network capable of correlating the presented image with an existing set of prototypes is described in (Yudashkin A.A. “Bifcations of stationary solutions in a synergetic neural network and control of pattern recognition” // Autom. No.1 1, 1996, p. 139 -147).
  • the described operation is performed for the left and right eye. As a result, the positions of the centers of the pupils of the eyes are determined. These data are used to normalize the size of faces before further processing. The normalization of the size of faces is carried out in such a way that the distance between the centers of the pupils of the eyes becomes equal to some predetermined value.
  • Each face image normalized by the distance between the eyes enters the input of an artificial neural network, which finds the most similar object from the reference set, which consists of positive examples of faces and negative examples of objects that are obviously not persons. Depending on which group the winner belongs to, it is determined whether the presented image is really a person.
  • the artificial neural network used here is characterized in that there is no internal competition between the objects of the reference set belonging to the same group.
  • Each found face image is fed to the input of an artificial neural network, which arranges in a series of similarities in descending order of similarity a basic set of face images.
  • an artificial neural network which arranges in a series of similarities in descending order of similarity a basic set of face images.
  • the principles of the functioning of a neural network are described, for example, in (Yu.S. Kornev, N.A. Filippov, A.A. Yudashkin, “Adaptive algorithm for localizing faces in color photographs)) // Bulletin of the Samara state tech. University, Series “Technical Nikeki", Vol. N ° 32, 2005).
  • a unique index is generated containing: name and location of the image file containing the image; coordinates of the centers of the pupils of the eyes; angles of rotation of the neck and tilt of the head; a number of similarities in the numbers of images of the basic set.
  • indices As a result of processing all the images available to the program, a linear list of indices will be generated. In addition to the linear list of indices, they are combined into groups by similarity series. As a result of the analysis of indices, similarity series are formed corresponding to the centers of groups. Each group includes indices with similarity series, coinciding with or close to the similarity series of the center of the group. To determine the proximity of similarity series, the concept of distance between the series is introduced by adding the position differences of each of the basic images in the compared series. Summation is carried out taking into account the weights of the positions of the basic images in a number of similarities. Position weight decreases with increasing position number.
  • the face image is located, scaled, a series of similarities is formed and presented to the search by the list of group center indices.
  • the search returns a group, a row the similarities of which in the best way coincides with the series of similarities of the presented person, i.e. the distance between the rows is minimal. If the distance between the rows is less than a certain threshold, then as a search result, all images that are referenced by the face indices contained in the found group are returned. Otherwise, the search result is negative and the presented person is not in the processed set of images.
  • the difference between the method is that as a characteristic of the image of the face, a series of similarities is used, formed from the images of the basic set, which is used to build the index. At the same time, when forming a series of similarities, a direct associative comparison of the face image with the standards from the basic set is used, and not a comparison of the individual features of these standards.
  • areas containing faces are additionally checked by assigning them to one of two groups - “faces” and “other objects”. Assignment is performed by finding the most similar image in a joint set of images of two groups. It does not require exact coincidence with one of the images of the group, it is enough general similarity with the images of the group.
  • Improving the reliability of recognition is achieved by setting the correspondence between the series of images for persons depicted in full view, with neck twists and tilts of the head, which ensures the correct assignment to the same group of persons of the same person, depicted from different angles.
  • the search speed will be increased primarily due to the use of similarity groups, due to which the number of comparison operations is reduced compared with the case when the comparison is carried out on all indexes of facial images.
  • the search for faces in the image is performed.
  • the search can be implemented by highlighting areas with skin color and determining the shape of their borders. Fragments having a shape close to oval are accepted as potential face images and the coordinates of the rectangles describing the found fragments are transferred to the next processing stage.
  • Each area that potentially contains a face is checked for the presence of characteristic features of the face (operation N ° 30).
  • the area is scaled to bring it to a single size, and on it the positions of the location of the eyes are searched. If the eyes are not found in the image or the number of eyes is incorrect or their relative position does not correspond to reality (for example, overlap), then the image is not perceived as a face.
  • the coordinates of the eyes are more accurately scaled and the image is rotated so that the eyes are at the same level and the distance between the pupils of the eyes is the same.
  • a previously found face reduced to a uniform scale is fed to the input of a neural network, which, using a reference set of images, determines whether the image belongs to a group of face images or to a group of foreign objects. Images assigned to the group of images of faces go to the next stage.
  • the position of the eyes relative to the area of the face is determined.
  • the direction and angle of rotation of the neck are determined by the displacement of the eyes relative to the vertical axis of symmetry, and the tilts back and forth are determined by the change in the proportions of the face. Further, the coordinates of the fragment and the characteristics of the face angle are transferred to the next stage.
  • the list of groups is formed in accordance with the algorithm shown in Fig. 2.
  • the algorithm for generating a list of index groups consists of the following operations.
  • a group is searched with a series of similarities closest to the similarity series of the index.
  • the proximity of any pair of rows is estimated by the distance between the rows, which is calculated as follows.
  • the positions of the first row are sequentially sorted, starting from the first position.
  • the difference modulus between the position of the current base image and the position of the same base image in the second row is calculated.
  • the differences obtained for each position of the series of the difference are multiplied by the weight of the position and summed.
  • the resulting number is a characteristic of the proximity of two similarity rows.
  • the found group as a result is passed to the next stage.
  • the algorithm branches. If the value of the proximity criterion is less than the threshold value, then proceed to operation N2150. If the threshold is exceeded, the transition to operation N ° 140 will be performed.
  • a new group is created (operation Ne 140).
  • the index being processed is added to the new group; a series of similarities for the group during creation coincides with the series of the index added to it.
  • the index is added to this group (operation N ° 150), after which a series of similarities of the group is reorganized (operation N ° 160).
  • a new series of group similarity is selected so that the total value of the proximity criterion for all indices in the group has a minimum value.
  • 200 is an image of a search object
  • the image of the search object (N ° 200) is input to the algorithm for finding faces in the image. It contains areas containing images of faces (operation N ° 20), checks for the presence of faces in each of the found areas (operation N ° 30), determines the image angle (operation N ° 40), and builds a series of similarities (operation N ° 50).
  • the generated similarity series (N ° 210) is fed to the input of the group search block with the closest similarity series (operation N ° 120). If the proximity criterion satisfies a predetermined threshold value (operation N ° 130), then all images of the found group (N ° 230) are returned as the result of the algorithm. If the threshold is exceeded, a message is generated indicating the absence of the desired person (N ° 220).
  • Using the invention provides a quick search for files containing images of objects similar to the presented image or an image selected from those already found previously.
  • the present invention can be used in search engines, by analogy with a content-oriented search for textual information.

Abstract

The invention relates to systems for automatically searching objects on images contained in files of different graphical formats which are located on the local computer of a user or in public resources, including Internet. The aim of the invention is to improve recognition reliability, increase recognition speed and to simplify a process for automatically indexing graphical files. The method is based on the analysis of the image digital representation with the view to determining the position of search objects, for example human faces. The found areas of the image are investigated in order to identify the potential presence of faces on the image using characterising features thereof. The preselected areas are classified in order to conclude about the presence of the face pictures therein. The areas selected as containing the faces are normalised, scaled and produced for recognition according to the base set of common face pictures. Then, the images from the base set are sequenced into a similarity range in the descending order of similarity with the submitted picture. The thus formed similarity range is used as an identifier for organising a search process.

Description

СПОСОБ ИНДЕКСАЦИИ ОБЪЕКТОВ НА ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ И СПОСОБ ПОИСКА ОБЪЕКТОВ НА ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ METHOD FOR INDEXING OBJECTS ON DIGITAL IMAGES AND METHOD FOR SEARCHING OBJECTS ON DIGITAL IMAGES
Область техникиTechnical field
Изобретение относится к системам автоматического поиска объектов на изображениях, содержащихся в файлах различных графических форматов, расположенных на локальном компьютере пользователя или на общедоступных ресурсах, в том числе в Интернете.The invention relates to systems for automatically searching for objects in images contained in files of various graphic formats located on a user's local computer or on public resources, including on the Internet.
Предлагаемый способ может найти широкое применение в поисковых системах, а также в системах управления цифровыми фотоальбомами.The proposed method can be widely used in search engines, as well as in digital photo album management systems.
В рамках реализации системы выделяются две основные задачи: поиск лиц на изображении и поиск изображений содержащих похожие объекты.As part of the implementation of the system, two main tasks are distinguished: searching for faces in an image and searching for images containing similar objects.
Уровень техникиState of the art
Известны способы поиска и распознавания объектов на цифровом изображении с помощью выделения замкнутого контура, максимально совпадающего с границами объекта с последующим поочередным наложением шаблонов, хранящихся в памяти компьютера (см., например, патент N° RU 2250499 C1 , 17.11.2003 «Cпocoб компьютерного распознавания oбъeктoв»). Этот способ удовлетворительно работает лишь в том случае, когда на изображении расположен только один искомый объект. Наличие нескольких объектов на изображении, а также отсутствие искомых объектов вообще приводит к появлению некорректных результатов.Known methods for searching and recognizing objects in a digital image by highlighting a closed a contour that maximally coincides with the boundaries of the object, followed by alternately superimposing patterns stored in the computer's memory (see, for example, patent N ° RU 2250499 C1, November 17, 2003 "Method for computer recognition of objects"). This method only works satisfactorily when only one desired object is located on the image. The presence of several objects in the image, as well as the absence of the desired objects generally leads to the appearance of incorrect results.
Известны способы поиска объектов на цифровом изображении основанные на выделении замкнутых контуров (контуров одного цвета) на изображении с их последующим представлением в виде коэффициентов преобразования Фурье (см., например, US Patent No 6563959 B1 , 13.05. 2003, "Реrсерtuаl similагitу imаgе rеtriеvаl mеthоd"). В этом случае степень схожести двух объектов на разных изображениях определяется по ряду коэффициентов. Этот способ очень чувствителен к качеству изображения: при работе с зернистым изображением, а также при обработке изображения с большим числом мелких объектов метод затрачивает много времени на обработку изображения. Кроме того, зернистость изображения может свести на нет результаты поиска из-за усложнения характера границ и выделения зёрен в качестве отдельных объектов. Известны методы построения контентно- ориентированного индекса для организации поиска файлов различных форматов, в том числе и графических, в которых оценивается совпадение содержимого (см., например, Патент NQ WO 2005/033885 A2, 14.04.2005, "Сопtепt оriепtеd iпdех апd sеаrсh mеthоd апd sуstеm"). Недостатками таких методов, при анализе графических файлов, является отсутствие анализа изображения как такового, из-за чего изображения одного и того же объекта хранящиеся с разным масштабом будут восприниматься как совершенно разные изображения.Known methods for searching for objects in a digital image based on the allocation of closed loops (contours of the same color) in the image with their subsequent presentation in the form of Fourier transform coefficients (see, for example, US Patent No. 6563959 B1, 05/13/2003, "Certification simulated retrieval method "). In this case, the degree of similarity of two objects in different images is determined by a number of factors. This method is very sensitive to image quality: when working with a grainy image, as well as when processing images with a large number of small objects, the method spends a lot of time processing the image. In addition, the graininess of the image can negate the search results due to the complexity of the nature of the borders and the selection of grains as separate objects. There are known methods for constructing a content-oriented index for organizing the search for files of various formats, including graphic ones, in which content matching is evaluated (see, for example, Patent N Q WO 2005/033885 A2, 04/14/2005, "Optimal IPDEX APD SECARCH method apd sustem "). The disadvantages of such methods when analyzing graphic files is the lack of image analysis as such, which is why images of the same object stored at different scales will be perceived as completely different images.
Наиболее близким по технической сущности способ индексации объектов на цифровых изображениях, при котором анализируют цифровое представление изображения с целью определения областей расположения объектов, по наличию характерных признаков выявляют области, содержащие объекты (см., например, Патент NQ WO 2006/122164 A2, 16.11.2006 "Sуstеm апd mеthоd fоr епаbliпg thе usе оf сарturеd imаgеs thrоugh rесоgпitiоп").The closest in technical essence to the method of indexing objects in digital images, in which the digital representation of the image is analyzed in order to determine the location of objects, by the presence of characteristic features identify areas containing objects (see, for example, Patent N Q WO 2006/122164 A2, 16.11 .2006 "Sustem apd metod for forep thе us оf sartured images thougresogpitiop").
Прототип ориентируется на поиск изображений человека. На каждом изображении могут быть выделены и проанализированы следующие объекты: лицо человека, текст, одежда.The prototype focuses on the search for human images. The following objects can be distinguished and analyzed on each image: a person’s face, text, clothes.
Работа прототипа заключается в последовательном выполнении для каждого изображения следующих этапов: обнаружение объектов на изображении; выполнение распознавания найденных объектов в зависимости от их типа; формирование идентификационной информации для каждого объекта.The work of the prototype consists in sequentially performing for each image the following steps: detection of objects in the image; performance recognition of found objects depending on their type; the formation of identification information for each object.
Идентификационная информация в дальнейшем может быть использована для организации групп изображений содержащих похожие лица.In the future, identification information can be used to organize groups of images containing similar faces.
В процессе распознавания методом главных компонент или другим подобным методом анализа по большому обучающему набору лиц и частей лица (глаза, носы, губы, волосы и прически) формируется вектор найденного объекта, который входит в дальнейшем в состав идентификационной информации объекта и может использоваться для поиска похожих лиц. При этом в качестве меры близости двух изображений предлагается использовать модуль разности двух векторов. Изображения могут быть объединены в группы по дате и времени появления изображений, а также по месту появления изображений. Эта информация хранится в виде метаданных в некоторых файлах изображений созданных с помощью современных цифровых фотоаппаратов.In the process of recognition by the main component method or other similar analysis method for a large training set of faces and face parts (eyes, noses, lips, hair and hairstyles), a vector of the found object is formed, which is subsequently included in the identification information of the object and can be used to search for similar persons. Moreover, as a measure of proximity of two images, it is proposed to use the module of the difference of two vectors. Images can be grouped according to the date and time the images appeared, as well as the place where the images appeared. This information is stored as metadata in some image files created using modern digital cameras.
К недостаткам прототипа относится использование для распознавания частей лица и причёсок, что ухудшает результативность поиска, поскольку один человек с разными прическами может быть ошибочно идентифицирован системой как два разных человека.The disadvantages of the prototype include the use for recognition of parts of the face and hairstyles, which worsens the effectiveness of the search, since one person with different hairstyles may be mistakenly identified by the system as two different people.
Кроме того, прототип обеспечивает низкую скорость поиска изображений, поскольку для нахождения изображений, содержащих похожие объекты, приходится сравнивать идентификационную информацию всех изображений доступных системе.In addition, the prototype provides a low speed image search, because to find images, containing similar objects, it is necessary to compare the identification information of all images available to the system.
Также прототип никоим образом не учитывает ракурс лица (повороты шеи и наклоны головы вперед назад) на фотографии, в то время как изменения ракурса приводят к искажениям изображений лиц, значительно ухудшая результаты распознавания и приводя к ошибочному определению лиц одного человека в разных ракурсах как лиц разных людей.Also, the prototype does not in any way take into account the angle of the face (turning the neck and tilting the head forward and back) in the photograph, while changing the angle leads to distortion of the images of the faces, significantly worsening the recognition results and leading to an erroneous determination of the faces of one person in different angles as faces of different people.
Сущность изобретенияSUMMARY OF THE INVENTION
Техническим результатом, на достижение которого направлена разработка данного изобретения является повышения надежности распознавания, увеличения скорости распознавания и упрощение процесса автоматической индексации графических файлов.The technical result, the development of this invention is aimed at, is to increase recognition reliability, increase recognition speed and simplify the process of automatic indexing of graphic files.
Технический результат достигается тем, что в способе индексации объектов на цифровых изображениях, при котором анализируют цифровое представление изображения с целью определения областей расположения объектов, по наличию характерных признаков выявляют области, содержащие объекты, области, содержащие объекты сравнивают с базовым набором типовых изображений объектов и из изображений из базового набора формируют ряд подобия по убыванию степени похожести на предъявленное изображение, который используют в качестве идентификатора для организации процедуры поиска.The technical result is achieved by the fact that in the method of indexing objects on digital images, in which the digital representation of the image is analyzed in order to determine the areas of the location of objects, the presence of characteristic features reveals areas containing objects, areas containing objects are compared with a basic set of typical images of objects and from images from the basic set form a series of similarities in descending degree of similarity to the presented image, which is used as an identifier for organizing the search procedure.
Области, содержащие объекты, предназначенные для сравнения с базовым набором типовых изображений объектов предварительно нормализуют и масштабируют.Areas containing objects intended for comparison with the basic set of typical images of objects are previously normalized and scaled.
Искомыми объектами являются человеческие лица.Searched objects are human faces.
При осуществлении поиска объектов на цифровых изображениях с использованием в качестве идентификаторов рядов подобия по убыванию степени похожести, предъявляют искомое изображение объекта, формируют для предъявленного объекта указанный ряд подобия, который используется при поиске изображений, похожих на изображение предъявленного объекта в базе данных, и в результате поиска формируют список изображений, на которых содержатся изображения объектов с рядами подобия, близкими к ряду подобия предъявленного изображения.When searching for objects in digital images using similarity series as identifiers in decreasing degree of similarity, the desired image of the object is presented, the specified similarity series is generated for the presented object, which is used when searching for images similar to the image of the presented object in the database, and as a result search form a list of images that contain images of objects with similarity rows close to the similarity series of the presented image.
При этом обеспечивают автоматическое индексирование всех доступных графических файлов для формирования информационной базы данных.At the same time, they automatically index all available graphic files to form an information database.
На фиг. 1 представлен алгоритм поиска лиц на изображении.In FIG. 1 shows an algorithm for searching for faces in an image.
На фиг. 2 представлен алгоритм формирования списка групп На фиг. 3 представлены операции способа, включающие действия в соответствии с обоими алгоритмами.In FIG. 2 presents an algorithm for forming a list of groups In FIG. 3 shows the operation of the method, including actions in accordance with both algorithms.
Для каждого найденного изображения объекта создается отдельная запись, содержащая: ряд подобия и ряд дополнительных признаков, позволяющих задавать дополнительные критерии поиска, содержащих информацию о положении найденного лица на изображении и/или информацию о ракурсе лица на изображении и/или характеристики графического файла, содержащего найденный объект - информация о расположении графического файла и/или количество найденных на изображении объектов и/или тип изображения и/или дата создания изображения и другие метаданные.For each found image of the object, a separate record is created containing: a series of similarities and a series of additional features that allow you to set additional search criteria that contain information about the position of the found face in the image and / or information about the angle of the face in the image and / or the characteristics of the image file containing the found object - information about the location of the image file and / or the number of objects found in the image and / or image type and / or image creation date and other metadata.
Поиск областей изображения, содержащие человеческие лица может быть выполнен различными способами, например, с помощью нахождения участков изображения с преобладающим цветом кожи человека с последующим анализом формы границы найденного изображения. Для ускорения процедуры поиска применяется неравномерный шаг сетки для анализа изображения: на участках изображений, где расположение лица наиболее вероятно, выбирается более мелкий шаг сетки, для более подробного анализа.The search for image areas containing human faces can be performed in various ways, for example, by finding areas of the image with the predominant color of the human skin, followed by analysis of the border shape of the found image. To speed up the search procedure, an uneven grid step is used for image analysis: in areas of images where the face location is most likely, a smaller grid step is chosen for a more detailed analysis.
После выделения всех областей, предположительно содержащих лица, выполняется проверка всех найденных областей для исключения пересечения областей и, наоборот, для разделения «cлипшиxcя» областей. Для отсева слишком больших (фоновые изображения лиц) и слишком маленьких областей, определяются предельно допустимые коэффициенты соотношения площадей или линейных размеров областей найденных на изображении. Отсев также проводится по предельным значениям соотношений линейных размеров найденных областей.After the selection of all areas presumably containing faces, a check of all found areas is performed to exclude the intersection of areas and, conversely, to separate “stuck” areas. For screening too large (background images of faces) and too small areas, the maximum allowable coefficients of the ratio of the areas or linear sizes of the areas found in the image are determined. Screening is also carried out according to the limiting values of the ratios of the linear dimensions of the found areas.
Оставшиеся после отсева области изображения масштабируются таким образом, чтобы все лица стали одного размера. Затем выполняется проверка на наличие характерных особенностей лица, например, глаз. Для этого область наиболее вероятного расположения глаз разбивается на несколько перекрывающих друг друга участков. Все участки поступают на вход искусственной нейронной сети, которая определяет участок, наиболее похожий на некоторый эталонный шаблон глаза. Способ построения искусственной нейронной сети, способной соотнести предъявляемый образ с имеющимся набором прототипов, описан в (Юдашкин А.А. «Бифypкaции стационарных решений в синергетической нейронной сети и управление распознаванием oбpaзoв»// АиТ, No.1 1 , 1996, с. 139-147).The image areas remaining after screening are scaled so that all faces become the same size. Then, a check is carried out for the presence of characteristic features of the face, for example, the eyes. For this, the area of the most probable eye arrangement is divided into several overlapping sections. All sections go to the input of an artificial neural network, which determines the area that is most similar to some reference pattern of the eye. A method for constructing an artificial neural network capable of correlating the presented image with an existing set of prototypes is described in (Yudashkin A.A. “Bifcations of stationary solutions in a synergetic neural network and control of pattern recognition” // Autom. No.1 1, 1996, p. 139 -147).
Описанная операция выполняется для левого и для правого глаза. В результате определяются положения центров зрачков глаз. Эти данные используются для нормирования размеров лиц перед дальнейшей обработкой. Нормирование размеров лиц выполняется таким образом, чтобы расстояние между центрами зрачков глаз стало равно некоторой заранее определенной величине. Каждое нормированное по расстоянию между глаз изображение лица поступает на вход искусственной нейронной сети, которая находит наиболее похожий объект из эталонного набора, состоящего из позитивных примеров лиц и негативных примеров объектов, заведомо лицами не являющимися. В зависимости от того, к какой группе относится победитель, определяется, действительно ли предъявленное изображение является лицом.The described operation is performed for the left and right eye. As a result, the positions of the centers of the pupils of the eyes are determined. These data are used to normalize the size of faces before further processing. The normalization of the size of faces is carried out in such a way that the distance between the centers of the pupils of the eyes becomes equal to some predetermined value. Each face image normalized by the distance between the eyes enters the input of an artificial neural network, which finds the most similar object from the reference set, which consists of positive examples of faces and negative examples of objects that are obviously not persons. Depending on which group the winner belongs to, it is determined whether the presented image is really a person.
Используемая здесь искусственная нейронная сеть отличается тем, что между объектами эталонного набора, относящимися к одной группе, отсутствует внутренняя конкуренция.The artificial neural network used here is characterized in that there is no internal competition between the objects of the reference set belonging to the same group.
Каждое найденное изображение лица поступает на вход искусственной нейронной сети, которая выстраивает в ряд подобия по убыванию степени похожести базовый набор изображений лиц. Принципы функционирования нейронной сети описаны, например, в (Ю.С. Корнев, Н.А. Филиппов, А.А. Юдашкин «Aдaптивный алгоритм локализации лиц на цветных фотографиях))// Вестник Самарского гос.техн. ун-та, Серия «Texничecкиe нayки», Вып. N° 32, 2005).Each found face image is fed to the input of an artificial neural network, which arranges in a series of similarities in descending order of similarity a basic set of face images. The principles of the functioning of a neural network are described, for example, in (Yu.S. Kornev, N.A. Filippov, A.A. Yudashkin, “Adaptive algorithm for localizing faces in color photographs)) // Bulletin of the Samara state tech. University, Series "Technical Nikeki", Vol. N ° 32, 2005).
Таким образом, для каждого лица, найденного на изображении, формируется уникальный индекс, содержащий: имя и место расположения графического файла, содержащего изображение; координаты центров зрачков глаз; углы поворота шеи и наклона головы; ряд подобия номеров изображений базового набора.Thus, for each face found in the image, a unique index is generated containing: name and location of the image file containing the image; coordinates of the centers of the pupils of the eyes; angles of rotation of the neck and tilt of the head; a number of similarities in the numbers of images of the basic set.
В результате обработки всех изображений, доступных программе, будет сформирован линейный список индексов. Помимо линейного списка индексов производится объединение их в группы по рядам подобия. В результате анализа индексов формируются ряды подобия, соответствующие центрам групп. В каждую группу входят индексы с рядами подобия, совпадающие с рядом подобия центра группы или близкие к нему. Для определения близости рядов подобия вводится понятие расстояния между рядами путем сложения разностей позиций каждого из базовых изображений в сопоставляемых рядах. Суммирование ведётся с учётом весов позиций базовых изображений в ряде подобия. Вес позиции уменьшается с увеличением номера позиции.As a result of processing all the images available to the program, a linear list of indices will be generated. In addition to the linear list of indices, they are combined into groups by similarity series. As a result of the analysis of indices, similarity series are formed corresponding to the centers of groups. Each group includes indices with similarity series, coinciding with or close to the similarity series of the center of the group. To determine the proximity of similarity series, the concept of distance between the series is introduced by adding the position differences of each of the basic images in the compared series. Summation is carried out taking into account the weights of the positions of the basic images in a number of similarities. Position weight decreases with increasing position number.
Таким образом, формируется список групп, каждая из которых содержит набор изображений лиц одного человека.Thus, a list of groups is formed, each of which contains a set of images of the faces of one person.
При организации поиска заданного изображения лица на предъявленном изображении, по ранее описанному алгоритму, находится изображение лица, масштабируется, формируется ряд подобия и предъявляется к поиску по списку индексов центров групп. В результате поиска возвращается группа, ряд подобия которой наилучшим образом совпадает с рядом подобия предъявленного лица, т.е. расстояние между рядами минимально. Если расстояние между рядами меньше определенного порога, то в качестве результата поиска, возвращаются все изображения, на которые ссылаются индексы лиц, содержащиеся в найденной группе. В противном случае - результат поиска отрицательный и предъявленного лица нет в обработанном наборе изображений.When organizing the search for a given face image in the presented image, according to the previously described algorithm, the face image is located, scaled, a series of similarities is formed and presented to the search by the list of group center indices. The search returns a group, a row the similarities of which in the best way coincides with the series of similarities of the presented person, i.e. the distance between the rows is minimal. If the distance between the rows is less than a certain threshold, then as a search result, all images that are referenced by the face indices contained in the found group are returned. Otherwise, the search result is negative and the presented person is not in the processed set of images.
Отличие способа заключается в том, что в качестве характеристики изображения лица используется ряд подобия, сформированный из изображений базового набора, который используется для построения индекса. При этом, при формировании ряда подобия используется прямое ассоциативное сравнение изображения лица с эталонами из базового набора, а не сравнение отдельных черт этих эталонов. Другое отличие заключается в том, что области, содержащие лица, дополнительно проверяются с помощью отнесения их к одной из двух групп - «лицa» и «пpoчиe oбъeкты». Отнесение выполняется путём отыскания самого похожего изображения в совместном наборе изображений двух групп. При этом не требуется точного совпадения с одним из изображений группы, достаточно общего сходства с изображениями группы.The difference between the method is that as a characteristic of the image of the face, a series of similarities is used, formed from the images of the basic set, which is used to build the index. At the same time, when forming a series of similarities, a direct associative comparison of the face image with the standards from the basic set is used, and not a comparison of the individual features of these standards. Another difference is that areas containing faces are additionally checked by assigning them to one of two groups - “faces” and “other objects”. Assignment is performed by finding the most similar image in a joint set of images of two groups. It does not require exact coincidence with one of the images of the group, it is enough general similarity with the images of the group.
Повышение надежности распознавания достигается, за счёт установки соответствия между рядами изображений для лиц изображенных в анфас, с поворотами шеи и с наклонами головы, чем обеспечивается корректное отнесение к одной группе лиц одного и того же человека, изображенных в разных ракурсах.Improving the reliability of recognition is achieved by setting the correspondence between the series of images for persons depicted in full view, with neck twists and tilts of the head, which ensures the correct assignment to the same group of persons of the same person, depicted from different angles.
Скорость поиска будет увеличена в первую очередь за счёт использования рядов подобия групп, благодаря чему количество операций сравнения уменьшается по сравнению со случаем, когда сравнение ведётся по всем индексам изображений лиц.The search speed will be increased primarily due to the use of similarity groups, due to which the number of comparison operations is reduced compared with the case when the comparison is carried out on all indexes of facial images.
Осуществление способаThe implementation of the method
Предложенный способ организации поиска лиц на изображениях иллюстрируется последовательностью операций, приведенных на фиг. 1 , гдеThe proposed method for organizing the search for faces in images is illustrated by the sequence of operations shown in FIG. 1 where
10 - путь до файла, содержащего изображение;10 - path to the file containing the image;
20 - операция нахождения областей изображения, содержащих изображения лиц;20 is an operation for finding image areas containing facial images;
30 - операция проверки наличия лица во всех найденных областях;30 - operation to verify the presence of a person in all found areas;
40 - операция определения ракурса изображения лица;40 - operation for determining the angle of the image of the face;
50 - операция формирования ряда подобия;50 - operation of forming a series of similarities;
60 - операция построения индекса;60 - operation of constructing the index;
70 - список сформированных индексов для всех найденных лиц на входном изображении. На первом этапе - операция N°20 - выполняется поиск лиц на изображении. Поиск может быть реализован посредством выделения участков с цветом кожи и определения формы их границ. Фрагменты, имеющие форму близкую к овальной, принимаются как потенциальные изображения лиц и координаты прямоугольников, описывающих найденные фрагменты передаются на следующий этап обработки.70 is a list of generated indices for all found faces in the input image. At the first stage - operation N ° 20 - the search for faces in the image is performed. The search can be implemented by highlighting areas with skin color and determining the shape of their borders. Fragments having a shape close to oval are accepted as potential face images and the coordinates of the rectangles describing the found fragments are transferred to the next processing stage.
Каждая область, потенциально содержащая лицо, проверяется на наличие характерных признаков лица (операция N°30). Область масштабируется, для приведения к единому размеру, и на ней ищутся позиции расположения глаз. Если глаза на изображении не найдены или неверно количество глаз или их взаимное расположение не соответствует действительности (например, перекрытие), то изображение не воспринимается как лицо.Each area that potentially contains a face is checked for the presence of characteristic features of the face (operation N ° 30). The area is scaled to bring it to a single size, and on it the positions of the location of the eyes are searched. If the eyes are not found in the image or the number of eyes is incorrect or their relative position does not correspond to reality (for example, overlap), then the image is not perceived as a face.
Если глаза расположены в правильной области лица, то по найденным координатам глаз выполняется более точное масштабирование и поворот изображения таким образом, чтобы глаза были на одном уровне, а расстояние между зрачками глаз было одинаковым. Приведённое к единому масштабу предварительно найденное лицо поступает на вход нейронной сети, которая по эталонному набору изображений определяет принадлежность изображения к группе изображений лиц или к группе посторонних объектов. Изображения, причисленные к группе изображений лиц, проходят на следующий этап.If the eyes are located in the correct area of the face, then the coordinates of the eyes are more accurately scaled and the image is rotated so that the eyes are at the same level and the distance between the pupils of the eyes is the same. A previously found face reduced to a uniform scale is fed to the input of a neural network, which, using a reference set of images, determines whether the image belongs to a group of face images or to a group of foreign objects. Images assigned to the group of images of faces go to the next stage.
На этапе определения ракурса изображения лица (операция N240) определяется положение глаз относительно области расположения лица. По смещению глаз относительно вертикальной оси симметрии определяется направление и угол поворота шеи, по изменению пропорций лица - наклоны вперёд-назад. Далее координаты фрагмента и характеристики ракурса лица передаются на следующий этап.At the stage of determining the angle of the image of the face (operation N240), the position of the eyes relative to the area of the face is determined. The direction and angle of rotation of the neck are determined by the displacement of the eyes relative to the vertical axis of symmetry, and the tilts back and forth are determined by the change in the proportions of the face. Further, the coordinates of the fragment and the characteristics of the face angle are transferred to the next stage.
С помощью нейронной сети (операция N°50) выполняется определение самого похожего на предъявленное лицо лица из базового набора лиц. Победитель удаляется из базового набора лиц и по оставшимся изображениям базового набора вновь проводится поиск самого похожего лица. И так до тех пор, пока по степени похожести не будет упорядочен весь базовый набор.With the help of a neural network (operation N ° 50), the determination of the person most similar to the presented face from the basic set of faces is performed. The winner is removed from the basic set of faces and the remaining images of the basic set are again searched for the most similar person. And so on until the whole basic set is ordered by degree of similarity.
На этапе построения индекса (операция N°60) результаты выполнения операций N°N°20, 40, 50, а также входная информация (10) о расположении файла изображения используются для формирования уникальных индексов лиц (70), найденных на изображении.At the stage of constructing the index (operation N ° 60), the results of operations N ° N ° 20, 40, 50, as well as input information (10) on the location of the image file are used to generate unique face indices (70) found in the image.
Списки индексов каждого графического файла, сформированные с помощью алгоритма представленного на фиг. 1 , формируют линейный список индексов, который затем используется для формирования групп по персонам, изображенным на фотографиях. Формирование списка групп производят в соответствии с алгоритмом, приведённым на рис. 2.The index lists of each graphic file generated using the algorithm of FIG. 1, a linear list of indices is formed, which is then used to form groups by the persons shown in the photographs. The list of groups is formed in accordance with the algorithm shown in Fig. 2.
Алгоритм формирования списка групп индексов состоит из следующих операций.The algorithm for generating a list of index groups consists of the following operations.
110 - очередной индекс из списка индексов;110 - the next index from the list of indices;
120 - операция поиска группы с наиболее близким рядом подобия группы;120 is a group search operation with the closest group similarity row;
130 - операция проверки порога близости рядов группы и индекса;130 - the operation of checking the threshold of proximity of the rows of the group and index;
140 - операция создания новой группы;140 - operation of creating a new group;
150 - операция добавления индекса в найденную группу;150 - operation of adding an index to a found group;
160 - пересчёт ряда подобия центра группы;160 - recounting a series of similarities to the center of the group;
170 - переход к анализу следующего индекса.170 - go to the analysis of the next index.
Для ряда подобия очередного индекса из списка индексов выполняется поиск группы с рядом подобия, наиболее близким к ряду подобия индекса. Близость любой пары рядов оценивается по расстоянию между рядами, которое рассчитывается следующим образом. Последовательно перебираются позиции первого ряда, начиная с первой позиции. Для каждой позиции в первом ряду подобия вычисляется модуль разности между позицией текущего базового изображения и позицией того же базового изображения во втором ряду. Полученные для каждой позиции ряда разности умножаются на вес позиции и суммируются. Получившиеся число является характеристикой близости двух рядов подобия. Найденная группа в качестве результата передается на следующий этап. В результате выполнения операции N°130 происходит разветвление алгоритма. Если значение критерия близости меньше порогового значения, то осуществляется переход к операции N2150. Если порог превышен - будет выполнен переход к операции N°140.For a series of similarities of the next index from the list of indexes, a group is searched with a series of similarities closest to the similarity series of the index. The proximity of any pair of rows is estimated by the distance between the rows, which is calculated as follows. The positions of the first row are sequentially sorted, starting from the first position. For each position in the first row of similarity, the difference modulus between the position of the current base image and the position of the same base image in the second row is calculated. The differences obtained for each position of the series of the difference are multiplied by the weight of the position and summed. The resulting number is a characteristic of the proximity of two similarity rows. The found group as a result is passed to the next stage. As a result of operation N ° 130, the algorithm branches. If the value of the proximity criterion is less than the threshold value, then proceed to operation N2150. If the threshold is exceeded, the transition to operation N ° 140 will be performed.
Если очередной индекс не входит ни в одну из существующих групп, то выполняется создание новой группы (операция Ne 140). В новую группу добавляется обрабатываемый индекс, ряд подобия для группы при создании совпадает с рядом добавленного в него индекса.If the next index is not included in any of the existing groups, a new group is created (operation Ne 140). The index being processed is added to the new group; a series of similarities for the group during creation coincides with the series of the index added to it.
Если определена группа, к которой относится очередной индекс, то индекс добавляется в эту группу (операция N°150), после чего ряд подобия группы переформировывается (операция N°160). Новый ряд подобия группы выбирается таким образом, чтобы суммарное значение критерия близости всех индексов входящих в группу имело минимальное значение.If the group to which the next index belongs is defined, then the index is added to this group (operation N ° 150), after which a series of similarities of the group is reorganized (operation N ° 160). A new series of group similarity is selected so that the total value of the proximity criterion for all indices in the group has a minimum value.
После создание новой группы или после пересчета существующей, выполняется переход к анализу следующего индекса из списка индексов (операция N°170).After creating a new group or after recalculating the existing one, a transition is made to the analysis of the next index from the list of indices (operation N ° 170).
Для поиска персоны по предъявленному изображению используется, фактически компиляция двух алгоритмов: алгоритма поиска лиц на изображении (фиг. 1 ) и алгоритма формирования списка групп (фиг. 2). Алгоритм, состоящий из операций обоих алгоритмов, представлен на фиг. 3. Операции NQN220 - 50, 120, 130 выполняют те же действия, что и ранее,To search for a person in the presented image, it is used, in fact, a compilation of two algorithms: an algorithm for searching for faces in an image (Fig. 1) and an algorithm for generating a list of groups (Fig. 2). An algorithm consisting of operations of both algorithms is shown in FIG. 3. Operations NQN220 - 50, 120, 130 perform the same actions as before,
200 - изображение объекта поиска;200 is an image of a search object;
210 - ряд подобия, сформированный для лица, найденного на предъявленном к поиску изображении;210 - a series of similarities formed for a person found in the image presented for search;
220 - отрицательный результат поиска;220 - negative search result;
230 - список изображений, на которых находится найденное лицо.230 - a list of images on which the found face is located.
Изображение объекта поиска (N° 200) поступает на вход алгоритма нахождения лиц на изображении. На нем находятся области, содержащие изображения лиц (операция N°20), проверяется наличие лица в каждой из найденных областей (операция N°30), определяется ракурс изображения (операция N°40) И строится ряд подобия (операция N°50). Сформированный ряд подобия (N°210) подается на вход блока поиска группы с наиболее близким рядом пoдoбия(oпepaция N°120). Если критерий близости удовлетворяет заданному пороговому значению (операция N°130), то в качестве результата работы алгоритма возвращаются все изображения найденной группы (N°230). Если порог превышен - формируется сообщение об отсутствии искомого лица (N°220). Промышленная применимостьThe image of the search object (N ° 200) is input to the algorithm for finding faces in the image. It contains areas containing images of faces (operation N ° 20), checks for the presence of faces in each of the found areas (operation N ° 30), determines the image angle (operation N ° 40), and builds a series of similarities (operation N ° 50). The generated similarity series (N ° 210) is fed to the input of the group search block with the closest similarity series (operation N ° 120). If the proximity criterion satisfies a predetermined threshold value (operation N ° 130), then all images of the found group (N ° 230) are returned as the result of the algorithm. If the threshold is exceeded, a message is generated indicating the absence of the desired person (N ° 220). Industrial applicability
Использование изобретения обеспечивает быстрый поиск файлов, содержащих изображения объектов, похожие на предъявленное изображение или изображение, выбранное из уже найденных ранее. Предлагаемое изобретение может использоваться в поисковых системах, по аналогии с контентно- ориентированным поиском текстовой информации. Using the invention provides a quick search for files containing images of objects similar to the presented image or an image selected from those already found previously. The present invention can be used in search engines, by analogy with a content-oriented search for textual information.

Claims

Формула изобретения Claim
1. Способ индексации объектов на цифровых изображениях, при котором анализируют цифровое представление изображения с целью определения областей расположения объектов, по наличию характерных признаков выявляют области, содержащие объекты, отличающийся тем, что области, содержащие объекты сравнивают с базовым набором типовых изображений объектов и из изображений из базового набора формируют ряд подобия по убыванию степени похожести на предъявленное изображение, который используют в качестве идентификатора для организации процедуры поиска.1. A method of indexing objects in digital images, in which the digital representation of the image is analyzed in order to determine the location of objects, by the presence of characteristic features identify areas containing objects, characterized in that the areas containing objects are compared with a basic set of typical images of objects and from images a series of similarities is formed from the basic set in descending order of similarity to the presented image, which is used as an identifier for organizing the procedure claim.
2. .Способ по п. 1 , отличающийся тем, что области, содержащие объекты, предназначенные для сравнения с базовым набором типовых изображений объектов нормализуют и масштабируют.2.. The method according to p. 1, characterized in that the areas containing objects intended for comparison with the basic set of typical images of objects are normalized and scaled.
3. Способ по п. 1 , отличающийся тем, что изображаемыми объектами являются человеческие лица.3. The method according to p. 1, characterized in that the depicted objects are human faces.
4. Способ поиска объектов на цифровых изображениях с использованием в качестве идентификаторов рядов подобия по убыванию степени похожести, при котором предъявляют искомое изображение объекта, формируют для предъявленного объекта указанный ряд подобия, который используется при поиске изображений, похожих на изображение предъявленного объекта в базе данных, и в результате поиска формируют список изображений, объекты на которых имеют ряды подобия близкие к ряду подобия предъявленного изображения.4. The method of searching for objects in digital images using similarity identifiers in descending order of similarity, in which the desired image of the object is presented, the specified similarity series is generated for the presented object, which is used when searching for images similar to the image of the presented object in the database, and as a result of the search form a list of images on which objects have similarity series close to the similarity series of the presented image.
5. Способ по п. 4, отличающийся тем, что обеспечивают автоматическое индексирование всех доступных графических файлов для формирования информационной базы данных.5. The method according to p. 4, characterized in that they provide automatic indexing of all available graphic files to form an information database.
6. Способ по п. 4, отличающийся тем, что для каждого найденного изображения объекта создается отдельная запись, содержащая: ряд подобия и ряд дополнительных признаков, позволяющих задавать дополнительные критерии поиска, содержащих информацию о положении найденного лица на изображении и/или информацию о ракурсе лица на изображении и/или характеристики графического файла, содержащего найденный объект - информация о расположении графического файла и/или количество найденных на изображении объектов и/или тип изображения и/или дата создания изображения и другие метаданные.6. The method according to p. 4, characterized in that for each found image of the object a separate entry is created containing: a series of similarities and a number of additional features that allow you to set additional search criteria that contain information about the position of the found face in the image and / or information about the angle faces in the image and / or characteristics of the graphic file containing the found object - information about the location of the graphic file and / or the number of objects found in the image and / or the type of image and / or creation date Images and other metadata.
7. Способ по любому из п. п. 4 - 6, отличающийся тем, что изображаемыми объектами являются человеческие лица. 7. The method according to any one of paragraphs. 4 to 6, characterized in that the depicted objects are human faces.
PCT/RU2008/000434 2007-08-10 2008-07-03 Method for indexing objects on digital images and method for searching objects on digital images WO2009031923A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2007130631 2007-08-10
RU2007130631/09A RU2007130631A (en) 2007-08-10 2007-08-10 METHOD FOR INDEXING OBJECTS ON DIGITAL IMAGES AND METHOD FOR SEARCHING OBJECTS ON DIGITAL IMAGES

Publications (1)

Publication Number Publication Date
WO2009031923A1 true WO2009031923A1 (en) 2009-03-12

Family

ID=40429097

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2008/000434 WO2009031923A1 (en) 2007-08-10 2008-07-03 Method for indexing objects on digital images and method for searching objects on digital images

Country Status (2)

Country Link
RU (1) RU2007130631A (en)
WO (1) WO2009031923A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2595523C2 (en) * 2014-02-28 2016-08-27 Общество С Ограниченной Ответственностью "Яндекс" Image processing method, method of generating image index, method of detecting conformity of the image from the image storage and server (versions)
RU2698157C1 (en) * 2019-02-12 2019-08-22 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") System for searching for violations in order of location of objects

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2250499C1 (en) * 2003-11-17 2005-04-20 Иванов Александр Львович Method for computer recognition of objects
US7130466B2 (en) * 2000-12-21 2006-10-31 Cobion Ag System and method for compiling images from a database and comparing the compiled images with known images
WO2006122164A2 (en) * 2005-05-09 2006-11-16 Riya, Inc. System and method for enabling the use of captured images through recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130466B2 (en) * 2000-12-21 2006-10-31 Cobion Ag System and method for compiling images from a database and comparing the compiled images with known images
RU2250499C1 (en) * 2003-11-17 2005-04-20 Иванов Александр Львович Method for computer recognition of objects
WO2006122164A2 (en) * 2005-05-09 2006-11-16 Riya, Inc. System and method for enabling the use of captured images through recognition

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KORNEV JU.S. ET AL.: "Adaptivny algoritm lokalizatsii lits na tsvetnykh fotografiyakh", VESTNIK SAMARSKOGO GOSUDARSTVENNOGO TEKHNICHENSKOGO UNIVERSITETA,SERIYA "TEKHNICHESKIE NAUKI", 2005 *

Also Published As

Publication number Publication date
RU2007130631A (en) 2009-02-20

Similar Documents

Publication Publication Date Title
Reed Pattern recognition and categorization
CN111310624B (en) Occlusion recognition method, occlusion recognition device, computer equipment and storage medium
Li et al. Consistent line clusters for building recognition in CBIR
US7065521B2 (en) Method for fuzzy logic rule based multimedia information retrival with text and perceptual features
US20110188713A1 (en) Facial image recognition and retrieval
US20070036398A1 (en) Apparatus and method for partial component facial recognition
US20050041863A1 (en) Enabling content-based search of objects in an image database with reduced matching
Wu et al. Identifying faces using multiple retrievals
US20050044056A1 (en) Searching for object images with reduced computation
Saboia et al. Eye specular highlights telltales for digital forensics: A machine learning approach
CN112507963B (en) Automatic generation of batch mask face samples and mask face recognition method
CN109902621A (en) A kind of three-dimensional face identification method, device, computer equipment and storage medium
WO2009031923A1 (en) Method for indexing objects on digital images and method for searching objects on digital images
CN111340700A (en) Model generation method, resolution improvement method, image identification method and device
JP4510562B2 (en) Circle center position detection method, apparatus, and program
US20210406510A1 (en) Method for detecting at least one biometric trait visible in an input image by means of a convolutional neural network
JP3995181B2 (en) Individual identification device
US6973206B2 (en) Method and system for quality based fingerprint matching
Gu et al. Clustering consumer photos based on face recognition
CN114519898A (en) Biological characteristic multi-mode fusion recognition method and device, storage medium and equipment
De Tré et al. Human centric recognition of 3D ear models
CN111177388A (en) Processing method and computer equipment
CN1595427A (en) Digital human face image recognition method based on selective multi-eigen space integration
Alter et al. Verifying model-based alignments in the presence of uncertainty
CN109815359B (en) Image retrieval method and related product

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08794051

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08794051

Country of ref document: EP

Kind code of ref document: A1