CN101351986A - 基于多分辨率、多帧率空间和时域特征的数字视频对象的指纹生成方法及系统 - Google Patents

基于多分辨率、多帧率空间和时域特征的数字视频对象的指纹生成方法及系统 Download PDF

Info

Publication number
CN101351986A
CN101351986A CNA2007800010980A CN200780001098A CN101351986A CN 101351986 A CN101351986 A CN 101351986A CN A2007800010980 A CNA2007800010980 A CN A2007800010980A CN 200780001098 A CN200780001098 A CN 200780001098A CN 101351986 A CN101351986 A CN 101351986A
Authority
CN
China
Prior art keywords
frame
group
multiframe
relevant
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800010980A
Other languages
English (en)
Other versions
CN101351986B (zh
Inventor
陆坚
王扬斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Fubo Media Technology Co.,Ltd.
Original Assignee
Vobile Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vobile Inc filed Critical Vobile Inc
Publication of CN101351986A publication Critical patent/CN101351986A/zh
Application granted granted Critical
Publication of CN101351986B publication Critical patent/CN101351986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark

Abstract

一种用于为视频对象生成指纹的方法及系统。所述方法包括获取与视频对象相关的多个帧。另外，该方法包括，对于多帧中的每一帧，处理与所述多帧相关的信息，基于至少与多帧中每一帧相关的信息，确定多帧中每一帧的多个空间特征，以及基于至少与多帧相关的信息，确定多帧中每一帧的多个时域特征。多个空间特征分别与多个分辨率相对应，多个时域特征分别与多个帧率相对应。

Description

基于多分辨率、多帧率空间和时域特征的数字视频对象的指纹生成方法及系统
相关申请的交叉引用
本申请要求于2006年4月28日提交的美国临时申请号为60/795,786的申请的优先权，在此以引用的方式整体并入本文中。
基于联邦资助的研究或开发所作发明的权利的声明
不适用
通过光盘递交的作为“序列表”、表格或计算机程序列表附录的参考。
不适用
背景技术
本发明涉及用于识别数字视频对象及为数字视频对象生成指纹的技术。特别地，本发明涉及基于多分辨率、多帧率空间和时域特征为数字视频对象生成唯一且稳健标识符的方法及系统。
过去十年中，数字视频变得非常常见。有多种产生、录制以及分发数字视频的来源，例如数字视频(DV)可携式摄像机、数字化视频光盘(DVD)、数字视频录像机(DVR，Digital Video Recorder)以及在因特网上流动和下载到的视频。本文中将一段数字视频称作一个数字视频对象，或简称视频对象。它可以是存储于例如硬盘驱动器的存储媒体上的一个文件，或在广播信道或因特网上传输的一个比特流。数字视频对象数量的持续增长，以及数字视频娱乐和服务的增殖，需要有效、高效的用于索引和识别数字视频对象的方法及系统。
用于唯一识别数字对象的常用方法是使之通过哈希函数产生被称为哈希和或消息摘要的定长输出。常用的哈希函数为消息摘要5(MD5)，详见RFC1321。虽然哈希和作为标识符对于一些具体用途，例如数字完整性检验而言是有用的，但是它却通常不足以用于内容识别。例如数字视频对象可被编码为不同格式，例如运动图像专家组标准4(MPEG4)和Windows媒体，以及不同比特率，例如用于广播的2Mbps和用于互联网下载的700Kbps。尽管内容相同，但这些不同格式下哈希和的值却各不相同。数字视频对象的指纹与哈希和的不同在于，前者是视频内容的唯一标识符，而后者是文件的唯一标识符。每一个视频对象具有唯一且稳健的指纹使许多应用成为可能，例如视频内容索引、获取检索、内容过滤、广播监测以及元数据服务。
发明内容
总的说来，本发明涉及视频信号处理。更具体地，本发明提供一种用于标识数字视频对象的方法和系统。本发明仅通过示例，描述其应用于获取多分辨率的空间特征，多帧率的时域特征，和/或空间-时域特征，但应该认识到，本发明具有更宽的应用范围。
根据本发明的实施例，为视频对象生成指纹的方法包括获取与视频对象相关的多个帧。另外，该方法包括，对于多帧中的每一帧，处理与所述多帧相关的信息，基于至少是与多帧中每一帧相关的信息，确定多帧中每一帧的多个空间特征，以及基于至少是与多帧相关的信息，确定多帧中的每一帧的多个时域特征。多个空间特征分别与多个分辨率相对应，并且多个时域特征分别与多个帧率相对应。此外，该方法还包括，对于多帧中的每一帧，处理与多个空间特征和多个时域特征相关的信息，并确定多帧中每一帧的帧指纹，帧指纹包括分别与多个分辨率相对应的多个空间特征以及分别与多个帧率相对应的多个时域特征。另外，该方法包括分别为多帧处理多个帧指纹，该多个帧指纹包括多帧中每一帧的帧指纹。此外，该方法包括确定所述视频对象的视频指纹，该视频指纹包括该多个帧指纹。
根据本发明的另一实施例，用于为视频对象的一帧生成空间特征的方法包括获取与视频对象相关的一帧，并将该帧分为多个块，多个块分别对应于多个位置。多个块中每一块包括多个像素，且多个像素分别对应于多个像素值。另外，该方法包括分别为多个块确定多个平均像素值，处理多个平均像素值，基于至少是与多个平均像素值相关的信息，分别确定多个块的多个等级，多个等级中每个等级与一个块相对应。另外，该方法包括处理与多个等级相关的信息，基于至少是与多个等级和多个位置相关的信息，确定等级次序。该帧的空间特征包括与所述等级次序相关的信息。
根据本发明的又一实施例，用于为视频对象的一帧生成时域特征的方法包括获取与视频对象相关的第一组多帧。所述第一组多帧包括至少一帧，第一组多帧中每一帧包括第一组多像素，并与相邻帧相对应，且所述相邻帧包括第二组多像素。另外，该方法包括处理与第一组多帧相关的信息，分别确定第一组多帧的多个差值。所述多个差值中的每一个与所述第一组多帧中每一帧及其相邻帧相对应。另外，该方法包括处理与多个差值相关的信息，基于至少是与多个差值相关的信息，分别确定与所述第一组多帧相对应的多个等级。所述多个等级包括与该帧相对应的一个等级，且该等级为该帧的一个时域特征。
根据本发明的又一实施例，用于为视频对象的一帧生成空间-时域特征的方法包括获取与该视频对象相关的第一组多帧。所述第一组多帧包括至少一帧，且第一组多帧中每一帧与一个相邻帧相对应。另外，该方法包括划分所述第一组多帧中的每一帧。划分帧包括分别与多个位置相对应的第一组多块，第一组多块中的每一块与包含第一组多块中每一块的第二组多块相对应，且第二组多块分别与第一组多帧上的块相关。另外，该方法包括处理与第一组多帧相关的信息。另外，该方法还包括，对于第一组多块中的每一块，分别确定与第二组多块的多个差值。所述多个差值中的每一个与第二组多块中每一个及其相邻帧中的相应块相关。另外，该方法包括，对于第一组多块中的每一块，处理与多个差值相关的信息，基于至少是与多个差值相关的信息，分别确定与第二组多块相对应的第一组多等级，处理与第一组多等级相关的信息，并基于至少是与第一组多等级相关的信息，分别确定第一组多块中每一块的等级。此外，该方法包括处理与第二组多等级相关的信息，第二组多等级分别与第一组多块相对应，并且基于至少是与第二组多等级和第一组多块的多个位置相关的信息，确定等级次序。所述第二组多等级包括该等级，且该帧的空间-时域特征包含与该等级次序相关的信息。
根据本发明的又一实施例，计算机程序产品包括计算机可读媒体，该计算机可读媒体包括用于为视频对象生成指纹的指令。所述计算机可读媒体包括一条或多条用于获取与视频对象相关的多帧的指令。另外，该计算机可读媒体包括一条或多条指令，用于对于所述多帧中的每一帧，处理与所述多帧相关的信息，基于至少是与多帧中每一帧相关的信息，确定多帧中每一帧的多个空间特征，以及基于至少是与多帧相关的信息，确定多帧中每一帧的多个时域特征。所述多个空间特征分别与多个分辨率相对应，多个时域特征分别与多个帧率相对应。此外，所述一条或多条指令用于，对于多帧中的每一帧，处理与多个空间特征和多个时域特征相关的信息，并确定多帧中每一帧的帧指纹，所述帧指纹包括分别与多个分辨率相对应的多个空间特征，以及分别与多个帧率相对应的多个时域特征。另外，所述计算机可读媒体包括一条或多条指令，其用于分别为多帧处理多个帧指纹，和一条或多条指令，其用于确定所述视频对象的视频指纹。该多个帧指纹包括多帧中每一帧的帧指纹，且所述视频指纹包括该多个帧指纹。
根据本发明的又一实施例，计算机程序产品包括计算机可读媒体，该计算机可读媒体包括用于为视频对象中的一帧生成空间特征的指令。所述计算机可读媒体包括一条或多条指令，其用于获取与视频对象相关的一帧，以及一条或多条指令，其用于将该帧分为多个块。所述多个块分别对应于多个位置。多个块中每一块包括多个像素，且多个像素分别对应于多个像素值。另外，该计算机可读媒体包括一条或多条指令，其用于分别为多个块确定多个平均像素值，以及一条或多条指令，其用于处理多个平均像素值，以及一条或多条指令，其用于基于至少是与多个平均像素值相关的信息，分别确定多个块的多个等级，多个等级中的每一个与一个块相对应。另外，该计算机可读媒体包括一条或多条指令，其用于处理与多个等级相关的信息，以及一条或多条指令，其用于基于至少是与多个等级和多个位置相关的信息，确定等级次序。该帧的空间特征包括与所述等级次序相关的信息。
根据本发明的又一实施例，计算机程序产品包括计算机可读媒体，该计算机可读媒体包括用于为视频对象的一帧生成时域特征的指令。所述计算机可读媒体包括一条或多条指令，其用于获取与视频对象相关的第一组多帧。所述第一组多帧包括至少一帧，第一组多帧中每一帧包括第一组多像素且与一个相邻帧相对应，且所述相邻帧包括第二组多像素。另外，所述计算机可读媒体包括一条或多条指令，其用于处理与第一组多帧相关的信息，以及一条或多条指令，其分别确定第一组多帧的多个差值。所述多个差值中的每一个对应所述第一组多帧中的每一个及其相邻帧。另外，所述计算机可读媒体包括一条或多条指令，其用于处理与多个差值相关的信息，以及一条或多条指令，其用于基于至少是与多个差值相关的信息，分别确定与所述第一组多帧相对应的多个等级。所述多个等级包括与该帧相对应的等级，且该等级为该帧的一个时域特征。
根据本发明的又一实施例，计算机程序产品包括计算机可读媒体，该计算机可读媒体包括用于为视频对象的一帧生成空间-时域特征的指令。所述计算机可读媒体包括一条或多条指令，其用于获取与该视频对象相关的第一组多帧。所述第一组多帧包括至少一帧，且第一组多帧中每一帧与一个相邻帧相对应。另外，所述计算机可读媒体包括一条或多条指令，其用于划分所述第一组多帧中的每一帧。划分帧包括分别与多个位置相对应的第一组多块，第一组多块中的每一块与包含第一组多块中每一块的第二组多块相对应，且第二组多块分别与第一组多帧上的块相对应。另外，所述计算机可读媒体包括一条或多条指令，其用于处理与第一组多帧相关的信息。此外，所述计算机可读媒体包括一条或多条指令，对于第一组多块中的每一块，其用于分别确定与第二组多块的多个差值，处理与多个差值相关的信息，基于至少是与多个差值相关的信息，分别确定与第二组多块相对应的第一组多等级，处理与第一组多等级相关的信息，和基于至少是与第一组多等级相关的信息，分别确定第一组多块中每一块的等级。多个差值中的每一个与第二组多块中每一个及其相邻帧中的相应块相关。另外，所述计算机可读媒体包括一条或多条指令，用于处理与第二组多等级相关的信息，第二组多等级分别与第一组多块相对应，以及一条或多条指令，用于基于至少是与第二组多等级和第一组多块的多个位置相关的信息，确定等级次序。所述第二组多等级包括该等级，且该帧的空间-时域特征包含与该等级次序相关的信息。
相比传统技术，通过本发明能获得多项益处。本发明的某些实施例能够生成稳健的指纹，对于具有不同格式、比特率或分辨率，和/或具有某种变更和/或变形的同一视频对象，其指纹不发生改变或改变很小。本发明的一些实施例能生成高度辨识性的指纹，由此两个包含不同视频内容的视频对象会产生截然不同的指纹。本发明的某些实施例能够生成用于存储的紧凑指纹，且能存储为供高效搜索和匹配的形式。
依赖于实施例，能够获取这些益处中的一项或以上。本发明的这些益处以及不同附加目的，特征和优点能够通过参考以下具体描述及附图得以充分理解。
附图说明
图1为根据本发明的用于标识数字视频对象和为数字视频对象生成指纹的算法的流程图；
图2示出了根据本发明的为计算多分辨率的空间特征而细分一帧的方法；
图3示出了根据本发明具体实施例中计算基于2×2块的基空间特征的过程；
图4示出了根据本发明的用于计算时域特征的滑窗的定位；
图5示出了根据本发明具体实施例中在帧的下采样群中计算时域特征的过程；
图6示出了根据本发明实施例的实施用于标识数字视频对象和为数字视频对象生成指纹的方法的简化系统。
具体实施方式
本发明包括利用视频内容的本质特征标识视频内容，并将这些特征转换为紧凑的特征或指纹的方法和系统。由于同样的视频内容可被编码为不同格式、比特率或分辨率，且所述视频内容可被剪切、编辑或遭受不同程度的变形，故用于标识视频对象的指纹的稳健是很重要的，达到在这些情况下不改变或仅仅细微变化的程度。另一方面，指纹必须具有高度辨识性，从这种意义上，包含不同视频内容的两个视频对象应该产生截然不同的指纹。另外，视频指纹的数字表示必须足够紧凑以便存储，且能够存储成有利于高效搜索和匹配的形式。
从视频对象生成指纹
根据本发明中为视频对象生成指纹的过程如图1中的方框图所示。每一帧按放映次序处理，产生一个空间特征块(SSB，Spatial Signature Block)，一个时域特征块(TSB，Temporal Signature Block)和一个可选的空间-时域特征块(STSB，Spatial-Temporal Signature Block)。所述SSB在多种分辨率下由一个或多个空间特征(SS，Spatial Signature)所组成；所述TSB在多种帧率下由一个或多个时域特征(TS，Temporal Signature)所组成；所述STSB在多种分辨率及多种帧率下由空间-时域特征(STS，Spatial-Temporal Signature)组成。对于视频对象中的每一帧，所述SSB、TSB和STSB组成对应于该帧的指纹块。按帧次序的所有指纹块的序列组成所述视频对象的指纹。以下将描述计算SSB、TSB和STSB的方法。在这个具体的实施例中，所有特征及该指纹仅在亮度分量中计算。在更普遍的情况下，所述特征及指纹可以同时在亮度和色度分量中计算，或在RGB或其它色彩空间的任一或所有分量中计算。
空间特征
一个视频帧的空间特征(SS)可以在多种分辨率下计算。根据本发明的一个实施例中，一帧被均分为具有相等大小的2×2或4块，如图2(a)所示。这是计算SS时帧细分的最低分辨率；产生的SS被称为基空间特征(BSS，BaseSpatial Signature)或BSS。将分辨率提高一个级别，该帧可以被分为4×4或16块，如图2(b)所示。通过更精细的帧细分，例如8×8或64块，进一步提高分辨率，能够产生更精细分辨率下的SS。可以利用不同的帧细分方式，例如3×3或9块，来计算BSS，和通过持续将其维度翻倍，例如6×6＝36块，和12×12＝144块，扩展至更高分辨率。但我们发现对于抵抗某些图像变形，例如纵横比的改变，利用2×2＝4块来计算BSS更加稳健。
使用图2(a)中的2×2块的模式，计算BSS如下：
1.对于每一块，计算像素值均值如下：
Bi＝(∑x(k))/Ni，k＝1，2，3，...，Ni
其中，Bi是第i个块的像素值均值，x(k)是第i个块中一个像素值，Ni是第i个块的像素总数，见图3(a)中的示例。
2.在各块中，比较Bi值，将其分等级，并对每块指定次序等级，见图3(b)中的示例。
3.通过按照顺序扫描次序收集每个块的次序等级产生BSS，并形成BSS向量，见图3(c)中的示例。
依照与上述相同的步骤可以计算更高分辨率下的SS。唯一的区别在于，更高分辨率下的SS向量具有更高的维度。例如利用2×2块计算的BSS向量是4维的，而利用4×4块计算的BSS向量是16维的。
由于2×2块的每一次序等级可以通过log2(4)＝2比特来表示，可以容易地看出，所述BSS可以利用4*log2(4)＝8比特表示。同样地，可以容易地看出，4×4块的SS可以利用16*log2(4)＝64比特表示。在更高分辨率下表示SS所需的比特数可以通过相同方式计算。
通过罗列叠加所有可用到的分辨率下的BSS和SS形成一帧的SSB。在上述具体实施例中，所述SSB可以通过8+64＝72比特表示。
时域特征
在滑动时间窗上计算每一帧的时域特征(TS，Temporal Signatures)。
对于每一帧，定位该窗使得当前帧位于该窗的右边缘(见图4)。每次沿时间轴将该窗的位置移动一帧。窗的大小是可调整参数。根据本发明的一个实施例，滑窗的大小定义为在时间上为1秒。这意味着多个帧落入滑窗，处于该窗中的任一位置，且其数目依赖于该视频对象的帧率。例如，如果一视频对象的帧率为每秒30帧，则该滑窗中具有30帧，处于该窗中的任一位置。如果一视频对象的帧率小于每秒1帧，则该滑窗中的任一位置均没有帧。
为了使得处于不同帧率下的视频对象的TS相等同，每一视频对象的帧率通过下采样达到一组共同帧率。被下采样的视频对象的该共同帧率组可以被调整。一般说来，它们被设计为代表多个帧率下的TS。根据本发明的一个实施例，用于计算TS的特定共同帧率组为{每秒6帧，每秒12帧，每秒24帧}。
为实现共同帧率组而下采样帧率产生多组帧。在每一组帧上计算TS，产生多帧率TS。为了本文中清楚，计算自特定组的TS通过该组的下采样帧率标识。例如TS6表示该TS计算自每秒6帧的帧组。
利用下采样组{每秒6帧，每秒12帧，每秒24帧}及与它们相关的下采样帧组，通过如下步骤计算TS：
1.对于每一组帧，计算组中两个连续帧的相应像素间的绝对误差和，即，
Di＝∑|xi(k)-xi-1(k)|，k＝1，2，3，....N
其中，i为组中第i帧的标号，且k＝1，2，3，...，N是一帧中的像素标号。见图5(a)。
2.比较该组中各帧的Di值，将其分等级，并指定每一帧的次序等级。见图5(b)。
3.记录当前帧的次序等级(即，位于滑窗的右边缘的帧)。这即为该组中当前帧的TS。见图5(b)。
由于次序等级不大于组中的帧数，可以轻易看出TS6可以由Υlog2(6)/＝3比特表示；TS12可以由Υlog2(12)/＝4比特表示；TS24可以由Υlog2(24)/＝5比特表示，此处操作符表示数学的取顶函数。例如Υ4.2/＝5。
通过罗列叠加所有可用到的帧率下的TS形成一帧的TSB。在上述具体实施例中，所述TSB可以通过3+4+5＝12比特表示。
空间-时域特征
在细分帧的滑动窗口上计算每一帧的空间-时域特征(STS)。帧可以采用如前所述的不同方式来细分以计算多种分辨率下的SS。在一个具体实施例中，所述帧被细分为2×2块。在一帧中采用与前述相同的方式计算各块的TS，为每个下采样组的每帧产生4个TS。通过按顺序扫描次序收集所产生的TS形成STS，并将它们置入一个向量。通过罗列叠加所有可用帧率下的STS，形成STSB。在该具体实施例中，该STSB可以通过4*(3+4+5)＝48比特表示。
来自空间和时域特征的指纹
收集一帧中的SSB、TSB和可选的STSB来形成相应帧的指纹块(FB)。与视频对象中各帧相对应的FB序列定义为该视频对象的指纹。在本文所描述的具体实施例中，没有STSB时FB可以表示为84比特，而有STSB时，FB可以表示为132比特。对于帧率为每秒30帧的视频对象，如此定义的FB具有2520比特/秒的数据率(如果包括STSB为3930比特/秒)。
如上所述，图1为根据本发明一实施例标识数字视频对象和为数字视频对象生成指纹的简化方法。这幅图仅仅是一个示例，不应当以此不恰当地限制权利要求的范围。本领域技术人员可以认识到许多变化、替换和更改。方法100包括用于接收视频对象的步骤110，用于获取下一帧的步骤120，用于确定一个或多个空间特征的步骤130，用于确定一个或多个时域特征的步骤140，用于获得一个或多个空间-时域特征的步骤150，用于存储指纹块的步骤160，和用于确定是否所有帧已处理的步骤170。虽然上述内容显示利用该方法的选择步骤组，但可以有多种替换、更改和变化。例如，某些步骤可以被展开和/或合并。另一些步骤可以被插入上面提示的那些步骤中。依赖于实施例，步骤次序可以相互交换被其它步骤所代替。作为一个示例，该方法的某些或所有步骤可以被计算机或处理器直接通过代码执行。在另一个示例中，该方法的某些或所有步骤根据指令执行，该指令包含于计算机程序产品的计算机可读媒体中。这些步骤的进一步的细节可在本说明书全文中找到。
在步骤110中，视频对象被接收后，对该视频对象进行处理。例如，所述视频对象是一段视频，比如一段数字视频。在另一示例中，所述视频对象包括根据图1获取或处理的一个或多个帧。在一个实施例中，这些帧按照它们的播放次序处理。在另一个实施例中，对于每一帧，确定空间特征块(SSB)、时域特征块(TSB)和/或空间-时域特征块(STSB)。例如，所述SSB包括一个或多个在一个或多个分辨率下的空间特征(SS)；所述TSB包括一个或多个在一个或多个帧率中的时域特征(TS)；和/或所述STSB包括一个或多个在一个或多个分辨率和一个或多个帧率中的空间-时域特征(STS)。在又一个实施例中，同一帧的所述SSB、TSB和/或STSB组成至少是该帧的指纹块的一部分。例如，一个指纹块即为一个帧指纹。根据图1，当存储所述指纹块之后，在步骤170中确定是否所有帧都已被处理。如果并非所有帧都已被处理，则获取和处理下一帧。根据本发明的一实施例，按照帧次序的所有指纹块序列组成至少是所述视频对象的指纹的一部分。
此处进一步强调，图1仅仅是一个示例，不能以此不恰当地限制权利要求的范围。本领域技术人员可以认识到许多变化、替换和更改。例如，用于确定是否所有帧都已被处理的步骤170，可以被用于确定附加帧是否需要被处理的步骤所替换。在另一个示例中，一个或多个用于确定一个或多个空间特征的步骤130，用于确定一个或多个时域特征的步骤140，和用于确定一个或多个空间-时域特征的步骤150可以被跳过。
如上所述，图2示出了根据本发明一实施例，为确定多分辨率下的空间特征而细分一帧的示例。图2包括图2(a)和图2(b)。这些图仅仅只是示例，不能以此不恰当地限制权利要求的范围。本领域技术人员可以认识到许多变化、替换和更改。
如图2(a)所示，根据一个实施例，一帧被分为mb乘nb个块。例如，mb和nb都是正整数。在另一示例中，mb和nb在数值上相同或不同。在又一示例中，所有mb乘nb块具有相同大小。如图2(b)所示，根据一实施例，该帧被分为mh乘nh个块。例如，mh和nh都是正整数。在另一示例中，mh和nh在数值上相同或不同。在又一示例中，所有mh乘nh个块具有相同大小。
在一个实施例中，基于mb乘nb个块的空间特征(SS)被称为基空间特征(BSS)，且基于mh乘nh个块的空间特征(SS)被称为高分辨率下的空间特征(SS)。例如，mh大于mb，和/或nh大于nb。在另一示例中，mb和nb都等于2，且mh和nh都等于2乘以2n，其中n为正整数，在又一示例中，mb和nb都等于3，且mh和nh都等于3乘以2n。
如上所论述，图3所示为根据本发明一实施例，确定基于2×2块的基空间特征(BSS)的步骤。图3包括图3(a)、(b)和(c)。这些图表仅仅是示例，不能以此不恰当地限制权利要求的范围。本领域技术人员可以认识到许多变化、替换和更改。例如，基于mb乘nb的块的BSS可通过实质上相同的方式来计算，即使mb或nb或二者都不等于2。在另一个示例中，基于mh乘nh的块的SS可通过实质上相同的方式来计算。
如图3所示，用于确定基于mb乘nb或mh乘nh的块的空间特征的方法包括以下三个步骤：
1.对于每一块，按如下确定像素值的均值：
B i = Σ k = 1 Ni x ( k ) / N i
其中，Bi是第i个块的像素值均值，x(k)是第i个块中第k个像素的像素值，Ni是第i个块的像素总数。在一个实施例中，i＝1、2、...、mb×nb。在另一个实施例中，i＝1、2、...、mh×nh。
2.为每块确定等级数。例如比较各块的Bi的值，且指定Bi的次序等级数至相应的块。在一个实施例中，块的总数为mb×nb，故次序等级数为1至mb×nb，在另一个实施例中，块的总数为mh×nh，故次序等级数为1至mh×nh。
3.基于等级数确定空间特征。例如，空间特征为BSS，或高分辨率下的SS。在另一示例中，所述空间特征包括向量。在该向量中，该块的等级数按照这些块在该帧中的物理位置来排列。在另一实施例中，按照顺序扫描次序收集等级数，由此生成空间特征。
根据本发明的一个实施例，当一帧在多分辨率下的空间特征确定后，通过罗列叠加一个或多个更高分辨率下的BSS和SS，确定SSB。
图4为根据本发明的一个实施例，示出用于计算时域特征的滑窗的定位。此图仅仅是示例，不能以此不恰当地限制权利要求的范围。本领域技术人员可以认识到许多变化、替换和更改。
如图4所示，对于每一帧，滑窗如此定位，使得当前帧位于该窗的右边缘。每次沿时间轴将该窗的位置移动一帧。窗的宽度是可调参数。在一个实施例中，滑窗的宽度在时间上为1秒。例如，多个帧落入滑窗，且这些帧的数目依赖于该视频对象的帧率。根据一实施例，如果用于确定时域特征的帧率是该视频对象的原始帧率，则所述帧或多帧是该视频的原始帧或多帧。根据另一实施例，如果用于确定时域特征的帧率不同于该视频对象的原始帧率，所述帧或多帧为该视频对象的采样帧或多帧。例如，用于确定时域特征的帧率低于该视频对象的原始帧率，则对该视频对象进行时域上的下采样。
对于所用的特定采样帧率，确定时域特征的方法包括以下三个步骤：
1.确定一帧与其相邻帧间的差值，例如，计算两个连续帧的相应像素间的绝对误差和如下：
D i = Σ k = 1 N | x i ( k ) - x i - 1 ( k ) |
其中，i是一帧的标号。例如，在该滑窗中计算每一帧的Di。另外，k代表第k个像素且N代表该帧的总像素数。
2.确定当前帧的等级数。例如，比较滑窗内所有帧的Di值，且将Di的次序等级数赋予相应帧。在一个实施例中，把相应的次序等级数赋予位于滑窗的右边缘的当前帧。
3.记录当前帧的次序等级数，作为当前帧的时域特征。
根据本发明的实施例，当确定了一帧基于多帧率的时域特征后，通过罗列叠加多帧率下的TS确定TSB。
如上所述，根据本发明的实施例，在细分帧的滑窗上计算每一帧的空间-时域特征(STS)。例如，一帧被分为m乘n个块，其中m和n都是正整数。在另一示例中，m和n在数值上相等或不等。在又一示例中，所有m乘n个块均具有相同大小。
在一个实施例中，计算帧中每一块的TS。对于所用的特定采样帧率，确定每一块的时域特征的方法包括如下两个步骤：
1.确定一帧上的一块与一相邻帧上的对应块之间的差值。根据一个实施例，如果用于确定时域特征的帧率是该视频对象的原始帧率，则所述帧是该视频对象的原始帧。根据另一个实施例，如果用于确定时域特征的帧率不同于该视频对象的原始帧率，所述帧为该视频对象的采样帧。例如，用于确定时域特征的帧率低于该视频对象的原始帧率，则对该视频对象进行时域上的下采样。
例如，计算两连续帧上的两相邻块的相应像素间的绝对误差和如下：
D i = Σ k = 1 N | x i ( k ) - x i - 1 ( k ) |
其中i是帧的标号。例如，计算滑窗内每一帧的对应块的Di。另外，k代表相对应块中第k个像素，且N代表该块中的总像素数。
2.为当前帧上的块确定等级数。例如，比较滑窗内所有帧的相对应块间的Di值，且将Di的次序等级数指定给相应块。在一个实施例中，把次序等级数赋给位于滑窗的右边缘的当前帧。
根据实施例，重复这两个步骤，确定当前帧所有m乘n个块的次序等级数。基于当前帧的块的等级数确定所述空间-时域特征。例如，所述空间-时域特征包括一个向量。在该向量中，该块的等级数按照这些块在当前帧内的物理位置排列。在一个实施例中，按照顺序扫描次序收集等级数，并由此生成空间-时域特征。
如上所述，空间-时域特征是通过在相应帧率下计算当前帧中每一块的TS所得到的。在一个实施例中，基于当前帧的多帧率确定空间-时域特征，且根据本发明的实施例，通过罗列叠加多帧率下的STS确定所述STSB。
根据本发明的实施例，对于每一帧，一个或多个SSB、TSB和STSB，具有或不具有其它信息，能够形成该对应帧的指纹块(FB)。例如，指纹块(FB)为帧指纹，其包含一个或多个空间特征、一个或多个时域特征和/或一个或多个空间-时域特征。根据本发明的另一个实施例，对于视频对象的帧序列，相应的FB序列可以用作该视频的指纹。例如，如果用于确定时域特征的帧率是该视频对象的原始帧率，则所述帧是该视频的原始帧。根据另一个实施例，如果用于确定时域特征的帧率不同于该视频对象的原始帧率，所述帧为该视频对象的采样帧。根据本发明的实施例，在数据库中存储该视频对象的指纹。例如，该数据库包括一个或多个相应视频对象的一个或多个指纹。
图6为根据本发明实施例，实施用于标识数字视频对象和为视频数字对象生成指纹的方法100的简化系统。此图仅仅是示例，不能以此不恰当地限制权利要求的范围。本领域技术人员可以认识到许多变化、替换和更改。系统600包括解码器模块610、指纹生成模块620、指纹数据库630和应用策略模块640。虽然如上已经示出该系统使用选择组，还具有许多替换、更改和变化。例如，某些模块可以被展开和/或合并。另一些模块可以被插入上面提示的那些模块中。依赖于实施例，模块的排列可以与其他可替代的相互交换。作为一个示例，该方法的某些或所有步骤可以由计算机或处理器直接通过代码实现。在另一个示例中，该方法的某些或所有步骤根据指令执行，所述指令包含于计算机程序产品的计算机可读媒体中。这些步骤的进一步细节可在本说明书全文中找到。
如图6所示，输入视频被解码器模块610解码，并被传输至指纹生成模块620。根据本发明的实施例，指纹生成模块620执行方法100。例如，根据图1、2、3、4和/或5实现指纹生成模块620。为识别视频，产生的视频指纹与存储于指纹数据库中的指纹进行比较，识别结果与相关元数据(例如视频内容的题目和所有权)一起返回给应用程序。基于该识别结果，该应用程序在应用策略模块640采用某种策略。例如，如果该视频被识别为盗版或拷贝，则该应用程序采用过滤策略。
如上所论述且在此进一步强调，图6仅仅是示例，不能以此不恰当地限制权利要求的范围。本领域技术人员可以认识到许多变化、替换和更改。例如，模块610、620、630和640中任一个既可以是硬件，也可以是软件，或软件和硬件的结合。在另一个示例中，指纹数据库630可以嵌入在应用程序中或处于位于本地硬驱或远端服务器的应用程序之外。
根据本发明的另一实施例，用于为视频对象生成指纹的方法包括获取与视频对象相关的多个帧。另外，该方法包括，对于多帧的每一帧，处理与所述多帧相关的信息，基于至少与多帧中每一帧相关的信息，确定多帧中每一帧的多个空间特征，以及基于至少与多帧相关的信息，确定多帧中每一帧的多个时域特征。多个空间特征分别与多个分辨率相对应，多个时域特征分别与多个帧率相对应。此外，该方法包括，对于多帧中的每一帧，处理与多个空间特征和多个时域特征相关的信息，并确定多帧中每一帧的帧指纹，所述帧指纹包括分别与多个分辨率相对应的多个空间特征，以及分别与多个帧率相对应的多个时域特征。另外，该方法包括分别为多帧处理多个帧指纹，所述多个帧指纹包括多帧中每一帧的帧指纹。此外，该方法包括确定所述视频对象的视频指纹，所述视频指纹包括该多个帧指纹。例如，根据图1、2、3、4和/或5实现该方法。
根据本发明的又一实施例，用于为视频对象的一帧生成空间特征的方法包括获取与视频对象相关的一帧，并将该帧分为多个块，多个块分别对应于多个位置。多个块中每一块包括多个像素，且多个像素分别对应于多个像素值。另外，该方法包括分别为多个块确定多个平均像素值，处理多个平均像素值，并基于至少与多个平均像素值相关的信息，分别确定多个块的多个等级，多个等级中的每一个与一个块相对应。另外，该方法包括处理与多个等级相关的信息，基于至少与多个等级和多个位置相关的信息，确定等级次序。该帧的空间特征包括与所述等级次序相关的信息。例如，根据图1、2和/或3实现该方法。
根据本发明的又一实施例，用于为视频对象的一帧生成时域特征的方法包括获取与视频对象相关的第一组多帧。所述第一组多帧包括至少一帧，第一组多帧中每一帧包括第一组多像素，并与相邻帧相对应，且所述相邻帧包括第二组多像素。另外，该方法包括处理与第一组多帧相关的信息，分别确定第一组多帧的多个差值。所述多个差值中的每一个与所述第一组多帧中的每一帧及其相邻帧相对应。另外，该方法包括处理与多个差值相关的信息，基于至少与多个差值相关的信息，分别确定与所述第一组多帧相对应的多个等级。所述多个等级包括与该帧相对应的一个等级，且该等级为该帧的一个时域特征。例如，根据图1、4和/或5实现该方法。
根据本发明的又一实施例，用于为视频对象的一帧生成空间-时域特征的方法包括获取与该视频对象相关的第一组多帧。所述第一组多帧包括至少一帧，且第一组多帧中每一帧与一个相邻帧相对应。另外，该方法包括划分所述第一组多帧中每一帧。所述划分帧包括分别与多个位置相对应的第一组多块，第一组多块中的每一块与包含第一组多块中每一块的第二组多块相对应，且第二组多块分别与第一组多帧上的块相关。另外，该方法包括处理与第一组多帧相关的信息。此外，该方法包括，对于第一组多块中的每一块，分别确定与第二组多块的多个差值。多个差值中每一个与第二组多块中每一块及其相邻帧中的相应块相关。另外，该方法包括，对于第一组多块中每一块，处理与多个差值相关的信息，基于至少是与多个差值相关的信息，分别确定与第二组多块相对应的第一组多等级，处理与第一组多等级相关的信息，基于至少是与第一组多等级相关的信息，分别确定第一组多块中每一块的等级。此外，该方法包括处理与第二组多等级相关的信息，第二组多等级分别与第一组多块相对应，基于至少是与第二组多等级和第一组多块的多个位置相关的信息，确定等级次序。所述第二组多等级包括该等级，且该帧的空间-时域特征包含与该等级次序相关的信息。例如，根据图1、2、3、4和/或5实现该方法。
根据本发明的又一实施例，计算机程序产品包括计算机可读媒体，该计算机可读媒体包括用于为视频对象生成指纹的指令。所述计算机可读媒体包括一条或多条用于获取与视频对象相关的多帧的指令。另外，该计算机可读媒体包括一条或多条指令，用于对于所述多帧中每一帧，处理与所述多帧相关的信息，基于至少是与多帧中每一帧相关的信息，确定多帧的每一帧的多个空间特征，以及基于至少是与多帧相关的信息，确定多帧的每一帧的多个时域特征。多个空间特征分别与多个分辨率相对应，多个时域特征分别与多个帧率相对应。此外，所述一条或多条指令用于，对于多帧中的每一帧，处理与多个空间特征和多个时域特征相关的信息，并确定多帧的每一帧的帧指纹，帧指纹包括分别与多个分辨率相对应的多个空间特征，以及分别与多个帧率相对应的多个时域特征。另外，所述计算机可读媒体包括一条或多条指令，用于分别为多帧处理处理多个帧指纹，和一条或多条指令，用于确定所述视频对象的视频指纹。多个帧指纹包括多帧中每一帧的帧指纹，且所述视频指纹包括该多个帧指纹。例如，根据图1、2、3、4、5和/或6实现该计算机程序产品。
根据本发明的又一实施例，计算机程序产品包括计算机可读媒体，该计算机可读媒体包括用于为视频对象中一帧生成空间特征的指令。所述计算机可读媒体包括一条或多条指令，用于获取与视频对象相关的一帧，以及一条或多条指令，用于将该帧分为多个块。多个块分别对应于多个位置。多个块中每一块包括多个像素，且多个像素分别对应于多个像素值。另外，该计算机可读媒体包括一条或多条指令，用于分别为多个块确定多个平均像素值，以及一条或多条指令，用于处理多个平均像素值，以及一条或多条指令，用于基于至少是与多个平均像素值相关的信息，分别确定多个块的多个等级，每个等级与一个块相对应。另外，该计算机可读媒体包括一条或多条指令，用于处理与多个等级相关的信息，以及一条或多条指令，用于基于至少是与多个等级和多个位置相关的信息，确定等级次序。该帧的空间特征包括与所述等级次序相关的信息。例如，根据图1、2、3和/或6实现该计算机程序产品。
根据本发明的又一实施例，计算机程序产品包括计算机可读媒体，该计算机可读媒体包括用于为视频对象中一帧生成时域特征的指令。所述计算机可读媒体包括一条或多条指令，用于获取与视频对象相关的第一组多帧。所述第一组多帧包括至少一帧，第一组多帧中每一帧包括第一组多像素并与一个相邻帧相对应，且所述相邻帧包括第二组多像素。另外，所述计算机可读媒体包括一条或多条指令，用于处理与第一组多帧相关的信息，以及一条或多条指令，分别确定第一组多帧的多个差值。所述多个差值中的每一个与所述第一组多帧中每一帧及相邻帧相对应。另外，所述计算机可读媒体包括一条或多条指令，用于处理与多个差值相关的信息，以及一条或多条指令，用于基于至少是与多个差值相关的信息，分别确定与所述第一组多帧相对应的多个等级。所述多个等级包括与该帧相对应的等级，且该等级为该帧的一个时域特征。例如，根据图1、4、5和/或6实现该计算机程序产品。
根据本发明的又一实施例，计算机程序产品包括计算机可读媒体，该计算机可读媒体包括用于为视频对象中一帧生成空间-时域特征的指令。所述计算机可读媒体包括一条或多条指令，用于获取与该视频对象相关的第一组多帧。所述第一组多帧包括至少一帧，且第一组多帧中每一帧与一个相邻帧相对应。另外，所述计算机可读媒体包括一条或多条指令，用于划分所述第一组多帧中每一帧。划分帧包括分别与多个位置相对应的第一组多块，第一组多块中每一块与包含第一组多块中每一块的第二组多块相对应，且第二组多块分别与第一组多帧上的块相对应。另外，所述计算机可读媒体包括一条或多条指令，用于处理与第一组多帧相关的信息。此外，所述计算机可读媒体包括一条或多条指令，用于对于第一组多块中的每一块，分别确定与第二组多块的多个差值，处理与多个差值相关的信息，基于至少是与多个差值相关的信息，分别确定与第二组多块相对应的第一组多等级，处理与第一组多等级相关的信息，和基于至少是与第一组多等级相关的信息，分别确定第一组多块中每一块的等级。多个差值中每一个与第二组多块中每一个及其相邻帧中的相应块相关。另外，所述计算机可读媒体包括一条或多条指令，用于处理与第二组多等级相关的信息，第二组多等级分别与第一组多块相对应，以及一条或多条指令，用于基于至少是与第二组多等级和第一组多块的多个位置相关的信息，确定等级次序。所述第二组多等级包括该等级，且该帧的空间-时域特征包含与该等级次序相关的信息。例如，根据图1、2、3、4，5和/或6实现该计算机程序产品。
本发明具有多方面的优点。本发明的某些实施例能够生成稳健的指纹，对于同一视频对象的处于不同格式、比特率或分辨率，和/或处于某种变更和/或变形的情况下，由本发明产生的指纹不发生改变或改变很小。本发明的一些实施例能生成高度辨识性的指纹，由此两个包含不同视频内容的视频对象会产生截然不同的指纹。本发明的某些实施例能够生成便于存储的紧凑指纹，且能存储为有利于高效搜索和匹配的形式。
虽然描述了本发明的具体实施例，但本领域技术人员应该认识到还有等同于所描述实施例的其它实施例。相应地，应该认识到本发明并不限于所阐明的具体实施例，而仅限于所附加权利要求的范围。

Claims (31)

1、一种为视频对象生成指纹的方法，该方法包括：
获取与视频对象相关的多帧；
对于多帧中的每一帧，
处理与所述多帧相关的信息；
基于至少与多帧中的每一帧相关的信息，确定多帧的每一帧的多个空间特征，所述多个空间特征分别与多个分辨率相对应；
基于至少与多帧相关的信息，确定多帧的每一帧的多个时域特征，所述多个时域特征分别与多个帧率相对应；
处理与多个空间特征和多个时域特征相关的信息；
确定多帧中每一帧的帧指纹，所述帧指纹包括分别与多个分辨率相对应的多个空间特征，以及分别与多个帧率相对应的多个时域特征；
分别为多帧处理多个帧指纹，所述多个帧指纹包括多帧中每一帧的帧指纹；
确定所述视频对象的视频指纹，所述视频指纹包括该多个帧指纹。
2、如权利要求1中的方法，进一步包括：
对于多帧中的每一帧，
基于至少与多帧相关的信息，确定多帧中每一帧的多个空间-时域特征，所述多个空间-时域特征分别与多个分辨率和帧率的组合相对应；
处理与多个空间-时域特征相关的信息；
其中所述帧指纹进一步包括分别与多个分辨率和帧率的组合相对应的多个空间-时域特征。
3、如权利要求1中的方法，进一步包括：
对于多帧中的每一帧，存储多帧中每一帧的所述帧指纹。
4、如权利要求1中的方法，进一步包括存储视频对象的视频指纹。
5、如权利要求1中的方法，其中，确定多个空间特征包括，对于多个分辨率中的每一个，将多帧中的每一帧划分为多行和多列，多个分辨率中的每一个至少被行和列的数目所表示。
6、如权利要求1中的方法，其中，确定多个时域特征包括，对于多个帧率中的每一个，确定对应于多帧中每一帧及与多帧中每一帧相关的相邻帧的差值，多个帧率中的每一个与多帧中每一帧与相邻帧间的时间间隔成反比。
7、一种用于为视频对象中的一帧生成空间特征的方法，该方法包括：
获取与视频对象相关的一帧；
将该帧分为多个块，多个块分别对应于多个位置，多个块中每一块包括多个像素，且多个像素分别对应于多个像素值；
分别为多个块确定多个平均像素值；
处理多个平均像素值；
基于至少与多个平均像素值相关的信息，分别确定多个块的多个等级，多个等级中的每一个与一个块相对应；
处理与多个等级相关的信息；
基于至少与多个等级和多个位置相关的信息，确定等级次序；
其中该帧的空间特征包括与所述等级次序相关的信息。
8、如权利要求7中的方法，其中，确定等级次序包括：
基于预定模式扫描多个块；
作为扫描步骤的结果，确定块的次序；
基于块次序中相应块的位置，排列多个等级中的每一个。
9、如权利要求8中所述的方法，其中所述预定模式与顺序扫描相关。
10、如权利要求7中的方法，其中多个等级为多个次序等级。
11、如权利要求7中的方法，其中：
划分该帧为多个块包括划分该帧为多行和多列；
该帧的空间特征与由至少是行数和列数所代表的分辨率相对应。
12、如权利要求11中的方法，其中分辨率为基分辨率，且所述空间特征为基空间特征。
13、一种为视频对象的一帧生成时域特征的方法，该方法包括：
获取与视频对象相关的第一组多帧，所述第一组多帧包括至少一帧，第一组多帧中每一帧包括第一组多像素，并与相邻帧相对应，所述相邻帧包括第二组多像素；
处理与第一组多帧相关的信息；
分别确定第一组多帧的多个差值，所述多个差值中的每一个与所述第一组多帧中每一帧和相邻帧相对应；
处理与多个差值相关的信息；
基于至少与多个差值相关的信息，分别确定与所述第一组多帧相对应的多个等级，所述多个等级包括与该帧相对应的一个等级，该等级为该帧的一个时域特征。
14、如权利要求13中的方法，进一步包括：
获取第二组多帧；
处理与第二组多帧相关的信息；
基于至少与第二组多帧相关的信息，确定所述第一组多帧。
15、如权利要求14中的方法，其中确定所述第一组多帧包括：
接收与包括开始时间和终止时间的一时间段相关的信息；
置该帧于该时间段的开始时间；
从第二组多帧中选择该时间段内的至少一些帧，所述第一组多帧包括这些选择帧。
16、如权利要求13中的方法，其中确定多个差值包括：
对于第一组多帧中的每一帧，
分别确定第一组多像素的第一数值与第二组多像素的第二数值间差别的大小；
累加该差别的大小，以确定多个差值中的一个。
17、如权利要求13中的方法，其中多个等级为多个次序等级。
18、如权利要求13中的方法，其中：
第一组多帧与第一帧率相对应，所述等级作为与第一帧率相对应帧的时域特征。
19、如权利要求18中的方法，其中
视频对象与第二帧率相对应；
如果第一帧率低于第二帧率，第一组多帧为所述视频对象的下采样帧。
20、一种为视频对象的一帧生成空间-时域特征的方法，该方法包括：
获取与该视频对象相关的第一组多帧，所述第一组多帧包括至少一帧，且第一组多帧中每一帧与一个相邻帧相对应；
划分所述第一组多帧中每一帧，其中划分帧包括分别与多个位置相对应的第一组多块，第一组多块中每一块与包含第一组多块中每一块的第二组多块相对应，第二组多块分别与第一组多帧上的块相关；
包括处理与第一组多帧相关的信息；
对于第一组多块中的每一块，
分别确定第二组多块的多个差值，多个差值中每一个与第二组多块中每一块及其相邻帧中的相应块相关；
处理与多个差值相关的信息；
基于至少与多个差值相关的信息，分别确定与第二组多块相对应的第一组多等级；
处理与第一组多等级相关的信息；
基于至少与第一组多等级相关的信息，确定第一组多块中每一块的等级；
处理与第二组多等级相关的信息，第二组多等级分别与第一组多块相对应，第二组多等级包括该等级；
基于至少与第二组多等级和第一组多块的多个位置相关的信息，确定等级次序；
其中该帧的空间-时域特征包含与该等级次序相关的信息。
21、如权利要求20中的方法，其中第一组多块在时间上为同时刻的同一帧上。
22、如权利要求20中的方法，其中第二组多块沿时域轴分别在不同帧的相同位置上。
23、如权利要求20中的方法，其中确定等级次序包括：
基于预定模式扫描第一组多块；
作为扫描步骤的结果，确定帧上块的次序；
基于块次序中相应块的位置，排列第二组多等级中的每一个。
24、如权利要求20中的方法，其中：
第一组多帧与第一帧率相对应，该帧的所述空间-时域特征与该第一帧率相对应。
25、如权利要求24中的方法，其中
所述视频对象与第二帧率相对应；
如果第一帧率低于第二帧率，第一组多帧为所述视频对象的下采样帧。
26、如权利要求20中的方法，进一步包括：
获取第二组多帧；
处理与第二组多帧相关的信息；
基于至少与第二组多帧相关的信息，确定第一组多帧。
27、如权利要求26中的方法，其中确定第一组多帧包括：
接收与包括开始时间和终止时间的一时间段相关的信息；
置该帧于该时间段的开始时间；
从第二组多帧中选择该时间段内的至少一些帧，所述第一组多帧包括这些选择帧。
28、一种计算机程序产品，包括计算机可读媒体，该计算机可读媒体包括用于为视频对象生成指纹的指令，所述计算机可读媒体包括：
一条或多条用于获取与视频对象相关的多帧的指令；
一条或多条指令，对于所述多帧中的每一帧，
用于处理与所述多帧相关的信息；
基于至少与多帧中每一帧相关的信息，确定多帧的每一帧的多个空间特征，多个空间特征分别与多个分辨率相对应；
基于至少与多帧相关的信息，确定多帧中每一帧的多个时域特征，多个时域特征分别与多个帧率相对应；
处理与多个空间特征和多个时域特征相关的信息；
确定多帧中每一帧的帧指纹，帧指纹包括分别与多个分辨率相对应的多个空间特征，以及分别与多个帧率相对应的多个时域特征；
一条或多条指令，用于分别为多帧处理多个帧指纹，多个帧指纹包括多帧中每一帧的帧指纹；
一条或多条指令，用于确定所述视频对象的视频指纹，所述视频指纹包括该多个帧指纹。
29、一种计算机程序产品，包括计算机可读媒体，该计算机可读媒体包括用于为视频对象的一帧生成空间特征的指令，所述计算机可读媒体包括：
一条或多条指令，用于获取与视频对象相关的一帧；
一条或多条指令，用于将该帧分为多个块，多个块分别对应于多个位置，多个块中的每一块包括多个像素，且多个像素分别对应于多个像素值；
一条或多条指令，用于分别为多个块确定多个平均像素值；
一条或多条指令，用于处理多个平均像素值；
一条或多条指令，用于基于至少与多个平均像素值相关的信息，分别确定多个块的多个等级，多个等级中的每一个与一个块相对应；
一条或多条指令，用于处理与多个等级相关的信息；
一条或多条指令，用于基于至少与多个等级和多个位置相关的信息，确定等级次序；
其中该帧的空间特征包括与所述等级次序相关的信息。
30、一种计算机程序产品，包括计算机可读媒体，该计算机可读媒体包括用于为视频对象中的一帧生成时域特征的指令，所述计算机可读媒体包括：
一条或多条指令，用于获取与视频对象相关的第一组多帧，所述第一组多帧包括至少一帧，第一组多帧中每一帧包括第一组多像素并与一个相邻帧相对应，所述相邻帧包括第二组多像素；
一条或多条指令，用于处理与第一组多帧相关的信息；
一条或多条指令，用于分别确定第一组多帧的多个差值，所述多个差值中的每一个与所述第一组多帧中的每一帧和相邻帧相对应；
一条或多条指令，用于处理与多个差值相关的信息；
一条或多条指令，用于基于至少与多个差值相关的信息，分别确定与所述第一组多帧相对应的多个等级，所述多个等级包括与该帧相对应的等级，该等级即为该帧的一个时域特征。
31、一种计算机程序产品，包括计算机可读媒体，该计算机可读媒体包括用于为视频对象中的一帧生成空间-时域特征的指令，所述计算机可读媒体包括：
一条或多条指令，用于获取与该视频对象相关的第一组多帧，所述第一组多帧包括至少一帧，第一组多帧中每一帧与一个相邻帧相对应；
一条或多条指令，用于划分所述第一组多帧中的每一帧，其中划分帧包括分别与多个位置相对应的第一组多块，第一组多块中的每一块与包含第一组多块中每一块的第二组多块相对应，且第二组多块分别与第一组多帧上的块相对应；
一条或多条指令，用于处理与第一组多帧相关的信息；
一条或多条指令，用于对于第一组多块中的每一块，
分别确定第二组多块的多个差值，所述多个差值中的每一个与第二组多块中每一块和相邻帧上相对应的块相关；
处理与所述多个差值相关的信息；
基于至少与多个差值相关的信息，分别确定与第二组多块相对应的第一组多等级；
处理与第一组多等级相关的信息；
基于至少与第一组多等级相关的信息，分别确定第一组多块中每一块的等级；
一条或多条指令，用于处理与第二组多等级相关的信息，第二组多等级分别与第一组多块相对应，所述第二组多等级包含该等级；
一条或多条指令，用于基于至少与第二组多等级和第一组多块的多个位置相关的信息，确定等级次序；
其中该帧的空间-时域特征包含与该等级次序相关的信息。
CN2007800010980A 2006-04-28 2007-04-05 基于多分辨率、多帧率空间和时域特征的数字视频对象的指纹生成方法及系统 Active CN101351986B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US79578606P 2006-04-28 2006-04-28
US60/795,786 2006-04-28
US11/681,567 2007-03-02
US11/681,567 US8009861B2 (en) 2006-04-28 2007-03-02 Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures
PCT/US2007/066088 WO2007127590A2 (en) 2006-04-28 2007-04-05 Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures

Publications (2)

Publication Number Publication Date
CN101351986A true CN101351986A (zh) 2009-01-21
CN101351986B CN101351986B (zh) 2011-06-15

Family

ID=38648349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800010980A Active CN101351986B (zh) 2006-04-28 2007-04-05 基于多分辨率、多帧率空间和时域特征的数字视频对象的指纹生成方法及系统

Country Status (4)

Country Link
US (1) US8009861B2 (zh)
JP (1) JP4932903B2 (zh)
CN (1) CN101351986B (zh)
WO (1) WO2007127590A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098508A (zh) * 2009-10-05 2011-06-15 三菱电机株式会社 多媒体签名的编码和解码
CN106663102A (zh) * 2014-04-04 2017-05-10 Teletrax有限公司 用于生成信息信号的指纹的方法和装置
CN107911641A (zh) * 2017-10-27 2018-04-13 北京达佳互联信息技术有限公司 视频水印生成方法、装置及终端
CN107924464A (zh) * 2015-06-26 2018-04-17 辛纳普蒂克斯公司 多分辨率指纹传感器

Families Citing this family (192)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7362775B1 (en) 1996-07-02 2008-04-22 Wistaria Trading, Inc. Exchange mechanisms for digital information packages with bandwidth securitization, multichannel digital watermarks, and key management
US5613004A (en) 1995-06-07 1997-03-18 The Dice Company Steganographic method and device
US7664263B2 (en) 1998-03-24 2010-02-16 Moskowitz Scott A Method for combining transfer functions with predetermined key creation
US6205249B1 (en) 1998-04-02 2001-03-20 Scott A. Moskowitz Multiple transform utilization and applications for secure digital watermarking
US7457962B2 (en) * 1996-07-02 2008-11-25 Wistaria Trading, Inc Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data
US7159116B2 (en) 1999-12-07 2007-01-02 Blue Spike, Inc. Systems, methods and devices for trusted transactions
US7095874B2 (en) 1996-07-02 2006-08-22 Wistaria Trading, Inc. Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data
US5889868A (en) 1996-07-02 1999-03-30 The Dice Company Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data
US7346472B1 (en) 2000-09-07 2008-03-18 Blue Spike, Inc. Method and device for monitoring and analyzing signals
US7177429B2 (en) 2000-12-07 2007-02-13 Blue Spike, Inc. System and methods for permitting open access to data objects and for securing data within the data objects
US7730317B2 (en) 1996-12-20 2010-06-01 Wistaria Trading, Inc. Linear predictive coding implementation of digital watermarks
US7664264B2 (en) 1999-03-24 2010-02-16 Blue Spike, Inc. Utilizing data reduction in steganographic and cryptographic systems
US8095796B2 (en) 1999-05-19 2012-01-10 Digimarc Corporation Content identifiers
US7475246B1 (en) 1999-08-04 2009-01-06 Blue Spike, Inc. Secure personal content server
US7127615B2 (en) 2000-09-20 2006-10-24 Blue Spike, Inc. Security based on subliminal and supraliminal channels for data objects
US7287275B2 (en) 2002-04-17 2007-10-23 Moskowitz Scott A Methods, systems and devices for packet watermarking and efficient provisioning of bandwidth
CN2792450Y (zh) * 2005-02-18 2006-07-05 冯锦满 聚能保健仪
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US9747420B2 (en) 2005-10-26 2017-08-29 Cortica, Ltd. System and method for diagnosing a patient based on an analysis of multimedia content
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US9031999B2 (en) 2005-10-26 2015-05-12 Cortica, Ltd. System and methods for generation of a concept based database
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US9529984B2 (en) 2005-10-26 2016-12-27 Cortica, Ltd. System and method for verification of user identification based on multimedia content elements
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US10180942B2 (en) 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US9396435B2 (en) 2005-10-26 2016-07-19 Cortica, Ltd. System and method for identification of deviations from periodic behavior patterns in multimedia content
US9256668B2 (en) 2005-10-26 2016-02-09 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US20160321253A1 (en) 2005-10-26 2016-11-03 Cortica, Ltd. System and method for providing recommendations based on user profiles
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US9286623B2 (en) 2005-10-26 2016-03-15 Cortica, Ltd. Method for determining an area within a multimedia content element over which an advertisement can be displayed
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
IL185414A0 (en) * 2005-10-26 2008-01-06 Igal Raichelgauz Large-scale matching system and method for multimedia deep-content-classification
US11003706B2 (en) * 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US9235557B2 (en) 2005-10-26 2016-01-12 Cortica, Ltd. System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page
US9330189B2 (en) 2005-10-26 2016-05-03 Cortica, Ltd. System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US9489431B2 (en) 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US9558449B2 (en) 2005-10-26 2017-01-31 Cortica, Ltd. System and method for identifying a target area in a multimedia content element
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US9087049B2 (en) 2005-10-26 2015-07-21 Cortica, Ltd. System and method for context translation of natural language
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US8266185B2 (en) * 2005-10-26 2012-09-11 Cortica Ltd. System and methods thereof for generation of searchable structures respective of multimedia data content
US9466068B2 (en) 2005-10-26 2016-10-11 Cortica, Ltd. System and method for determining a pupillary response to a multimedia data element
US20070162761A1 (en) 2005-12-23 2007-07-12 Davis Bruce L Methods and Systems to Help Detect Identity Fraud
US8009861B2 (en) * 2006-04-28 2011-08-30 Vobile, Inc. Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures
JP2009542081A (ja) * 2006-06-20 2009-11-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号のフィンガープリントの生成
US8738749B2 (en) 2006-08-29 2014-05-27 Digimarc Corporation Content monitoring and host compliance evaluation
US8707459B2 (en) 2007-01-19 2014-04-22 Digimarc Corporation Determination of originality of content
US9654447B2 (en) 2006-08-29 2017-05-16 Digimarc Corporation Customized handling of copied content based on owner-specified similarity thresholds
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US9179200B2 (en) 2007-03-14 2015-11-03 Digimarc Corporation Method and system for determining content treatment
US10242415B2 (en) 2006-12-20 2019-03-26 Digimarc Corporation Method and system for determining content treatment
US8417037B2 (en) * 2007-07-16 2013-04-09 Alexander Bronstein Methods and systems for representation and matching of video content
US8204314B2 (en) * 2007-12-03 2012-06-19 Vobile, Inc. Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures
US9177209B2 (en) * 2007-12-17 2015-11-03 Sinoeast Concept Limited Temporal segment based extraction and robust matching of video fingerprints
US8312023B2 (en) * 2007-12-21 2012-11-13 Georgetown University Automated forensic document signatures
US8280905B2 (en) * 2007-12-21 2012-10-02 Georgetown University Automated forensic document signatures
CN101965576B (zh) 2008-03-03 2013-03-06 视频监控公司 用于追踪、索引及搜寻的物件匹配
US8347408B2 (en) * 2008-06-30 2013-01-01 Cisco Technology, Inc. Matching of unknown video content to protected video content
US20090327334A1 (en) * 2008-06-30 2009-12-31 Rodriguez Arturo A Generating Measures of Video Sequences to Detect Unauthorized Use
US8259177B2 (en) * 2008-06-30 2012-09-04 Cisco Technology, Inc. Video fingerprint systems and methods
US8587668B2 (en) 2008-07-25 2013-11-19 Anvato, Inc. Method and apparatus for detecting near duplicate videos using perceptual video signatures
US8498487B2 (en) * 2008-08-20 2013-07-30 Sri International Content-based matching of videos using local spatio-temporal fingerprints
CN101673263B (zh) * 2008-09-12 2012-12-05 未序网络科技（上海）有限公司 视频内容的搜索方法
US8340343B2 (en) * 2008-10-31 2012-12-25 General Instrument Corporation Adaptive video fingerprinting
US20100205628A1 (en) 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
KR101369915B1 (ko) 2009-01-23 2014-03-06 닛본 덴끼 가부시끼가이샤 영상 식별자 추출 장치
GB0901262D0 (en) * 2009-01-26 2009-03-11 Mitsubishi Elec R&D Ct Europe Video identification
CA2750406A1 (en) 2009-02-05 2010-08-12 Digimarc Corporation Television-based advertising and distribution of tv widgets for the cell phone
EP2433391A4 (en) 2009-05-21 2013-01-23 Digimarc Corp COMBINATION OF WATERMARK AND FINGERPRINT
US9218530B2 (en) 2010-11-04 2015-12-22 Digimarc Corporation Smartphone-based methods and systems
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
KR101367821B1 (ko) * 2009-12-21 2014-02-26 한국전자통신연구원 계층적 영상블록의 대칭정보를 이용한 비디오 식별 방법 및 장치
US8947595B1 (en) * 2010-01-26 2015-02-03 Google Inc. Fingerprinting to match videos having varying aspect ratios
US8488900B2 (en) 2010-06-23 2013-07-16 Digimarc Corporation Identifying and redressing shadows in connection with digital watermarking and fingerprinting
US9147222B2 (en) 2010-06-23 2015-09-29 Digimarc Corporation Detecting encoded signals under adverse lighting conditions using adaptive signal detection
US8923546B2 (en) 2010-07-02 2014-12-30 Digimarc Corporation Assessment of camera phone distortion for digital watermarking
KR20110010085A (ko) * 2010-12-03 2011-01-31 (주)엔써즈 핑거프린트 정보를 이용한 콘텐츠 서비스 제공 방법 및 시스템
CN103283254B (zh) * 2011-01-05 2018-04-06 汤姆逊许可公司 多屏交互
US20130006951A1 (en) * 2011-05-30 2013-01-03 Lei Yu Video dna (vdna) method and system for multi-dimensional content matching
US20150254342A1 (en) * 2011-05-30 2015-09-10 Lei Yu Video dna (vdna) method and system for multi-dimensional content matching
US20150254343A1 (en) * 2011-05-30 2015-09-10 Lei Yu Video dna (vdna) method and system for multi-dimensional content matching
EP2716041A4 (en) 2011-05-31 2014-10-15 Dolby Lab Licensing Corp VIDEO COMPRESSION WITH RESOLUTION COMPENSATION AND OPTIMIZATION
US8793274B2 (en) 2011-08-08 2014-07-29 Lei Yu System and method for auto content recognition
US20110296452A1 (en) * 2011-08-08 2011-12-01 Lei Yu System and method for providing content-aware persistent advertisements
US20110289532A1 (en) * 2011-08-08 2011-11-24 Lei Yu System and method for interactive second screen
US20160277808A1 (en) * 2011-08-08 2016-09-22 Lei Yu System and method for interactive second screen
US8995708B2 (en) * 2011-09-08 2015-03-31 Samsung Electronics Co., Ltd. Apparatus and method for robust low-complexity video fingerprinting
US8498627B2 (en) 2011-09-15 2013-07-30 Digimarc Corporation Intuitive computing methods and systems
GB2501224B (en) * 2012-01-10 2016-03-09 Qatar Foundation Detecting video copies
JP2015517233A (ja) * 2012-02-29 2015-06-18 ドルビー ラボラトリーズ ライセンシング コーポレイション 改善された画像処理およびコンテンツ送達のための画像メタデータ生成
US9576334B2 (en) 2012-03-26 2017-02-21 Max Abecassis Second screen recipes function
US9609395B2 (en) 2012-03-26 2017-03-28 Max Abecassis Second screen subtitles function
US9578370B2 (en) 2012-03-26 2017-02-21 Max Abecassis Second screen locations function
US9583147B2 (en) 2012-03-26 2017-02-28 Max Abecassis Second screen shopping function
US20130311308A1 (en) * 2012-05-15 2013-11-21 Nvidia Corporation Context-aware 3d advertisement system for games
CN104822429A (zh) 2012-11-28 2015-08-05 辉达公司 掌上游戏机
US11082490B2 (en) 2012-11-28 2021-08-03 Nvidia Corporation Method and apparatus for execution of applications in a cloud system
US9323840B2 (en) * 2013-01-07 2016-04-26 Gracenote, Inc. Video fingerprinting
US9495451B2 (en) 2013-01-07 2016-11-15 Gracenote, Inc. Identifying video content via fingerprint matching
KR101456926B1 (ko) * 2013-06-14 2014-10-31 (주)엔써즈 핑거프린트에 기반한 광고 검출 시스템 및 방법
US9842532B2 (en) 2013-09-09 2017-12-12 Nvidia Corporation Remote display rendering for electronic devices
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
GB2527528B (en) * 2014-06-24 2021-09-29 Grass Valley Ltd Hash-based media search
CN104063706B (zh) * 2014-06-27 2017-02-15 电子科技大学 一种基于surf算法的视频指纹提取方法
US9905233B1 (en) 2014-08-07 2018-02-27 Digimarc Corporation Methods and apparatus for facilitating ambient content recognition using digital watermarks, and related arrangements
US20170150195A1 (en) * 2014-09-30 2017-05-25 Lei Yu Method and system for identifying and tracking online videos
US9443025B1 (en) 2015-07-07 2016-09-13 Yext, Inc. Suppressing duplicate listings on multiple search engine web sites from a single source system given a known synchronized listing
US10762156B2 (en) 2015-07-07 2020-09-01 Yext, Inc. Suppressing duplicate listings on multiple search engine web sites from a single source system triggered by a user
US10594689B1 (en) 2015-12-04 2020-03-17 Digimarc Corporation Robust encoding of machine readable information in host objects and biometrics, and associated decoding and authentication
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
WO2017105641A1 (en) 2015-12-15 2017-06-22 Cortica, Ltd. Identification of key points in multimedia data elements
US9516373B1 (en) 2015-12-21 2016-12-06 Max Abecassis Presets of synchronized second screen functions
US9596502B1 (en) 2015-12-21 2017-03-14 Max Abecassis Integration of multiple synchronization methodologies
US10063917B2 (en) * 2016-03-16 2018-08-28 Sorenson Media Inc. Fingerprint layouts for content fingerprinting
US10474745B1 (en) 2016-04-27 2019-11-12 Google Llc Systems and methods for a knowledge-based form creation platform
US11039181B1 (en) 2016-05-09 2021-06-15 Google Llc Method and apparatus for secure video manifest/playlist generation and playback
US10785508B2 (en) 2016-05-10 2020-09-22 Google Llc System for measuring video playback events using a server generated manifest/playlist
US10595054B2 (en) 2016-05-10 2020-03-17 Google Llc Method and apparatus for a virtual online video channel
US10750216B1 (en) 2016-05-10 2020-08-18 Google Llc Method and apparatus for providing peer-to-peer content delivery
US10771824B1 (en) 2016-05-10 2020-09-08 Google Llc System for managing video playback using a server generated manifest/playlist
US11069378B1 (en) 2016-05-10 2021-07-20 Google Llc Method and apparatus for frame accurate high resolution video editing in cloud using live video streams
US10750248B1 (en) 2016-05-10 2020-08-18 Google Llc Method and apparatus for server-side content delivery network switching
US11032588B2 (en) 2016-05-16 2021-06-08 Google Llc Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
US11760387B2 (en) 2017-07-05 2023-09-19 AutoBrains Technologies Ltd. Driving policies determination
US11899707B2 (en) 2017-07-09 2024-02-13 Cortica Ltd. Driving policies determination
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
US11181911B2 (en) 2018-10-18 2021-11-23 Cartica Ai Ltd Control transfer of a vehicle
US11126870B2 (en) 2018-10-18 2021-09-21 Cartica Ai Ltd. Method and system for obstacle detection
US20200133308A1 (en) 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US10748038B1 (en) 2019-03-31 2020-08-18 Cortica Ltd. Efficient calculation of a robust signature of a media unit
US11700356B2 (en) 2018-10-26 2023-07-11 AutoBrains Technologies Ltd. Control transfer of a vehicle
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
AU2020241952A1 (en) * 2019-03-19 2021-10-07 The Regents Of The University Of California Method for characterizing and identifying substances
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US10796444B1 (en) 2019-03-31 2020-10-06 Cortica Ltd Configuring spanning elements of a signature generator
US10789527B1 (en) 2019-03-31 2020-09-29 Cortica Ltd. Method for object detection using shallow neural networks
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
US10748022B1 (en) 2019-12-12 2020-08-18 Cartica Ai Ltd Crowd separation
US11922532B2 (en) 2020-01-15 2024-03-05 Digimarc Corporation System for mitigating the problem of deepfake media content using watermarking
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
US11756424B2 (en) 2020-07-24 2023-09-12 AutoBrains Technologies Ltd. Parking assist

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4792226A (en) * 1987-02-27 1988-12-20 C.F.A. Technologies, Inc. Optical fingerprinting system
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JP3534368B2 (ja) * 1996-04-03 2004-06-07 株式会社東芝 動画像処理方法及び動画像処理装置
JP2000194727A (ja) * 1998-10-23 2000-07-14 Telecommunication Advancement Organization Of Japan 動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体
JP4130503B2 (ja) * 1998-11-30 2008-08-06 株式会社東芝 電子透かし埋込み装置
WO2001003005A1 (fr) * 1999-06-30 2001-01-11 Sharp Kabushiki Kaisha Appareil d'enregistrement d'informations de recherche d'images dynamiques et dispositif de recherche d'images dynamiques
EP1300023A2 (en) * 2000-06-30 2003-04-09 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
WO2003062960A2 (en) * 2002-01-22 2003-07-31 Digimarc Corporation Digital watermarking and fingerprinting including symchronization, layering, version control, and compressed embedding
US7366909B2 (en) * 2002-04-29 2008-04-29 The Boeing Company Dynamic wavelet feature-based watermark
US7382905B2 (en) * 2004-02-11 2008-06-03 Microsoft Corporation Desynchronized fingerprinting method and system for digital multimedia data
TWI288873B (en) * 2004-02-17 2007-10-21 Mitsubishi Electric Corp Method for burying watermarks, method and device for inspecting watermarks
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US7777790B2 (en) * 2005-01-27 2010-08-17 Technion Research & Development Foundation Ltd. Acquisition of image sequences with enhanced resolution
US8009861B2 (en) * 2006-04-28 2011-08-30 Vobile, Inc. Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098508A (zh) * 2009-10-05 2011-06-15 三菱电机株式会社 多媒体签名的编码和解码
CN102098508B (zh) * 2009-10-05 2016-08-17 三菱电机株式会社 多媒体签名的编码和解码
CN106663102A (zh) * 2014-04-04 2017-05-10 Teletrax有限公司 用于生成信息信号的指纹的方法和装置
CN106663102B (zh) * 2014-04-04 2021-05-07 Teletrax有限公司 用于生成信息信号的指纹的方法和装置
CN107924464A (zh) * 2015-06-26 2018-04-17 辛纳普蒂克斯公司 多分辨率指纹传感器
CN107911641A (zh) * 2017-10-27 2018-04-13 北京达佳互联信息技术有限公司 视频水印生成方法、装置及终端
WO2019080712A1 (zh) * 2017-10-27 2019-05-02 北京达佳互联信息技术有限公司 视频水印生成方法、装置及终端
US10963982B2 (en) 2017-10-27 2021-03-30 Beijing Dajia Internet Information Technology Co., Ltd. Video watermark generation method and device, and terminal

Also Published As

Publication number Publication date
JP4932903B2 (ja) 2012-05-16
JP2009535920A (ja) 2009-10-01
WO2007127590A3 (en) 2008-04-10
US20070253594A1 (en) 2007-11-01
WO2007127590A2 (en) 2007-11-08
CN101351986B (zh) 2011-06-15
US8009861B2 (en) 2011-08-30

Similar Documents

Publication Publication Date Title
CN101351986B (zh) 基于多分辨率、多帧率空间和时域特征的数字视频对象的指纹生成方法及系统
US8204314B2 (en) Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures
CN101855635B (zh) 可靠地与媒体内容对应的媒体指纹
CN1601531A (zh) 用于为视听演示内容制作摘要和索引的方法与设备
JP2013211908A (ja) ビデオ圧縮方法
JP2003507804A (ja) 動き補償されたブロックベースの圧縮デジタルビデオの可変複雑性デコーディングの方法と装置
JP3853450B2 (ja) 輪郭線トレーシング方法
EP2165525A1 (en) Method of processing moving picture and apparatus thereof
CN1224274C (zh) 误差隐蔽方法和设备
EP3035213A1 (en) Method and apparatus for deriving a perceptual hash value from an image
Kobla et al. Indexing and retrieval of MPEG compressed video
CN1251514C (zh) 存储数据项的方法和设备以及读取数据项的设备
CN1151678C (zh) 对于视频信号中的目标轮廓图象进行编码的方法和装置
EP0829163B1 (en) Method and arrangement for encoding and decoding images
Mehta et al. Near-duplicate detection for LCD screen acquired images using edge histogram descriptor
US7853087B2 (en) High-speed binary image compression method
JP3859989B2 (ja) 画像マッチング方法およびその方法を利用可能な画像処理方法と装置
JP2006262310A (ja) 復号化装置、逆量子化方法及びこれらのプログラム
WO2008106465A1 (en) Method and apparatus for automatic detection and identification of unidentified video signals
JP4730144B2 (ja) 復号化装置、逆量子化方法及びこれらのプログラム
Chaddha et al. Text segmentation using linear transforms
Mietens et al. New DCT computation algorithm for video quality scaling
CN1124745C (zh) 运用w－正交变换的视频图像压缩方法
JP4137458B2 (ja) 固定長画像符号化装置
CN112383672A (zh) 一种兼顾隐私保护和数据质量的图像采集方法、装置及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: VOBILE HOLDING CO., LTD.

Free format text: FORMER OWNER: VOBILE INC.

Effective date: 20120919

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120919

Address after: The British Virgin Islands

Patentee after: Fu Lan Holdings Ltd.

Address before: California, USA

Patentee before: Fubo Co.,Ltd.

ASS Succession or assignment of patent right

Owner name: VOBILE (HANGZHOU) INFORMATION TECHNOLOGY INC.

Free format text: FORMER OWNER: VOBILE HOLDING CO., LTD.

Effective date: 20130308

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; TO: 310012 HANGZHOU, ZHEJIANG PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20130308

Address after: 310012, D, building 18, Paradise Software Park, 3 West Road, Hangzhou, Zhejiang, Xihu District

Patentee after: Fu Broadcom (Hangzhou) Mdt InfoTech Ltd.

Address before: The British Virgin Islands

Patentee before: Fu Lan Holdings Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220402

Address after: 310051 No. 482, Qianmo Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Fubo Technology Co.,Ltd.

Address before: 18 / F, building D, Paradise Software Park, 3 xidoumen Road, Xihu District, Hangzhou City, Zhejiang Province, 310012

Patentee before: Fu Broadcom (Hangzhou) Mdt InfoTech Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230627

Address after: 311121 Room 101, Floor 1, Unit 1, Building 17, No. 397, Cangxing Street, Cangqian Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang Fubo Media Technology Co.,Ltd.

Address before: 310051 No. 482, Qianmo Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou Fubo Technology Co.,Ltd.