CN1489356B - 媒体源、媒体接收器、媒体处理系统及同步播放媒体数据包的方法 - Google Patents

媒体源、媒体接收器、媒体处理系统及同步播放媒体数据包的方法 Download PDF

Info

Publication number
CN1489356B
CN1489356B CN031554695A CN03155469A CN1489356B CN 1489356 B CN1489356 B CN 1489356B CN 031554695 A CN031554695 A CN 031554695A CN 03155469 A CN03155469 A CN 03155469A CN 1489356 B CN1489356 B CN 1489356B
Authority
CN
China
Prior art keywords
time
media
media data
data packet
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN031554695A
Other languages
English (en)
Other versions
CN1489356A (zh
Inventor
R·莫斯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Deutschland GmbH
Original Assignee
Sony International Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony International Europe GmbH filed Critical Sony International Europe GmbH
Publication of CN1489356A publication Critical patent/CN1489356A/zh
Application granted granted Critical
Publication of CN1489356B publication Critical patent/CN1489356B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]

Abstract

在数字音频传输系统中,将媒体数据包(1021,1022)从媒体源(101)发送给媒体接收器。为了确保不同媒体接收器(1,2)中同步播放媒体数据包,媒体源或者媒体接收器确定共同播放时间(105),媒体数据包(1021,1022)被缓存在缓存器(1041,1042)中,直到这个共同播放时间(105)到来。媒体源或者媒体接收器根据在采样时钟时间的基础之上计算出来的全局挂钟时间确定共同播放时间(105)。

Description

媒体源、媒体接收器、媒体处理系统及同步播放媒体数据包的方法
技术领域
本发明涉及用来同步播放媒体数据包的一种方法、一种媒体源、一种媒体接收器和一种媒体处理系统。
背景技术
人类利用声音的两个参数来确定声源的位置:声音的幅度和相位。由于声音的强度随着它通过空气传播而下降,离声源更远的耳朵收到的声音电平低于离声源较近的耳朵收到的声音电平。此外,由于声音在空气中传播需要时间,因此较远的耳朵比较近的耳朵收到信号的时刻要晚一些。实验表明,人类将两个信道大于6~20微秒的相位差当成声源发生了位移,而将大于35~40毫秒相位差的两个信号当成两个不同的声音。
对于播放(发射)音频声音的音频系统,这就意味着属于多声道信号例如立体声信号中一个声道的音频信号应该与属于同一个多声道信号,例如同一个立体声信号,的所有其它对应音频信号,精确地同时播放,也就是在同一时刻播放。换句话说,不同音频输出装置,例如扬声器,的严格同步是必要的,因而在输出过程中多声道信号不同声道之间的时间关系能够得到满足。在其它音频应用中,例如杜比环绕声系统,或者在音频-视频应用中,也会有相似的要求。
数字传输音频系统同样必须满足上面提到的严格同步要求,在这些系统中音频信号从媒体源向音频输出装置(以后将更加一般地称之为媒体接收器(Media Sink),它们还包括用任意其它方式处理收到的多声道信号的装置)的传输是以媒体数据包(以后也叫做媒体数据包)的形式进行的。每一个音频输出装置必须在严格正确的时刻播出媒体数据包的声音(播放媒体数据包),也就是在另一个媒体输出装置播放例如属于同一个立体声信号,但是属于另一个声道的对应的媒体数据包的时刻播放。如果媒体数据包的播放同步得不好,也就是同一个立体声信号不同声道的对应的媒体数据包在不同的输出装置里是在不同时刻播出的,就会发生上面提到的问题,也就是立体声被最终认为来自另一个方向,或者被当作两个不同的声音(以下将这些问题叫做听觉失真)。
因特网工程任务组(IETF)在它的建议请求RFC 1889中提供了一种实时应用传输协议(RTP),以后将它叫做RTP。这个实时传输协议(RTP)包括一个控制协议RTCP,它从数据发送方提供同步信息,从数据接收方提供反馈信息。考虑媒体配送的流同步,这一协议提供所谓的发送方报告(SR),这些报告提供采样时钟信号和全局时钟信号之间的一种相关信息。
发送方报告(SR)从媒体源发送给媒体接收器,其中有两个时间标记。一个时间标记用本地采样时钟的时间单位表明一个时刻(本地采样时钟时间),另一个表明用全局时钟信号的时间单位表示的同一个时刻(全局时钟时间)。同时产生SR的这两个时间标记。假设在其间传送媒体流的媒体源和媒体接收器都能够获得全局时钟时间。因而媒体接收器能够获得全局时钟时间,从而根据全局时钟调整它自己的采样时钟。
RTP的主要目的是为因特网视频会议提供一种手段,重新同步同一个媒体接收器不同流中收到的视频和音频信号。这一协议不是为了保证数字传输音频系统中不同媒体接收器里媒体数据包能够同步播放。因此,用这一协议向媒体接收器发送媒体数据包的时候,不同媒体接收器中播放的媒体数据包不能很好地同步,也就是说,属于同一个立体声信号的媒体数据包在不同的媒体接收器,例如扬声器,中不能在同一时刻播放。这样,只将这一RTP用于数字传输音频系统的时候,就会发生上面提到的听觉失真。
听觉失真这样的问题还会因为个人计算机(PC)或者个人数字助理(PDA)这样的大多数非实时源装置中存在不可靠和不精确的时钟信息而发生。这些装置假设全局时钟信息(全局时钟时间)满足应用场合规定的所有要求。但是事实可能并非如此。非实时装置通常都是通过一个外部连接,例如USB或者RS232,来获得实际时间(全局时钟时间)从而产生媒体数据包的时间标记。因为通常设计用于这种外部连接的总线系统不是为了以非常短的传送时间来传送,因此将它用于PC或者PDA来确定媒体数据包时间标记的时候,时钟信息(全局时钟时间)就可能丧失它的精度。这就意味着媒体数据包的时间标记给出的全局时钟时间相对于媒体数据包的实际发送全局时钟时间而言可能是错误的。此外,两个时间标记给出的两个时刻之间的时间差可能会发生变化,即使对应的两个实际全局时钟时间之间的时间差没有改变。其原因是外部连接传输全局时钟信息给应用所需要的时间可能会变化。由于媒体数据包的时间标记一般都被媒体接收器用来确定每个数据包的播出时间,媒体数据的时间标记给出的不精确和统计学上变化的时间会导致上面提到的听觉失真,因为属于同一个立体声信号的媒体数据包可以由不同的媒体接收器在不同的时刻播出。
发明内容
本发明的一个目的是提供一种媒体源、一种媒体接收器和一种媒体处理系统,用来同时播放媒体数据包,还提供用于让这些装置工作的对应方法,从而在不同媒体接收器播放声音的时候避免听觉失真。
为了本发明第一个实施方案的目的,本发明提供了一种媒体源,一种媒体接收器,一种媒体处理系统。此外,本发明还提供了对应于第一个实施方案的方法。本发明还分别给出了各种优选实施方案。为了本发明第二个实施方案的目的,还给出了上述媒体源的优选实施方式,还给出了上述媒体接收器的优选实施方式,还给出了上述媒体处理系统的优选实施方式。此外,还给出了对应于第二个实施方案的方法。还给出了该方法的优选实施方案。
因此,本发明的目的是用两个不同的实施方案实现的,它们具有相同的发明思想。在这两个实施方案中,确定一个共同的播放时刻,并且将它们与每个媒体数据包联系起来,媒体接收器严格在这个共同播放时刻播放媒体数据包。在第一个实施方案中,共同的播放时刻是通过在媒体数据包的时间标记所表明的时间加上一个播放时间偏移,由媒体接收器确定的。媒体源确定播放时间偏移,传送给媒体接收器。在第二个实施方案中,媒体源确定每个数据包的共同播放时刻,并且用对应时间标记的形式与每个媒体数据包一起发送。
本发明第一个实施方案的解决方案:
本发明的媒体源能够发送加时间标记的媒体数据包,给下面给出的一个或者多个接收媒体接收器,每个媒体数据包的时间标记都指示相应媒体数据包的创建时间,用于为会话的所有媒体数据包确定一次播放时间偏移,还用于为会话的所有媒体数据包向下面给出的一个或者多个接收媒体接收器发送一次播放时间偏移量。
本发明的媒体源最好包括能够确定采样时钟时间的一个采样时钟,能够确定全局挂钟时间,用于不时地发送控制数据包给下面给出的所述一个或者多个接收媒体接收器,所述控制数据包有两个控制数据包时间标记,用来指示时间上的同一时刻,其中的第一控制数据包时间标记是按照所述全局挂钟时间的时间单位度量或者定义的,第二控制数据包时间标记是按照所述采样时钟时间的时间单位度量或者定义的。
此外,媒体数据包的所述时间标记最好能够用所述采样时钟时间的时间单位来指示有所述时间标记的媒体数据包的创建时间。媒体源最好还被设计成发送同样的媒体数据包给两个或者多个不同的接收媒体接收器。
本发明的媒体接收器用于从上面给出的媒体源接收加时间标记的媒体数据包,还用于确定播放时间偏移,精确地确定全局挂钟时间,通过将加时间标记的所述媒体数据包指示的时间加上所述播放时间偏移,确定收到的每个加时间标记的媒体数据包的共同播放时间,在收到的加时间标记的媒体数据包的共同播放时刻到来的时候播放收到的加时间标记的每个媒体数据包。
媒体接收器用于从上面给出的媒体源接收一次所述播放时间偏移,与至少一个其它媒体接收器协商所述播放时间偏移。媒体接收器还能够从上面给出的媒体源接收控制数据包,其中包含第一控制数据包时间标记,指示用采样时钟时刻的时间单位度量或者定义的某个时刻,第二控制数据包时间标记指示用全局挂钟时间的时间单位度量或者定义的同一个时刻,根据第一和第二控制数据包时间标记,把用采样时钟时间的单位度量或者定义的、由加时间标记的媒体数据包的时间标记指示的时间转换成用全局挂钟时间的单位度量或者定义的时间。
在一个优选实施方案中,该媒体接收器有一个缓存器,用于储存媒体数据包,直到所述共同播放时间。
本发明的媒体处理系统包括上面给出的一种媒体源和上面给出的一种媒体接收器。
本发明第一个实施方案中用于媒体源的方法包括以下步骤:发送加时间标记的媒体数据包给一个或者多个接收媒体接收器,每个媒体数据包的时间标记能够指示相应媒体数据包的创建时间,为会话的所有媒体数据包确定一次播放时间偏移,为会话的所有媒体数据包向所述一个或者多个接收媒体接收器发送所述播放时间偏移。
最好执行以下步骤:确定采样时钟时间,确定全局挂钟时间,偶尔发送一次控制数据包给所述一个或者多个接收媒体接收器,所述控制数据包有两个控制数据包时间标记,它们指示同一时刻,它的第一控制数据包时间标记是用所述全局挂钟时间的时间单位度量或者定义的,它的第二控制数据包时间标记是用所述采样时钟时间的时间单位度量或者定义的。
媒体数据包的所述时间标记最好能够用所述采样时钟时间的时间单位指示加时间标记的所述媒体数据包的创建时间。此外,最好是将同样的媒体数据包发送给两个或者多个不同的媒体接收器。
本发明第一个实施方案中用于媒体接收器同步播放媒体数据包的一种方法包括以下步骤:从媒体源接收加时间标记的媒体数据包,确定播放时间偏移,精确地确定全局挂钟时间,通过将加时间标记的所述媒体数据包的时间标记指示的时间加上所述播放时间偏移来确定收到的加时间标记的每个媒体数据包的共同播放时刻,在确定的收到的加时间标记的媒体数据包的共同播放时刻到来的时候播放收到的加时间标记的每个媒体数据包。
从媒体源接收一次所述播放时间偏移,或者与至少一个其它媒体接收器进行协商。
此外,最好是执行以下步骤:从所述的媒体源接收控制数据包,其中有第一控制数据包时间标记,指示用采样时钟时间的时间单位度量或者定义的特定时刻,接收第二控制数据包时间标记,它指示用全局挂钟时间的时间单位度量或者定义的同一个时刻,根据第一和第二控制数据包时间标记信息,将用采样时钟时间的单位度量或者定义的、由加时间标记的媒体数据包的时间标记指示的时间转换成全局挂钟时间度量或者定义的时间。
在共同的播放时刻到来之前将媒体数据包储存在一个缓存器中。
在本发明第一个实施方案中同步播放媒体数据包的方法中,媒体处理系统执行上面给出的媒体源的方法中的步骤以及上面给出的媒体接收器的方法的步骤。
本发明第二个实施方案的解决方案:
实现本发明第二个实施方案中本发明的目的的媒体源用于确定播放时间偏移,并且通过将确定的播放时间偏移加上当前时间来确定共同的播放时刻,还用于发送加时间标记的媒体数据包给下面说明的一个或者多个媒体接收器,加时间标记的媒体数据包的时间标记指示所述媒体数据包的共同播放时刻。
该媒体源最好有一个能够确定采样时钟时间的一个采样时钟,用于读取全局挂钟时间一次,将所述采样时钟给出的时间周期加上只是一次读出的全局挂钟时间,计算所述当前时间。此外,媒体源还用于发送同样的媒体数据包给两个或者多个不同的接收媒体接收器。
本发明第二个实施方案中的媒体接收器用于从上面给出的媒体源接收加时间标记的媒体数据包,能够精确地确定全局挂钟时间,并且能够为收到的加时间标记的每个媒体数据包确定共同的播放时间,这个时间就是加时间标记的媒体数据包的时间标记所表明的时间。媒体接收器最好有一个缓存器,用于储存媒体数据包,直到共同的播放时刻。
本发明第二个实施方案中的媒体处理系统具有上面第二个实施方案中给出的媒体源和上面第二个实施方案给出的媒体接收器。
本发明中第二个实施方案里针对媒体源,使得媒体数据包能够同步播放的方法,包括以下步骤:确定播放时间偏移,通过将确定的播放时间偏移加上当前时间来确定共同的播放时间,将加时间标记的媒体数据包发送给一个或者多接收媒体接收器,加时间标记的媒体数据包的时间标记指示媒体数据包的所述共同播放时刻。
最好执行以下步骤:确定采样时钟时间,通过只读一次全局挂钟时间,将所述采样时钟给出的时间加上只用一次读出来的全局挂钟时间来计算所述当前时间。此外,还将同样的媒体数据包发送给两个或者多个不同的接收媒体接收器。
本发明第二个实施方案中用于媒体接收器,使得媒体数据包能够同步播放的方法包括以下步骤:从媒体源接收加时间标记的媒体数据包,精确地确定全局挂钟时间,为收到的加时间标记的每个媒体数据包确定共同的播放时间,这个时间就是加时间标记的媒体数据包的时间标记所指示的时间。
在共同的播放时刻到来之前媒体数据包最好储存在一个缓存器里。
本发明第二个实施方案中用于媒体处理系统,使得媒体数据包能够同步播放的方法包括用于媒体源的方法的那些步骤和用于媒体接收器的方法的那些步骤。
因此,根据本发明,媒体接收器能够严格同步地播放媒体数据包,因为确定了一个共同的播放时刻,并且将它与相应的媒体数据包联系起来,这些媒体数据包在每个媒体接收器的这个严格的播放时刻播放。媒体接收器能够严格按播放时间播放是因为媒体接收器精确地确定了全局挂钟时间,因为它们一般都是用专用硬件,不需要很长的处理时间,也就是说,这些媒体接收器与全局挂钟时间严格同步。这个共同播放时间与只用一次读出的全局挂钟时间同步,因而不同媒体数据包的两个时间标记所指示的两个时间之间没有任何差别,就象上面提到的现有技术系统中那种情形一样。另一方面,从精度的角度来说,本发明的媒体源得到全局挂钟时间的机会有限,因为可以选择用来加的播放时间偏移,从而在任何时候都能够补偿这种不精确。
在本发明的一个方面,提供了一种媒体源,包括:
-第一数据传输装置,用于把加时间标记的媒体数据包发送到至少两个接收媒体接收器,每个媒体数据包的时间标记分别指示相应媒体数据包的创建时间,
-处理装置,用于为会话的所有媒体数据包确定一次播放时间偏移量,和
-第二数据传输装置,用于为会话的所有媒体数据包向至少两个接收媒体接收器发送一次播放时间偏移量。
在本发明的另一个方面,提供了一种媒体接收器,包括:
-用于从媒体源接收加时间标记的媒体数据包的装置,
-用于确定播放时间偏移量的装置,
-用于精确地确定全局挂钟时间的装置,
-用于通过把由所述加时间标记的媒体数据包的时间标记指示的时间加上所述播放时间偏移量来为每个所接收的加时间标记的媒体数据包确定共同播放时间的装置,和
-用于在为所接收的加时间标记的媒体数据包确定的共同播放时间到来的时刻播放每个所接收的加时间标记的媒体数据包的装置。
在本发明的再一个方面,提供了一种媒体处理系统,包括:
媒体源,所述媒体源包括:
-第一数据传输装置,用于把加时间标记的媒体数据包发送到至少两个接收媒体接收器,每个媒体数据包的时间标记分别指示相应媒体数据包的创建时间,
-处理装置,用于确定播放时间偏移量,和
-第二数据传输装置,用于把播放时间偏移量发送到所述至少两个接收媒体接收器;以及
媒体接收器,所述媒体接收器包括:
-用于从媒体源接收加时间标记的媒体数据包的装置,
-用于确定播放时间偏移量的装置,
-用于精确地确定全局挂钟时间的装置,
-用于通过把由所述加时间标记的媒体数据包的时间标记指示的时间加上所述播放时间偏移量来为每个所接收的加时间标记的媒体数据包确定共同播放时间的装置,和
-用于在为所接收的加时间标记的媒体数据包确定的共同播放时间到来的时刻播放每个所接收的加时间标记的媒体数据包的装置。
在本发明的再一个方面,提供了一种媒体源,包括:
-用于确定播放时间偏移量并且通过把所确定的播放时间偏移量加到当前时间来确定共同播放时间的装置,和
-第一数据传输装置,用于把加时间标记的媒体数据包发送到至少两个接收媒体接收器,加时间标记的媒体数据包的时间标记指示所述媒体数据包的所述共同播放时间。
在本发明的再又一个方面,提供了一种媒体接收器,包括:
-用于从媒体源接收加时间标记的媒体数据包的装置,和
-用于精确地确定全局挂钟时间的装置,和
-用于为每个所接收的加时间标记的媒体数据包确定共同播放时间的装置,所述共同播放时间是由所述加时间标记的媒体数据包的时间标记指示的时间。
在本发明的再又一个方面,提供了一种媒体处理系统,包括:
媒体源,所述媒体源包含:
-用于确定播放时间偏移量并且通过把所确定的播放时间偏移量加到当前时间来确定共同播放时间的装置,和
-第一数据传输装置,用于把加时间标记的媒体数据包发送到至少两个接收媒体接收器,加时间标记的媒体数据包的时间标记指示媒体数据包的所述共同播放时间,
还包括媒体接收器,所述媒体接收器包含:
-用于从媒体源接收加时间标记的媒体数据包的装置,和
-用于精确地确定全局挂钟时间的装置,和
-用于为每个所接收的加时间标记的媒体数据包确定共同播放时间的装置,所述共同播放时间是由加时间标记的媒体数据包的时间标记指示的时间。
在本发明的再又一个方面,提供了一种旨在为媒体源同步地播放媒体数据包的方法,包括以下步骤:
-把加时间标记的媒体数据包发送到至少两个接收媒体接收器,每个媒体数据包的时间标记分别指示相应媒体数据包的创建时间,
-为会话的所有媒体数据包确定一次播放时间偏移量,和
-为会话的所有媒体数据包向所述至少两个接收媒体接收器发送一次播放时间偏移量。
在本发明的再又一个方面,提供了一种旨在为媒体接收器同步地播放媒体数据包的方法,包括以下步骤:
-从媒体源接收加时间标记的媒体数据包,
-确定播放时间偏移量,
-精确地确定全局挂钟时间,
-通过把由所述加时间标记的媒体数据包的时间标记指示的时间加上采用所述全局挂钟时间作为单位或采用所述全局挂钟时间的时间单位的所述播放时间偏移量来为每个所接收的加时间标记的媒体数据包确定共同播放时间,和
-在为所接收的加时间标记的媒体数据包确定的共同播放时间到来的时刻,播放每个所接收的加时间标记的媒体数据包。
在本发明的再又一个方面,提供了一种旨在为媒体处理系统同步地播放媒体数据包的方法,包括以下步骤:
-把加时间标记的媒体数据包发送到至少两个接收媒体接收器,每个媒体数据包的时间标记分别指示相应媒体数据包的创建时间,
-确定播放时间偏移量,和
-把播放时间偏移量发送到所述至少两个接收媒体接收器,
从媒体源接收加时间标记的媒体数据包,
-确定播放时间偏移量,
-精确地确定全局挂钟时间,
-通过把由所述加时间标记的媒体数据包的时间标记指示的时间加上采用所述全局挂钟时间作为单位或采用所述全局挂钟时间的时间单位的所述播放时间偏移量,来为每个所接收的加时间标记的媒体数据包确定共同播放时间,和
-在为所接收的加时间标记的媒体数据包确定的共同播放时间到来的时刻,播放每个所接收的加时间标记的媒体数据包。
在本发明的再又一个方面,提供了一种旨在为媒体源实现媒体数据包的同步播放的方法,包括以下步骤:
-确定播放时间偏移量,并且通过把所确定的播放时间偏移量加到当前时间来确定共同播放时间,和
-把加时间标记的媒体数据包发送到至少两个接收媒体接收器,加时间标记的媒体数据包的时间标记指示所述媒体数据包的所述共同播放时间。
在本发明的再又一个方面,提供了一种旨在为媒体接收器同步地播放媒体数据包的方法,包括以下步骤:
-从媒体源接收加时间标记的媒体数据包,
-精确地确定全局挂钟时间,和
-为每个所接收的加时间标记的媒体数据包确定共同播放时间,所述共同播放时间是由加时间标记的媒体数据包的时间标记指示的时间,
-从媒体源接收控制包,所述控制包包括第一控制包时间标记和第二控制包时间标记,所述第一控制包时间标记在时间上指示用采样时钟时间的时间单位来度量或者定义的确定时刻,所述第二控制包时间标记在时间上指示用全局挂钟时间的时间单位来度量或者定义的相同的确定时刻,
-根据第一和第二控制包时间标记信息,把由加时间标记的媒体数据包的时间标记指示的、用采样时钟时间的时间单位来度量或者定义的时间转换成用全局挂钟时间的时间单位来度量或者定义的时间,
-确定播放时间偏移量,并且通过把所确定的播放时间偏移量加到当前时间来确定共同播放时间,和
-把加时间标记的媒体数据包发送到至少两个接收媒体接收器,加时间标记的媒体数据包的时间标记指示所述媒体数据包的所述共同播放时间。
在本发明的再又一个方面,提供了一种旨在为媒体处理系统实现媒体数据包的同步播放的方法,包括以下步骤:
确定播放时间偏移量,并且通过把所确定的播放时间偏移量加到当前时间来确定共同播放时间,和
-把加时间标记的媒体数据包发送到至少两个接收媒体接收器,加时间标记的媒体数据包的时间标记指示所述媒体数据包的所述共同播放时间,
-从媒体源接收加时间标记的媒体数据包,
-精确地确定全局挂钟时间,和
-为每个所接收的加时间标记的媒体数据包确定共同播放时间,所述共同播放时间是由加时间标记的媒体数据包的时间标记指示的时间。
附图说明
下面将参考附图,以示例性实施方案的形式详细地介绍本发明及其优点,在这些附图中:
图1说明的是媒体源发送加时间标记的媒体数据包给两个媒体接收器这种情形的一个实例;
图2说明媒体源和n个媒体接收器对同一个全局挂钟时间的访问;
图3是一个流程图,它说明从媒体源向接收和处理媒体数据包的两个媒体接收器发送媒体数据包的过程;
图4说明将PC用作媒体源,将两个扬声器作为媒体接收器的一个实例;
图5画出了说明其中采用了符合RTP标准的控制数据包的媒体源和媒体接收器之间的交互过程的一个流程图;
图6画出了说明本发明第一个可选实施方案中媒体源和媒体接收器之间交互过程的一个流程图;
图7说明本发明的第二个可选实施方案,其中的媒体接收器在们自身之间协商播放时间偏移。
具体实施方式
图1说明与两个同步媒体接收器,也就是第一个媒体接收器1和第二个媒体接收器2,进行媒体配送会话的基本情形。媒体源101将有时间标记的第一个媒体数据包1021发送给第一个媒体接收器1,将有时间标记的第二个媒体数据包1022发送给第二个媒体接收器2。媒体数据包的时间标记说明源产生这个媒体数据包的时刻。如果是编码数据,第一个媒体接收器1和第二个媒体接收器2就对媒体数据包进行译码。然后将数据储存在相应的缓存器里,也就是第一个媒体接收器1的第一个缓存器1041和第二个媒体接收器2的第二个缓存器1042,直到相应数据包的共同播放时刻105。这个共同播放时刻105是媒体接收器将一次确定的播放时间偏移与媒体数据包中时间标记说明的时间相加,为每个数据包确定的。如果到了数据包的共同播放时间105,媒体接收器就播放媒体数据包。在图1所示的实例中,第一个媒体数据包1021和第二个媒体数据包1022的时间标记说明时间上的同一个瞬间。因此,这些媒体数据包由第一个媒体接收器1和第二个媒体接收器2完全在同一瞬间播放。
播放时间偏移必须在媒体源101和所有媒体会话漏(在这里是第一个媒体接收器1和第二个媒体接收器2)之间进行协商,将传输时间、可用缓存器大小以及媒体源101与全局挂钟时间最终的不严格同步考虑在内。
对于时钟,假设媒体流装置里有两个时钟存在(可供访问):采样时钟和全局挂钟。采样时钟是媒体流中固有的。对于作为音频流的源一个实例的CD,这个采样时钟以44.1kHz的频率运行。全局挂钟可以由参与媒体会话的所有源和漏装置读取。对于IP网络,网络时间协议(NTP)描述如何在整个网络中维护好一个NTP时钟。但是对于具有严格要求的应用,比如同步两个立体声声道,这样一个NTP时钟的精度和时钟分辨率恐怕都不够。因此假设存在精度和分辨率都高得多的一个时钟。这就是需要所有参与者都需要一个共同的时钟,以便执行同步跳频的一些无线系统中所出现的情形。这种无线系统的一个实例是蓝牙规范,其中皮网的所有参与者都维护好一个共同时钟。这个共同时钟的时间可以被媒体应用用作全局挂钟时间。一般情况下,采样时钟时间和全局挂钟时间是用不同的单位度量的。例如,全局挂钟时间可以按照微秒走,而采样时钟则按照一次采样作为一个最小单位来运转。
对于时间标记,假设使用它们的方法与RTP中描述的一样。这就意味着媒体数据包的时间标记说明用采样时钟的时间单位表示的数据包第一个采样的那个瞬间。除了按照RTP发送媒体数据包的媒体流以外,还要在参与者之间,也就是在流的媒体源和媒体接收器之间,交换控制数据包。这些控制数据包中没有任何媒体数据,而是除了其它信息以外有两个时间标记,说明时间上的同一瞬间,一个时间标记用采样时钟的时间单位说明这一时刻,而另一个时间标记则用全局挂钟时间的时间单位说明时间上的同一瞬间。利用这一信息,如果给出全局挂钟时间,媒体接收器就能够确定采样时钟时间,反过来如果给出采样时钟时间,它就能够确定全局挂钟时间。因此,控制数据包具有将源采样时钟时间与全局挂钟时间联系起来的功能。这样一来媒体接收器就能够通过转换按照采样时钟的时间单位给出的媒体数据包的时间标记说明的时间,确定用全局挂钟时间的时间单位表示的产生媒体数据包的时间上的瞬间。
在图2中,假设媒体源202和n个媒体接收器,例如媒体接收器203-1、203-2、...、203-n,有一个全局挂钟时间201。这个全局挂钟时间可以是例如数字总线系统或者无线数字传输系统使用的时钟时间。除此以外,还假设这个时钟在精度和分辨率上满足所需同步的要求。典型情况下,这样一个时钟非常接近物理层,例如在这样一个传输系统的基带内。对于PC或者PDA 202这样的通用装置,这就意味着这样一个时钟是外部的,只能通过一个外部连接204,例如USB或者RS232来获得。这样一个实例是通过USB与PC连接的蓝牙模块。在一个皮网中,所有装置都自动地与蓝牙基带时钟同步,因为这个时钟信息被用来同步所有皮网参与者的频率跳变。因此必须通过USB总线系统从蓝牙模块将本地蓝牙时钟信息传送给PC。
因为一般情况下这种外部连接使用的总线系统并不总是被设计成用来传输时间,因此当时钟信息通过这样的总线系统的时候,时钟信息会丧失它的精度(有效性)。例如,精度为几个微妙的时钟信息通过带来几个毫秒延迟的总线系统传输的时候会丧失它的价值,特别是这个延迟会有几个毫秒的随机变化的时候,也就是说用来例如产生时间标记的这个时间不再有效。另外,通常在PC和PDA这种通用装置上运行的非实时操作系统205会给时钟信息带来更多的不确定性。在图2中,通过媒体源202的那些层的弯曲箭头206表示出了媒体应用收到的时钟信息的这种不确定性和不精确性。
另一方面,作为媒体接收器,也就是n个媒体接收器203-1、203-2、...、203-n,通常都采用单一目的装置(嵌入式装置),例如扬声器。这样的单一目的装置可以作为嵌入系统装进去。这样就能够获得更加直接的路径到达全局挂钟时间,也就是能够精确地确定全局挂钟时间。例如,媒体应用207可以在传输系统的基带处理器上运行。这就意味着媒体应用能够非常直接地获得时钟信息,而没有任何显著的延迟和显著的不确定性。因此,媒体接收器的媒体应用207能够获得具有几个微秒精度的精确的时钟信息,因为它不是通过任何慢速总线系统传输的。图2中n个媒体接收器203-1、203-2、...、203-n说明的就是这种直接获取。
如图2所示,本发明利用了因为能够直接访问全局时钟,多个媒体接收器,也就是n个媒体接收器能够非常精确地互相同步这样一个事实,而对于源装置,与漏装置不严格的同步是可以接受的。例如,从CD播放机向两个扬声器传送立体声音频数据的时候,从CD播放机发送数据包到扬声器播出它位置的这一个延迟可能有几个毫秒,但是左边和右边的扬声器之间的延迟可能只有几个微秒。因此在媒体接收器中进行适当的缓存能够补偿源这一边时钟信息的不确定性。因为媒体源这边的时钟信息不如媒体接收器这边的时钟信息精确和可靠,因此在这种基础上实现的同步可以被叫做“非对称同步”。
最好源这一边只是在传输会话的一开始读一次全局挂钟时间,以便将采样时钟与全局挂钟时间联系起来。这一时钟信息可以被用来调整发送给媒体接收器的第一个控制数据包的时间标记。而对于以后的控制数据包中的全局挂钟时间标记,时间差可以通过对采样次数进行计数计算出来,而不是再次读全局挂钟时间。这是因为全局挂钟信息传输时间的变化一般都太大,会导致漏这边播放的时候出现间隙或者跳跃这样一个事实。
在图3中,媒体源101发送媒体数据包给第一个媒体接收器1和第二个媒体接收器2。在这一程序的开头,必须在步骤304中协商(确定)播放时间偏移。将协商得到的这个播放时间偏移发送给两个媒体接收器,也就是第一个媒体接收器1和第二个媒体接收器2,由这些媒体接收器用来确定每个数据包的共同播放时间。媒体数据包时间标记用采样时钟的时间单位表明产生数据包的时间瞬间。为了确定共同的播放时间,也就是漏必须在物理上播放媒体数据包的时间瞬间,将媒体数据包的时间标记表明的时间转换成以全局挂钟时间的时间单位表示的全局挂钟时间,将协商得到的播放时间偏移加到这个全局挂钟时间上。为了协商播放时间偏移,必须考虑预期的传输时间、潜在的译码时间和可用媒体接收器缓存器大小。因为源这边的全局挂钟时间信息可能不太精确,还会有统计起伏,因此源必须将最差情况下的变化时间加到播放时间偏移中去。这样就能够避免媒体数据包到达漏的时候共同的播放时间已经过去这种情形出现。
即使媒体源的全局挂钟时间存在上述变化,在媒体传输会话的一开始在步骤305中还被读一次,将源的采样时钟与全局挂钟时间联系起来。在后面的步骤306中,将具有两个时间标记的控制数据包发送给第一个媒体接收器1和第二个媒体接收器2。控制数据包的这两个时间标记都说明时间上的同一个瞬间,一个时间标记用源采样时钟的时间单位说明时间上的这个瞬间,另一个时间标记用全局挂钟时间的时间单位说明时间上的这一瞬间。这样,接收控制数据包的媒体接收器就能够利用媒体数据包用采样时钟的时间单位表示的时间标记说明的时间,确定用全局挂钟时间的时间单位表示的媒体数据包的产生时间瞬间。
在步骤307中,将每个漏的媒体数据包准备好,用源采样时钟的时间单位打上产生它们的时刻的时间标记。如果每个漏都是一个不同的流,就必须为每个流这样做。如果将一个流传送到多个漏,就只需要对这个流这样做。在图3所示的实例中,只有一个流被发送给两个媒体接收器。因此,在步骤308中,流的媒体数据包被发送给第一个媒体接收器1和第二个媒体接收器2。
在下一个步骤309中,每个漏都对数据译码,如果它们是编码数据。还有,在步骤309中,漏将收到的媒体数据包的时间标记说明的时间转换成全局挂钟时间单位表示的时间。于是,每个漏都通过将协商得到的用全局挂钟时间的单位给出的播放时间偏移加到收到的媒体数据包的时间标记说明的转换过的时间上去来确定共同的播放时间。在下一个步骤310中,每个漏都将媒体数据缓存起来,直到确定的共同播放时刻到来。媒体接收器中的这些缓存器必需足够大,以便补偿媒体源中时钟信息的随机变化、传输延迟的随机变化和译码延迟的可能变化。在下一个步骤311中,共同播放时间105到来的时候,每个漏都在物理上播放媒体。
对于随后从媒体源301向第一个媒体接收器1和第二个媒体接收器2发送的媒体数据包的任意时间标记,媒体源301在步骤312中利用采样时钟时间来确定时间标记的时间,而不是再次读全局挂钟时间。这样就能够确保不会因为源媒体应用中挂钟时间的不精确性导致漏这边出现间隙或者跳跃。在步骤313中,从源发送给漏的下一个媒体数据包的时间标记使用采样时钟时间,而不是读挂钟时间。在步骤314中,将媒体数据包发送给每个媒体接收器,也就是第一个媒体接收器1和第二个媒体接收器2,其中的时间标记说明源采样时钟给出的它们的产生时间。媒体数据包的时间标记一般都包括在媒体数据包里作为报头信息。但是,它也可以用单独的时间标记数据包发送。
从图3可以看出,重复执行步骤312、313和314,直到这一会话的所有媒体数据包都被发送出去,也就是计算新的时间标记,将媒体数据包与这些时间标记一起打包,并且将这些媒体数据包发送给媒体接收器。
作为这一程序的结果,源媒体应用只需要与全局挂钟时间不严格地联系起来,而每个媒体接收器则与全局挂钟时间严格联系。因此,将PC或者PDA这样的非实时装置用作媒体源,将扬声器用作媒体接收器,扬声器就能够互相精确同步,满足人类对接收空间音频信号的严格要求。
图4说明可以应用本发明的程序的可能情形。配备了蓝牙的PC 400正在通过两条蓝牙链路,也就是第一条蓝牙链路4011和第二条蓝牙链路4012,将媒体数据包形式的立体声音频流播发给两个蓝牙扬声器,也就是第一个蓝牙扬声器4021和第二个蓝牙扬声器4022。在每条链路中,将立体声信号的音频信号的媒体数据包发送给相应的扬声器。
在PC这边,蓝牙模块是通过USB连接的,而第一个蓝牙扬声器4021和第二个蓝牙扬声器4022这边,蓝牙是直接嵌入系统结构中的。PC和蓝牙扬声器使用的全局挂钟时间是每个蓝牙基带应用中内在的蓝牙基带时钟。在蓝牙皮网的所有参与者中,这个蓝牙基带时钟是同步得非常好的。
作为音频流媒体源的PC 400利用RTP定义的控制数据包提供的信息,从评估向第一个蓝牙扬声器4021和第二个蓝牙扬声器4022的蓝牙传输质量和延迟开始。此外,PC利用适当的信令命令查询每个扬声器译码需要的时间和缓存器容量。利用这一信息以及PC时钟信息的随机变化信息,也就是最大可能变化的信息,PC能够确定播放时间偏移。将这个播放时间偏移向第一个蓝牙扬声器4021和第二个蓝牙扬声器4022发送一次,并且将它加到媒体流每个媒体数据包的时间标记所说明的时间上去,获得每个媒体数据包的公共播放时间。在本发明的其它实施方案中,可以由媒体源,在这里是PC 400,为每个媒体数据包确定共同的播放时间,然后与每个媒体数据包一起发送,如同下面参考图6所介绍的一样。
PC 400作为这个流的媒体源产生时间标记。发送RTP媒体数据包的时候,媒体数据包中的时间标记用采样时钟的时间单位说明数据包的采样时刻。到全局挂钟时间的链路,在这里是蓝牙基带时钟,是通过在RTCP控制数据包中提供同一时刻的两个时间标记来实现的,一个时间标记用采样时钟的时间单元,另一个用全局挂钟时间单元说明时间,就象前面所介绍的一样。但是因PC这边的时钟信息不是那么精确,因此最好是实际上只为第一个控制数据包读取基带时钟。对于随后的控制数据包,全局挂钟时间标记的时间信息是通过对上一个控制数据包以后经历的采样数进行计数,然后将这个采样数转换成全局挂钟时间时间单位的时间来产生。如上所述,控制数据包由一个全局挂钟时间标记,它用全局挂钟时间的时间单位说明一个时刻,还有一个采样时钟时间标记,它用采样时钟时间的时间单位说明同一个时刻。因此,通过将媒体数据包和控制数据包中存在的各种时间标记提供的信息结合起来,每个蓝牙扬声器都能够从媒体数据包的时间标记确定按照全局挂钟时间的时间单位,源产生数据包的时刻,说明用采样时钟的时间单元的产生时间。通过加上协商好的播放时间偏移,就能够确定每个媒体数据包的采样必须在什么时候播放。因为每个漏都能够直接访问蓝牙基带时钟,所以所有漏都能够将它们的采样播放时钟与蓝牙基带时钟严格同步。
因为源这边的时钟信息在某种程度上是不精确的,因此作为音频媒体接收器的第一个蓝牙扬声器4021和第二个蓝牙扬声器4022必须用适当大小的缓存器补偿这种不精确性。例如,PC 400知道时钟信息最大有2毫秒的变化。因此,为了避免媒体数据包到了漏的时候这个媒体数据包的播放时刻已经过去这种情况发生,它在协商好的播放时间偏移里包括了这2个毫秒。对于2毫秒的变化,在最差的情况下,源产生的时间标记可能会早1毫秒或者晚1毫秒。因此,漏必须提供足够的存储器来缓存这种最差情形下的数据,这一点源装置已经考虑了进去,以确保安全。
图5画出了说明本发明中媒体源101这边发送过程和媒体接收器1那边接收过程的一个流程图,其中每个媒体数据包的播放时间由媒体接收器决定。这一实例是建立在RTP标准基础之上的。在第一个步骤603S中,媒体源101将传输时间、参与媒体流会话的媒体接收器的译码时间和可用缓存器大小考虑在内,确定(协商)播放时间偏移。为了获得这些信息,媒体源101询问媒体接收器1。然后将播放时间偏移以数据控制数据包604S的形式发送给媒体接收器1。这个数据控制数据包604S包括以全局挂钟时间的时间单位为单位的播放时间偏移。媒体接收器1接收发送的数据控制数据包604R,它对应于媒体源101发送出来的数据控制数据包604S。媒体接收器1以全局挂钟时间的单位储存这个播放时间偏移,以便确定随后收到的媒体数据包的播放时间,如同下面将介绍的一样。
从媒体源101将媒体数据包发送给媒体接收器1之前,从媒体源101向媒体接收器1发送一个发送方报告数据包。因此,在以下的步骤605S中,产生一个发送方报告数据包606S。发送方报告数据包606S包括两个时间标记,用采样时钟的时间单位说明时间上一个瞬间的一个采样时钟时间标记607S,以及用全局挂钟时间单位说明同一时间瞬间的一个全局挂钟时间标记608S。发送方报告数据包606S偶尔从媒体源101向媒体接收器1发送一次。在每个媒体流会话开始之前至少发送它一次,但是也可以在媒体流会话过程的中间发送它。此时,媒体接收器接收发送过来,包括发送的采样时钟时间标记607R和发送的全局挂钟时间标记608R的发送方报告数据包606R。因为这两个时间标记说明时间上的同一瞬间,因此,在下面的步骤609R里,媒体接收器1能够将采样时钟时间与全局挂钟时间联系起来。这就意味着对于随后收到的时间标记,如果相应的时间标记给出全局挂钟时间,媒体接收器1能够确定采样时钟时间,反过来如果给出了采样时钟时间,它就能够确定全局挂钟时间。
在随后的数据准备步骤609S里,媒体源101产生一个媒体数据包610S。媒体数据包610S包括一个采样时钟时间标记,它用采样时钟的时间单位说明媒体数据包610S的产生时间,它还包括媒体数据612S。这个媒体数据包610S被发送给媒体接收器1。媒体接收器1接收发送过来的媒体数据包610R,其中包括发送的用采样时钟时间单位说明的媒体数据包610R产生时间的采样时钟时间标记611R和发送的媒体数据612R。在第一个计算步骤613R中,媒体接收器1随后利用早些时候收到的发送过来的发送方报告数据包606R提供的信息计算用全局挂钟时间的时间单位表示的产生它的全局挂钟时间。现在,在第二个计算步骤614R中,通过将计算出来的产生它的全局挂钟时间和播放时间偏移加起来,确定用全局挂钟时间的时间单位表示的播放时间。然后在缓存步骤615R里,缓存发送的媒体数据612R,直到已经确定,用全局挂钟时间的时间单位表示的播放时间到达。最后,在播放步骤616R里,精确地在确定的播放时刻在物理上播出媒体数据,现在媒体接收器1已经知道用全局挂钟时间的时间单位表示的这个时刻。如上所述,在时间上精确地播放是可能的,因为媒体接收器1能够直接(精确地)访问全局挂钟时间。
对于媒体流会话过程中随后的媒体数据包,数据准备步骤609s、从媒体源101向媒体接收器1的媒体数据包发送步骤、第一个计算步骤613R、第二个计算步骤614R、缓存步骤615R和播放步骤616R重复执行。如上所述,在这样一个媒体流会话过程中,也可以偶尔从媒体源101向媒体接收器1发送一次发送方报告数据包606S。
图6画出了一个流程图,它说明本发明第一个替代实施方案中媒体源501这边的发送过程和媒体接收器502这边的接收过程,其中每个数据包的播放时间都由媒体源501确定,并且和每个媒体数据包一起发送。说明的这一过程对于从媒体源(SRC)501发送给媒体接收器(SNK)502的每个媒体数据包都要执行。应当指出,图6只说明了参加媒体流会话的一个媒体接收器502里的过程。同样的过程也在参与同一媒体会话的其它媒体接收器中执行。
在第一个步骤510中,针对下一次要发送的媒体数据包511产生播放时间。这一播放时间取决于媒体源501时钟信息的随机变化、传输时间长度、参与这一媒体流会话的媒体接收器的译码时间长度和可用缓存大小。如上所述,在媒体源501和媒体接收器502之间协商这些信息。媒体数据包511包括媒体数据513和全局挂钟时间标记512,它用全局挂钟时间的时间单位说明媒体数据包511的播放时间。将这个媒体数据包511发送给媒体接收器502。发送的媒体数据包514包括媒体数据516和分别对应于媒体源501发送的媒体数据513和全局挂钟时间标记512的全局挂钟时间标记515。收到发送的媒体数据包514以后,在处理步骤517里,媒体接收器502缓存媒体数据515,直到发送的全局挂钟时间标记515所说明的播放时刻到来。然后在播放步骤518里,媒体接收器502精确地在确定的播放时刻实际播出媒体数据,这个时间由全局挂钟时间标记515说明。如上所述,在时间上精确地播放是可能的,因为媒体接收器502能够直接(精确地)访问全局挂钟时间。对于有严格时间要求的情形,象立体声左声道和右声道的同步,对时钟信息的这一访问是关键点。
为了协商(协调)播放时间,所有装置都需要获得作为公共时间基准的同一个时钟信息(全局挂钟时间)。然后,媒体源能够协调媒体数据包,所有漏必须缓存这些媒体数据包,直到协调好的全局挂钟时间到来。
图7说明本发明的第二个可选实施方案,其中的媒体接收器自己写上播放时间偏移。在这第二个可选实施方案中,第三个媒体接收器71和第四个媒体接收器72将传输时间、译码时间、可用缓存大小和媒体源101与全局挂钟时间最终的不严格同步考虑在内,协商好一个播放时间偏移。第三个媒体接收器71和第四个媒体接收器72可以通过直接数据链路73(直接通信信道)协商播放时间偏移,也可以在媒体源101中通过第一条数据链路74和第二条数据链路75协商播放时间偏移(间接通信信道)。第一条数据链路74将媒体源101和第三个媒体接收器71连接起来,第二条数据链路75将媒体源101和第四个媒体接收器72联系起来。第三个媒体接收器71和第四个媒体接收器72协商好播放时间偏移以后,媒体源101开始通过第一条数据链路74和第二条数据链路75发送有时间标记的媒体数据包。在图7所示的实例中,通过第一条数据链路74发送有时间标记的第三个媒体数据包76,通过第二条数据链路75发送有时间标记的第四个媒体数据包77。媒体数据包的时间标记可以用全局挂钟时间的时间单位说明它们的产生时刻,或者它们可以用采样时钟时间的时间单位说明它们的产生时间。在后一种情形中,必须在发送媒体数据包以前执行图5所示的程序,也就是必须从媒体源101向第三个媒体接收器71和第四个媒体接收器72发送控制数据包,从而使第三个媒体接收器71和第四个媒体接收器72能够确定用全局挂钟时间的时间单位表示的媒体数据包的产生时间。第三个媒体接收器71和/或第四个媒体接收器72收到媒体数据包以后,它们将协商好的播放时间偏移加上媒体数据包的时间标记说明的时间,确定收到的媒体数据包的播放时间。在这个实例中,第三个媒体接收器71将协商好的播放时间偏移加上有时间标记的第三个媒体数据包76的时间标记说明的时间,确定有时间标记的第三个媒体数据包76的播放时间,精确地在确定好的这个播放时刻播放有时间标记的第三个媒体数据包76。第四个媒体接收器72将协商好的播放时间偏移加上有时间标记的第四个媒体数据包77的时间标记说明的时间,确定有时间标记的第四个媒体数据包77的播放时间,精确地在确定的这个播放时刻播放有时间标记的第四个媒体数据包77。
概括起来说,根据本发明,在数字音频传输系统中,将媒体数据包从媒体源发送给媒体接收器(例如扬声器)。如果媒体接收器收到媒体数据包,其中有属于例如立体声信号的音频信号的音频数据,那么这个媒体数据包与包括另一个媒体接收器收到的包括同一个立体声信号的音频信号的媒体数据包在同一个时刻播放是非常重要的,也就是说这些媒体数据包必须同步播出。为了确保不同的媒体接收器同步播出这些媒体数据包,媒体源或者媒体接收器确定一个共同的播放时刻,媒体数据包被缓存起来,直到这个共同播出时刻。媒体源或者媒体接收器根据在采样时钟的基础之上计算出来的全局挂钟时间的基础之上确定这一共同播放时刻。

Claims (32)

1.一种媒体源(101;400),包括:
-第一数据传输装置,用于把加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)发送到至少两个接收媒体接收器(1,2;4021,4022;71,72),每个媒体数据包(1021,1022;308;610S,610R;76,77)的时间标记(611S)分别指示相应媒体数据包(1021,1022;308;610S,610R;76,77)的创建时间,
-处理装置,用于为会话的所有媒体数据包(1021,1022;308;610S,610R;76,77)确定一次播放时间偏移量(604S),和
-第二数据传输装置,用于为会话的所有媒体数据包(1021,1022;308;610S,610R;76,77)向至少两个接收媒体接收器(1,2;4021,4022;71,72)发送一次播放时间偏移量(604S)。
2.根据权利要求1所述的媒体源(101;400),还包括:
-采样时钟,能够确定采样时钟时间,
-用于确定全局挂钟时间(201)的装置,和
-用于把控制包(606S)发送到至少两个接收媒体接收器(1,2;4021,4022;71,72)的装置,所述控制包(606S)包括用于在时间上指示相同时刻的两个控制包时间标记,其中的第一控制包时间标记(608S)是以所述全局挂钟时间(201)的时间单位来度量或者定义的,其中的第二控制包时间标记(607S)是以所述采样时钟时间的时间单位来度量或者定义的。
3.根据权利要求2所述的媒体源(101;400),其特征在于,媒体数据包(1021,1022;308;610S,610R;76,77)的所述时间标记(611S)以所述采样时钟时间的时间单位来指示所述加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)的创建时间。
4.根据前述权利要求任意一项所述的媒体源(101;400),被设计成把相同的媒体数据包(1021,1022;308;610S,610R;76,77)发送到至少两个不同的接收媒体接收器(1,2;4021,4022;71,72)。
5.一种媒体接收器(1,2;4021,4022;71,72),包括:
-用于从媒体源(101;400)接收加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)的装置,
-用于确定播放时间偏移量(604R)的装置,
-用于精确地确定全局挂钟时间(201)的装置,
-用于通过把由所述加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)的时间标记(611R)指示的时间加上所述播放时间偏移量(604R)来为每个所接收的加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)确定共同播放时间的装置,和
-用于在为所接收的加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)确定的共同播放时间到来的时刻播放每个所接收的加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)的装置。
6.根据权利要求5所述的媒体接收器(1,2;4021,4022;71,72),包括:
用于从媒体源(101;400)接收一次所述播放时间偏移量(604R)的装置。
7.根据权利要求5所述的媒体接收器(1,2;4021,4022;71,72),包括:用于与至少一个其它媒体接收器(1,2;4021,4022;71,72)协商所述播放时间偏移量(604R)的装置。
8.根据权利要求5-7中任意一项所述的媒体接收器(1,2;4021,4022;71,72),包括:
-用于从媒体源(101;400)接收控制包(606R)的装置,所述控制包(606R)包括第一控制包时间标记(608R)和第二控制包时间标记(607R),所述第一控制包时间标记(608R)指示在时间上用采样时钟时间的时间单位来度量或者定义的确定时刻,所述第二控制包时间标记(607R)指示在时间上用全局挂钟时间(201)的时间单位来度量或者定义的相同的确定时刻,和
-用于根据第一和第二控制包时间标记的信息把由加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)的时间标记(611R)指示的、用采样时钟时间的单位来度量或者定义的时间转换成用全局挂钟时间(201)的单位来度量或者定义的时间的装置。
9.根据权利要求5-7中任一项所述的媒体接收器(1,2;4021,4022;71,72),还包括:
缓冲器,适于在所述共同播放时间到来之前存储媒体数据包(1021,1022;308;610S,610R;76,77)。
10.一种媒体处理系统,包括:
媒体源(101;400),所述媒体源包括:
-第一数据传输装置,用于把加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)发送到至少两个接收媒体接收器(1,2;4021,4022;71,72),每个媒体数据包(1021,1022;308;610S,610R;76,77)的时间标记(611S)分别指示相应媒体数据包(1021,1022;308;610S,610R;76,77)的创建时间,
-处理装置,用于确定播放时间偏移量(604S),和
-第二数据传输装置,用于把播放时间偏移量(604S)发送到所述至少两个接收媒体接收器(1,2;4021,4022;71,72);以及
媒体接收器(1,2;4021,4022;71,72),所述媒体接收器包括:
-用于从媒体源(101;400)接收加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)的装置,
-用于确定播放时间偏移量(604R)的装置,
-用于精确地确定全局挂钟时间(201)的装置,
-用于通过把由所述加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)的时间标记(611R)指示的时间加上所述播放时间偏移量(604R)来为每个所接收的加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)确定共同播放时间的装置,和
-用于在为所接收的加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)确定的共同播放时间到来的时刻播放每个所接收的加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)的装置。
11.一种媒体源(501),包括:
-用于确定播放时间偏移量并且通过把所确定的播放时间偏移量加到当前时间来确定共同播放时间的装置,和
-第一数据传输装置,用于把加时间标记的媒体数据包(511)发送到至少两个接收媒体接收器(502),加时间标记的媒体数据包(511)的时间标记(512)指示所述媒体数据包的所述共同播放时间。
12.根据权利要求11所述的媒体源(501),还包括:
-采样时钟,能够确定采样时钟时间,和
-用于通过只读一次全局挂钟时间(201)和把由所述采样时钟给出的时间段加到所述只读一次而得到的全局挂钟时间(201)来计算所述当前时间的装置。
13.根据权利要求11或者12所述的媒体源(501),包括:
第二数据传输装置,用于把相同媒体数据包(511)发送到至少两个不同的接收媒体接收器(502)。
14.一种媒体接收器(502),包括:
-用于从媒体源(501)接收加时间标记的媒体数据包(514)的装置,和
-用于精确地确定全局挂钟时间(201)的装置,和
-用于为每个所接收的加时间标记的媒体数据包(514)确定共同播放时间的装置,所述共同播放时间是由所述加时间标记的媒体数据包(514)的时间标记(515)指示的时间。
15.根据权利要求14所述的媒体接收器(502),还包括:
缓冲器,适于在所述共同播放时间到来之前存储媒体数据包(514)。
16.一种媒体处理系统,包括:
媒体源(501),所述媒体源包含:
-用于确定播放时间偏移量并且通过把所确定的播放时间偏移量加到当前时间来确定共同播放时间的装置,和
-第一数据传输装置,用于把加时间标记的媒体数据包(511)发送到至少两个接收媒体接收器(502),加时间标记的媒体数据包(511)的时间标记(512)指示媒体数据包的所述共同播放时间,
还包括媒体接收器(502),所述媒体接收器包含:
-用于从媒体源(501)接收加时间标记的媒体数据包(514)的装置,和
-用于精确地确定全局挂钟时间(201)的装置,和
-用于为每个所接收的加时间标记的媒体数据包(514)确定共同播放时间的装置,所述共同播放时间是由加时间标记的媒体数据包(514)的时间标记(515)指示的时间。
17.一种旨在为媒体源(101;400)同步地播放媒体数据包(1021,1022;308;610S,610R;76,77)的方法,包括以下步骤:
-把加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)发送到至少两个接收媒体接收器(1,2;4021,4022;71,72),每个媒体数据包(1021,1022;308;610S,610R;76,77)的时间标记(611S)分别指示相应媒体数据包(1021,1022;308;610S,610R;76,77)的创建时间,
-为会话的所有媒体数据包(1021,1022;308;610S,610R;76,77)确定一次播放时间偏移量(603S),和
-为会话的所有媒体数据包(1021,1022;308;610S,610R;76,77)向所述至少两个接收媒体接收器(1,2;4021,4022;71,72)发送一次播放时间偏移量(604S)。
18.根据权利要求17所述的方法,还包括以下步骤:
-确定采样时钟时间,
-确定全局挂钟时间(201),和
-把控制包(606S)发送到所述至少两个接收媒体接收器(1,2;4021,4022;71,72),所述控制包(606S)包括用于在时间上指示相同时刻的两个控制数据包时间标记,其中的第一控制包时间标记(608S)是以所述全局挂钟时间(201)的时间单位来度量或者定义的,其中的第二控制包时间标记(607S)是以所述采样时钟时间的时间单位来度量或者定义的。
19.根据权利要求18所述的方法,其中,
媒体数据包(1021,1022;308;610S,610R;76,77)的所述时间标记(611S)以所述采样时钟时间的时间单位来指示所述加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)的创建时间。
20.根据权利要求17~19中任意一项所述的方法,还包括:
把相同媒体数据包(1021,1022;308;610S,610R;76,77)发送到至少两个不同的接收媒体接收器(1,2;4021,4022;71,72)。
21.一种旨在为媒体接收器(1,2;4021,4022;71,72)同步地播放媒体数据包(1021,1022;308;610S,610R;76,77)的方法,包括以下步骤:
-从媒体源(101;400)接收加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77),
-确定播放时间偏移量(604R),
-精确地确定全局挂钟时间(201),
-通过把由所述加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)的时间标记(611R)指示的时间(614R)加上采用所述全局挂钟时间作为单位或采用所述全局挂钟时间的时间单位的所述播放时间偏移量(604R)来为每个所接收的加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)确定共同播放时间(614R),和
-在为所接收的加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)确定的共同播放时间(616R)到来的时刻,播放每个所接收的加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)。
22.根据权利要求21所述的方法,还包括以下步骤,
从媒体源(101;400)接收一次所述播放时间偏移量(604R)。
23.根据权利要求21所述的方法,还包括以下步骤:
与至少一个其它媒体接收器(1,2;4021,4022;71,72)协商所述播放时间偏移量(604R)。
24.根据前述的权利要求21~23中任意一项所述的方法,还包括以下步骤:
-从媒体源(101;400)接收控制包(606S),所述控制包(606S)包括第一控制包时间标记(608R)和第二控制包时间标记(607R),所述第一控制包时间标记(607R)在时间上指示用采样时钟时间的时间单位来度量或者定义的确定时刻,所述第二控制包时间标记(607R)在时间上指示用全局挂钟时间(201)的时间单位来度量或者定义的相同的确定时刻,并且
-根据第一和第二控制包时间标记信息,把由加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)的时间标记(611R)指示的、用采样时钟时间的单位来度量或者定义的时间(613R)转换成用全局挂钟时间(201)的时间单位来度量或者定义的时间。
25.根据前述的权利要求21~23中任意一项所述的方法,还包括以下步骤:
在所述共同播放时间(615R)到来之前把媒体数据包(1021,1022;308;610S,610R;76,77)存储在缓冲器中。
26.一种旨在为媒体处理系统同步地播放媒体数据包(1021,1022;308;610S,610R;76,77)的方法,包括以下步骤:
-把加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)发送到至少两个接收媒体接收器(1,2;4021,4022;71,72),每个媒体数据包(1021,1022;308;610S,610R;76,77)的时间标记(611S)分别指示相应媒体数据包(1021,1022;308;610S,610R;76,77)的创建时间,
-确定播放时间偏移量(603S),和
-把播放时间偏移量(604S)发送到所述至少两个接收媒体接收器(1,2;4021,4022;71,72),
从媒体源(101;400)接收加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77),
-确定播放时间偏移量(604R),
-精确地确定全局挂钟时间(201),
-通过把由所述加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)的时间标记(611R)指示的时间加上(614R)采用所述全局挂钟时间作为单位或采用所述全局挂钟时间的时间单位的所述播放时间偏移量(604R),来为每个所接收的加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)确定共同播放时间(614R),和
-在为所接收的加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)确定的共同播放时间到来的时刻,播放每个所接收的加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)。
27.一种旨在为媒体源(501)同步地播放媒体数据包(511)的方法,包括以下步骤:
-确定播放时间偏移量,并且通过把所确定的播放时间偏移量加到当前时间来确定共同播放时间,和
-把加时间标记的媒体数据包(511)发送到至少两个接收媒体接收器(502),加时间标记的媒体数据包的时间标记(512)指示所述媒体数据包的所述共同播放时间。
28.根据权利要求27所述的方法,还包括以下步骤:
-确定采样时钟时间,和
-通过只读一次全局挂钟时间(201)和把所述采样时钟给出的时间段加到所述只读一次而得到的全局挂钟时间(201),来计算所述当前时间。
29.根据前述的权利要求27或者28所述的方法,还包括以下步骤:
把相同的媒体数据包(511)发送到至少两个不同的接收媒体接收器(502)。
30.一种旨在为媒体接收器(502)同步地播放媒体数据包(514)的方法,包括以下步骤:
-从媒体源(501)接收加时间标记的媒体数据包(514),
-精确地确定全局挂钟时间(201),和
-为每个所接收的加时间标记的媒体数据包(514)确定共同播放时间,所述共同播放时间是由加时间标记的媒体数据包(514)的时间标记(515)指示的时间,
-从媒体源(101;400)接收控制包(606S),所述控制包包括第一控制包时间标记(608R)和第二控制包时间标记(607R),所述第一控制包时间标记(607R)在时间上指示用采样时钟时间的时间单位来度量或者定义的确定时刻,所述第二控制包时间标记(607R)在时间上指示用全局挂钟时间(201)的时间单位来度量或者定义的相同的确定时刻,
-根据第一和第二控制包时间标记信息,把由加时间标记的媒体数据包(1021,1022;308;610S,610R;76,77)的时间标记(611R)指示的、用采样时钟时间的时间单位来度量或者定义的时间(613R)转换成用全局挂钟时间(201)的时间单位来度量或者定义的时间,
-确定播放时间偏移量,并且通过把所确定的播放时间偏移量加到当前时间来确定共同播放时间,和
-把加时间标记的媒体数据包(511)发送到至少两个接收媒体接收器(502),加时间标记的媒体数据包的时间标记(512)指示所述媒体数据包的所述共同播放时间。
31.根据权利要求30所述的方法,还包括以下步骤:
在所述共同播放时间到来之前把媒体数据包(514)存储到缓冲器中。
32.一种旨在为媒体处理系统同步地播放媒体数据包(511,514)的方法,包括以下步骤:
确定播放时间偏移量,并且通过把所确定的播放时间偏移量加到当前时间来确定共同播放时间,和
-把加时间标记的媒体数据包(511)发送到至少两个接收媒体接收器(502),加时间标记的媒体数据包的时间标记(512)指示所述媒体数据包的所述共同播放时间,
-从媒体源(501)接收加时间标记的媒体数据包(514),
-精确地确定全局挂钟时间(201),和
-为每个所接收的加时间标记的媒体数据包(514)确定共同播放时间,所述共同播放时间是由加时间标记的媒体数据包(514)的时间标记(515)指示的时间。
CN031554695A 2002-09-06 2003-09-05 媒体源、媒体接收器、媒体处理系统及同步播放媒体数据包的方法 Expired - Fee Related CN1489356B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02020070A EP1398931B1 (en) 2002-09-06 2002-09-06 Synchronous play-out of media data packets
EP02020070.5 2002-09-06

Publications (2)

Publication Number Publication Date
CN1489356A CN1489356A (zh) 2004-04-14
CN1489356B true CN1489356B (zh) 2010-04-14

Family

ID=31725366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN031554695A Expired - Fee Related CN1489356B (zh) 2002-09-06 2003-09-05 媒体源、媒体接收器、媒体处理系统及同步播放媒体数据包的方法

Country Status (5)

Country Link
US (1) US7675943B2 (zh)
EP (1) EP1398931B1 (zh)
JP (1) JP4559050B2 (zh)
CN (1) CN1489356B (zh)
DE (1) DE60211157T2 (zh)

Families Citing this family (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US8086752B2 (en) * 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US10613817B2 (en) 2003-07-28 2020-04-07 Sonos, Inc. Method and apparatus for displaying a list of tracks scheduled for playback by a synchrony group
US7362765B1 (en) * 2003-12-15 2008-04-22 Dinochip, Inc. Network traffic management system with floating point sorter
US9374607B2 (en) 2012-06-26 2016-06-21 Sonos, Inc. Media playback system with guest access
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US8024055B1 (en) 2004-05-15 2011-09-20 Sonos, Inc. Method and system for controlling amplifiers
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US7792158B1 (en) 2004-08-18 2010-09-07 Atheros Communications, Inc. Media streaming synchronization
US8149880B1 (en) 2004-08-18 2012-04-03 Qualcomm Atheros, Inc. Media streaming synchronization
US7796651B2 (en) * 2005-03-02 2010-09-14 Nokia Corporation See what you see (SWYS)
US7747725B2 (en) 2005-04-22 2010-06-29 Audinate Pty. Limited Method for transporting digital media
US8068515B2 (en) * 2005-06-22 2011-11-29 Cisco Technology, Inc. Faster multimedia synchronization of broadcast streams using router caching of RTCP packets
DE102005036734A1 (de) * 2005-08-04 2007-02-08 Robert Bosch Gmbh Telekommunikationsgerät mit einer drahtlosen Schnittstelle und Verfahren zum Betrieb eines Telekommunikationsgerätes
US7842031B2 (en) * 2005-11-18 2010-11-30 Medtronic Cryocath Lp Bioimpedance measurement system and method
JP4509921B2 (ja) * 2005-12-14 2010-07-21 日本電信電話株式会社 無線通信システムおよび無線通信方法
US7539889B2 (en) * 2005-12-30 2009-05-26 Avega Systems Pty Ltd Media data synchronization in a wireless network
US8677002B2 (en) * 2006-01-28 2014-03-18 Blackfire Research Corp Streaming media system and method
JP2007274019A (ja) * 2006-03-30 2007-10-18 Matsushita Electric Ind Co Ltd デジタル方式情報配信システムおよびその方法
US9178927B2 (en) 2006-05-17 2015-11-03 Audinate Pty Limited Transmitting and receiving media packet streams
US8239559B2 (en) 2006-07-15 2012-08-07 Blackfire Research Corp. Provisioning and streaming media to wireless speakers from fixed and mobile media sources and clients
US7945277B2 (en) * 2006-07-26 2011-05-17 Sony Ericsson Mobile Communications Ab Use of media timestamp to indicate delays in push-to-talk over cellular group calls
EP2904736B1 (en) * 2006-07-26 2016-10-26 III Holdings 2, LLC Video and multimedia distribution system
CN1960485B (zh) * 2006-08-29 2011-12-07 中兴通讯股份有限公司 一种移动多媒体广播视音频同步播放的方法
US20080077261A1 (en) * 2006-08-29 2008-03-27 Motorola, Inc. Method and system for sharing an audio experience
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US9083994B2 (en) * 2006-09-26 2015-07-14 Qualcomm Incorporated Method and system for error robust audio playback time stamp reporting
JP4935345B2 (ja) 2006-12-25 2012-05-23 ソニー株式会社 コンテンツ再生システム、再生装置、再生制御方法及びプログラム
CN101212690B (zh) * 2006-12-26 2011-04-20 中兴通讯股份有限公司 多媒体视音频流唇音同步的调测方法
US8224147B2 (en) 2007-04-15 2012-07-17 Avid Technologies, Inc. Interconnected multimedia systems with synchronized playback
US7724780B2 (en) * 2007-04-19 2010-05-25 Cisco Technology, Ink. Synchronization of one or more source RTP streams at multiple receiver destinations
CN101137066B (zh) * 2007-05-11 2011-01-05 中兴通讯股份有限公司 一种多媒体数据流同步控制的方法及装置
CN101731011B (zh) 2007-05-11 2014-05-28 奥迪耐特有限公司 用于设置接收器延迟时间的方法
US8102836B2 (en) 2007-05-23 2012-01-24 Broadcom Corporation Synchronization of a split audio, video, or other data stream with separate sinks
US8320410B2 (en) 2007-05-23 2012-11-27 Broadcom Corporation Synchronization of media data streams with separate sinks using a relay
US20090017868A1 (en) * 2007-07-13 2009-01-15 Joji Ueda Point-to-Point Wireless Audio Transmission
US7936790B2 (en) * 2007-08-30 2011-05-03 Silicon Image, Inc. Synchronizing related data streams in interconnection networks
JP4967945B2 (ja) * 2007-09-13 2012-07-04 ヤマハ株式会社 端末装置およびデータ配信システム
US8743284B2 (en) * 2007-10-08 2014-06-03 Motorola Mobility Llc Synchronizing remote audio with fixed video
GB2454493A (en) * 2007-11-08 2009-05-13 Cambridge Silicon Radio Ltd Improved bluetooth clock accuracy
JP2009159401A (ja) * 2007-12-27 2009-07-16 Rohm Co Ltd 無線通信システム
WO2009099366A1 (en) * 2008-02-05 2009-08-13 Telefonaktiebolaget L M Ericsson (Publ) A method of transmitting sychnronized speech and video
WO2009098669A2 (en) * 2008-02-08 2009-08-13 Nxp B.V. Audio streaming system and method for continuously synchronizing streamed audio data files
KR100916505B1 (ko) * 2008-02-20 2009-09-08 한국전자통신연구원 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치
CN102017652B (zh) 2008-02-29 2015-05-13 奥迪耐特有限公司 用于在媒体网络中使用的网络设备、方法和/或系统
US8654988B2 (en) 2008-05-05 2014-02-18 Qualcomm Incorporated Synchronization of signals for multiple data sinks
JP5316189B2 (ja) * 2008-05-23 2013-10-16 ヤマハ株式会社 Avシステム
US20090298420A1 (en) * 2008-05-27 2009-12-03 Sony Ericsson Mobile Communications Ab Apparatus and methods for time synchronization of wireless audio data streams
US8639830B2 (en) * 2008-07-22 2014-01-28 Control4 Corporation System and method for streaming audio
TWI393431B (zh) * 2008-10-16 2013-04-11 Ind Tech Res Inst 行動電視系統及其同步化播放串流服務的方法
US8776144B2 (en) * 2008-10-16 2014-07-08 Industrial Technology Research Institute Mobile TV system and method for synchronizing the rendering of streaming services thereof
EP2180655A1 (en) * 2008-10-27 2010-04-28 Thomson Licensing SA Method of transmission af a digital content stream and corresponding method of reception
CN105207903B (zh) * 2009-02-20 2019-02-15 汤姆森特许公司 分组交换网络上的时间同步资源预留的方法和设备
DE102009028645B4 (de) 2009-08-19 2014-04-03 Raumfeld Gmbh Verfahren und Anordnung zur Synchronisation von Datenströmen in Netzwerken sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
GB0921668D0 (en) * 2009-12-10 2010-01-27 Vocality Internat Ltd Media over IP perfomance enhancement
EP2529531B1 (en) 2010-01-27 2019-10-09 Koninklijke KPN N.V. Method, system and device for synchronization of media streams
JP5454248B2 (ja) * 2010-03-12 2014-03-26 ソニー株式会社 送信装置、および送信方法
KR101582436B1 (ko) 2010-05-04 2016-01-04 샤잠 엔터테인먼트 리미티드 미디어의 동기화 방법 및 시스템
FR2962875B1 (fr) * 2010-07-15 2012-08-17 Soledge Diffusion synchronisee de flux
US10712771B2 (en) 2010-08-13 2020-07-14 Netflix, Inc. System and method for synchronized playback of streaming digital content
DE102010037906B4 (de) 2010-09-30 2014-02-27 Schneider Electric Automation Gmbh Verfahren und System zur Aufzeichnung, Synchronisation und Analyse von Daten mittels in einem Kommunikationsnetzwerk räumlich verteilter Analyse-Geräte
GB2486183A (en) * 2010-12-03 2012-06-13 Cambridge Silicon Radio Ltd Time stamps are added to data transmitted via Bluetooth® connections to facilitate synchronised output of the data from a plurality of devices.
US8643696B2 (en) * 2011-01-19 2014-02-04 Broadcom Corporation Synchronizing media streams using time signal(s) from an independent time source
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US8677006B2 (en) * 2011-05-05 2014-03-18 Microsoft Corporation Processing media streams
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
US9712573B2 (en) 2011-09-13 2017-07-18 Qualcomm Incorporated Synchronized wireless display devices
US9455885B2 (en) * 2011-10-13 2016-09-27 General Electric Company Systems, methods, and apparatus for modifying sensor time stamp data
US8817725B2 (en) * 2012-01-13 2014-08-26 Blackberry Limited Scheduling transmission of traffic treated less preferentially despite timing requirements
EP2615880B1 (en) * 2012-01-13 2014-04-09 BlackBerry Limited Scheduling transmission of traffic treated less preferentially despite timing requirements
EP2632066B1 (de) * 2012-02-27 2016-01-06 OMS Software GmbH Verfahren und Endgeräte zur Synchronisation einer Wiedergabe von maschinenlesbaren Daten
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US9787523B2 (en) * 2012-07-05 2017-10-10 Eric Lazarus Managing data in a data queue including synchronization of media on multiple devices
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
FR3000864B1 (fr) * 2013-01-10 2015-02-27 Awox Dispositif de synchronisation de diffusion de signal sonore et diffuseur sonore
US9510055B2 (en) 2013-01-23 2016-11-29 Sonos, Inc. System and method for a media experience social interface
US20140214961A1 (en) * 2013-01-31 2014-07-31 Lance Gordon Douglas Methods and systems for continuous compilation of non-interactive video with supplemental renderings of interactive content to produce real-time, personalized video for individuals and/or groups in a shared experience
US9654545B2 (en) 2013-09-30 2017-05-16 Sonos, Inc. Group coordinator device selection
US9288596B2 (en) 2013-09-30 2016-03-15 Sonos, Inc. Coordinator device for paired or consolidated players
US9244516B2 (en) 2013-09-30 2016-01-26 Sonos, Inc. Media playback system using standby mode in a mesh network
US9720576B2 (en) 2013-09-30 2017-08-01 Sonos, Inc. Controlling and displaying zones in a multi-zone system
US20150095679A1 (en) 2013-09-30 2015-04-02 Sonos, Inc. Transitioning A Networked Playback Device Between Operating Modes
US9301268B2 (en) 2013-11-08 2016-03-29 Nokia Technologies Oy Device synchronization
US9300647B2 (en) 2014-01-15 2016-03-29 Sonos, Inc. Software application and zones
US20150220498A1 (en) 2014-02-05 2015-08-06 Sonos, Inc. Remote Creation of a Playback Queue for a Future Event
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
WO2015122814A1 (en) * 2014-02-14 2015-08-20 Telefonaktiebolaget L M Ericsson (Publ) Synchronising playing of streaming content on plural streaming clients
US10602468B2 (en) 2014-02-21 2020-03-24 Summit Wireless Technologies, Inc. Software based audio timing and synchronization
US9723580B2 (en) * 2014-02-21 2017-08-01 Summit Semiconductor Llc Synchronization of audio channel timing
US10582461B2 (en) 2014-02-21 2020-03-03 Summit Wireless Technologies, Inc. Software based audio timing and synchronization
US9679054B2 (en) 2014-03-05 2017-06-13 Sonos, Inc. Webpage media playback
JP2015171065A (ja) * 2014-03-10 2015-09-28 富士通株式会社 システムおよび方法
US9319792B1 (en) * 2014-03-17 2016-04-19 Amazon Technologies, Inc. Audio capture and remote output
US10587693B2 (en) 2014-04-01 2020-03-10 Sonos, Inc. Mirrored queues
US20150324552A1 (en) 2014-05-12 2015-11-12 Sonos, Inc. Share Restriction for Media Items
US20150356084A1 (en) 2014-06-05 2015-12-10 Sonos, Inc. Social Queue
CN104079957B (zh) * 2014-06-25 2017-09-01 广东欧珀移动通信有限公司 一种多媒体设备同步操作的方法及系统
US10209947B2 (en) 2014-07-23 2019-02-19 Sonos, Inc. Device grouping
US9874997B2 (en) 2014-08-08 2018-01-23 Sonos, Inc. Social playback queues
US9723038B2 (en) 2014-09-24 2017-08-01 Sonos, Inc. Social media connection recommendations based on playback information
US9667679B2 (en) 2014-09-24 2017-05-30 Sonos, Inc. Indicating an association between a social-media account and a media playback system
US9690540B2 (en) 2014-09-24 2017-06-27 Sonos, Inc. Social media queue
US9860286B2 (en) 2014-09-24 2018-01-02 Sonos, Inc. Associating a captured image with a media item
US10645130B2 (en) 2014-09-24 2020-05-05 Sonos, Inc. Playback updates
US9959087B2 (en) 2014-09-24 2018-05-01 Sonos, Inc. Media item context from social media
WO2016049342A1 (en) 2014-09-24 2016-03-31 Sonos, Inc. Social media connection recommendations based on playback information
US11044386B1 (en) * 2014-12-18 2021-06-22 The Directv Group, Inc. Method and system for synchronizing playback of independent audio and video streams through a network
US9788140B2 (en) 2014-12-31 2017-10-10 Qualcomm Technologies International, Ltd. Time to play
CN106302378B (zh) * 2015-05-25 2020-09-22 恩智浦美国有限公司 用于流同步的多媒体系统和方法
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
CN105306110B (zh) * 2015-09-18 2018-08-17 深圳市冠旭电子股份有限公司 一种实现音乐同步播放的方法及系统
US9886234B2 (en) 2016-01-28 2018-02-06 Sonos, Inc. Systems and methods of distributing audio to one or more playback devices
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
US10255032B2 (en) * 2016-12-13 2019-04-09 EVA Automation, Inc. Wireless coordination of audio sources
US10009862B1 (en) * 2017-09-06 2018-06-26 Texas Instruments Incorporated Bluetooth media device time synchronization
CN112105005A (zh) * 2019-08-30 2020-12-18 炬力(珠海)微电子有限公司 一种控制蓝牙设备播放的方法及装置
FR3109047B1 (fr) * 2020-04-01 2022-03-04 Sagemcom Broadband Sas Procédé d’application de jeu de paramètres d’égalisation
CN111586152B (zh) * 2020-04-30 2023-06-02 北京小米移动软件有限公司 蓝牙传输数据的播放方法及装置、蓝牙传输数据的发送方法及装置
CN113438385B (zh) * 2021-06-03 2023-04-04 深圳市昊一源科技有限公司 一种视频同步方法及无线图像传输系统
EP4287626A1 (en) * 2022-06-02 2023-12-06 Airbus S.A.S. System and method for synchronized data playback and aircraft

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1122931A2 (en) * 2000-02-07 2001-08-08 Sharp Kabushiki Kaisha Real-time media content synchronization and transmission in packet network apparatus and method

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02122800A (ja) * 1988-10-31 1990-05-10 Matsushita Electric Ind Co Ltd 音響再生装置
JPH04176299A (ja) * 1990-11-09 1992-06-23 Matsushita Electric Ind Co Ltd 車載音響再生装置
WO1995025313A1 (en) * 1994-03-16 1995-09-21 International Business Machines Corporation Method and apparatus for synchronization and scheduling of multiple data streams and real time tasks
GB2298951B (en) * 1995-03-17 1999-10-27 Olivetti Res Ltd Addition of time information
JPH099386A (ja) * 1995-06-21 1997-01-10 Mitsubishi Cable Ind Ltd スピーカシステム
US6360271B1 (en) * 1999-02-02 2002-03-19 3Com Corporation System for dynamic jitter buffer management based on synchronized clocks
JP2001127712A (ja) 1999-10-29 2001-05-11 Yazaki Corp 音響システム
JP4083361B2 (ja) * 1999-12-21 2008-04-30 パイオニア株式会社 情報再生システム
JP2001275194A (ja) * 2000-03-27 2001-10-05 Aiwa Co Ltd スピーカーシステム、情報送信装置及びスピーカー装置
US7031306B2 (en) * 2000-04-07 2006-04-18 Artel Video Systems, Inc. Transmitting MPEG data packets received from a non-constant delay network
US6801505B1 (en) * 2000-11-28 2004-10-05 Qosmetrics, Inc. Method of using computer equipment to send a time-stamped frame
US7530086B2 (en) * 2000-12-12 2009-05-05 Hewlett-Packard Development Company, L.P. Media program timing and identity delivery method and system
US6947417B2 (en) * 2001-06-29 2005-09-20 Ip Unity Method and system for providing media services
US7161939B2 (en) * 2001-06-29 2007-01-09 Ip Unity Method and system for switching among independent packetized audio streams
US7016348B2 (en) * 2001-08-28 2006-03-21 Ip Unity Method and system for direct access to web content via a telephone
US7047308B2 (en) * 2001-08-31 2006-05-16 Sharp Laboratories Of America, Inc. System and method for simultaneous media playout
US7269141B2 (en) * 2002-09-24 2007-09-11 Accton Technology Corporation Duplex aware adaptive playout method and communications device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1122931A2 (en) * 2000-02-07 2001-08-08 Sharp Kabushiki Kaisha Real-time media content synchronization and transmission in packet network apparatus and method

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
作者:.标题:.卷号: 期号:.同上.
作者:.标题:.卷号:期号:.同上. *
作者:civanlar,cash,haskell.标题:RFC 2343:RFC 2343:RTP Payload Format for BundledMPEG.REQUEST FOR COMMENTS卷号:期号:.1998,1-8. *
作者:montgomery,warren a..标题:techniques for packet voice synchronization.IEEE JOURNAL ON SELECTED AREAS OF COMMUNICATION卷号:1期号:6.1983,1(6),1022-1028. *
作者:schulzrinne,casner,frederick,jacobsen.标题:RFC 1889:RTP:A TRansport Protocol for Real-Time Applications.REQUEST FOR COMMENTS卷号:期号:.1996,全文. *

Also Published As

Publication number Publication date
DE60211157D1 (de) 2006-06-08
JP4559050B2 (ja) 2010-10-06
JP2004104796A (ja) 2004-04-02
US20040228367A1 (en) 2004-11-18
EP1398931B1 (en) 2006-05-03
CN1489356A (zh) 2004-04-14
DE60211157T2 (de) 2007-02-08
US7675943B2 (en) 2010-03-09
EP1398931A1 (en) 2004-03-17

Similar Documents

Publication Publication Date Title
CN1489356B (zh) 媒体源、媒体接收器、媒体处理系统及同步播放媒体数据包的方法
JP7230008B2 (ja) リアルタイムオーディオおよびデータを提供するためのシステムおよび方法
US7243150B2 (en) Reducing the access delay for transmitting processed data over transmission data
US9270784B2 (en) Peer-to-peer communications
CN102356619B (zh) 已修改流同步
US9055332B2 (en) Lip synchronization in a video conference
EP2979399B1 (en) Method and device for latency adjustment
JP2007274019A5 (zh)
US20100034393A1 (en) Ad-hoc adaptive wireless mobile sound system
CN1996897A (zh) 一种在rtp中实时检测网络传输时延的方法
CN105992025A (zh) 基于音频同步播放的系统时间校准方法、音频同步播放方法及装置
US20220038769A1 (en) Synchronizing bluetooth data capture to data playback
CN102065060B (zh) 媒体流切换同步方法和流媒体服务器
JP2009081654A (ja) ストリーム同期再生システム及び方法
CN110225385A (zh) 一种音视频同步调整方法和装置
JP4042396B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
CN100456743C (zh) 移动流媒体的计时方法
KR20190073058A (ko) Mmt 프로토콜 기반의 다채널 환경에서 콘텐츠 동기화 방법 및 장치
JP2008028599A (ja) マルチメディアデータの再生方法及びこの方法を実施するための主通信機及び従通信機ならびにプログラム
US20220095249A1 (en) Content distribution system
JP2008092161A (ja) 通信端末、マルチメディア再生制御方法、およびプログラム
JP3977784B2 (ja) リアルタイムパケット処理装置及びその方法
JP4520335B2 (ja) データ送受信装置、双方向データ伝送システム、及び、データ送受信方法
Lauri et al. Synchronization of streamed audio between multiple playback devices over an unmanaged IP network
US20230269155A1 (en) A wireless conference system with early packet loss detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: SONY INT EUROP GMBH

Free format text: FORMER OWNER: SONY INTERNATIONAL (EUROPE) GMBH

Effective date: 20120425

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120425

Address after: Berlin

Patentee after: Sony Int Europ GmbH

Address before: Berlin

Patentee before: Sony International (Europe) GmbH

C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100414

Termination date: 20130905