直播方法、装置、系统及存储介质与流程

    专利2022-07-07  147


    本申请涉及互联网技术领域,特别涉及一种直播方法、装置、系统及存储介质。



    背景技术:

    随着互联网技术的快速发展,互联网直播已成为当今的潮流。在直播过程中,主播终端会向观众终端推荐物品信息,而观众终端会展示该推荐的物品信息。如此,能够提高直播的趣味性。

    相关技术中,当主播在直播过程中推荐物品信息时,主播终端会将当前的视频帧和当前推荐的物品信息通过两个长连接分别发送至观众终端,观众终端在接收到该视频帧和该物品信息后,则会播放该视频帧并显示该物品信息。

    然而,由于网络环境的差异,可能导致该视频帧和该物品信息无法同时到达观众终端,从而导致观众终端显示该物品信息的时间和播放该视频帧的时间不同步的问题。



    技术实现要素:

    本申请实施例提供了一种直播方法、装置、系统及存储介质,能够保证观众终端显示物品信息的时间与播放包含推荐该物品信息的直播内容的视频帧的时间是同步的,提高了直播的效果。所述技术方案如下:

    一方面,提供了一种直播方法,所述方法包括:

    接收服务器发送的直播推送内容;

    根据所述直播推送内容获取第一视频帧和目标索引信息,所述第一视频帧为主播终端执行对目标物品信息的推荐操作时采集的视频帧,所述第一视频帧中包含推荐所述目标物品信息的直播内容,所述目标索引信息为所述目标物品信息对应的索引信息;

    在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息。

    在一种可能的实现方式中,所述直播推送内容包括第二视频帧,所述第二视频帧是在所述第一视频帧中插入所述目标索引信息后得到的,所述根据所述直播推送内容获取第一视频帧和目标索引信息,包括:

    对所述第二视频帧进行解析,得到所述第一视频帧和所述目标索引信息。

    在另一种可能的实现方式中,所述直播推送内容包括索引文件和至少一个视频切片,每个视频切片包括至少一个视频帧,所述根据所述直播推送内容获取第一视频帧和目标索引信息,包括:

    对所述索引文件进行解析,得到所述目标索引信息和时间点信息,所述时间点信息表示所述主播终端执行对所述目标物品信息的推荐操作时的直播时间点;

    从所述至少一个视频切片包括的至少一个视频帧中,确定所述时间点信息对应的所述第一视频帧。

    在另一种可能的实现方式中,所述在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息之前,所述方法还包括:

    根据已存储的物品信息和对应的索引信息,查询所述目标索引信息对应的所述目标物品信息。

    在另一种可能的实现方式中,所述接收服务器发送的直播推送内容之前,所述方法还包括:

    从所述服务器接收待推荐的至少一个物品信息和对应的索引信息;

    存储所述至少一个物品信息和对应的索引信息。

    在另一种可能的实现方式中,所述在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息,包括:

    在播放所述第一视频帧时显示悬浮窗口,所述悬浮窗口中包括所述目标物品信息。

    另一方面,提供了另一种直播方法,所述方法包括:

    在进行直播的过程中,响应于对目标物品信息的推荐操作,确定所述目标物品信息对应的目标索引信息;

    将所述目标索引信息插入到当前采集到的第一视频帧中,得到第二视频帧;

    向服务器发送所述第二视频帧,所述服务器用于根据所述第二视频帧进行直播推送,以使接收到直播推送内容的观众终端在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息。

    在一种可能的实现方式中,所述方法还包括:

    在进行所述直播的过程中,响应于对所述目标物品信息的推荐操作,确定时间点信息,所述时间点信息表示所述推荐操作对应的直播时间点;

    所述将所述目标索引信息插入到当前采集到的第一视频帧中,得到第二视频帧,包括:

    将所述目标索引信息和所述时间点信息插入到所述第一视频帧中,得到所述第二视频帧。

    在另一种可能的实现方式中,所述将所述目标索引信息插入到当前采集到的第一视频帧中,得到第二视频帧,包括:

    将所述目标索引信息插入到所述第一视频帧的补充增强信息sei中,得到所述第二视频帧。

    在另一种可能的实现方式中,所述响应于对目标物品信息的推荐操作,确定所述目标物品信息对应的目标索引信息,包括:

    根据已存储的物品信息和对应的索引信息,查询所述目标物品信息对应的所述目标索引信息。

    在另一种可能的实现方式中,所述响应于对目标物品信息的推荐操作,确定所述目标物品信息对应的目标索引信息之前,所述方法还包括:

    从所述服务器接收待推荐的至少一个物品信息和对应的索引信息;

    存储所述至少一个物品信息和对应的索引信息。

    在另一种可能的实现方式中,所述响应于对目标物品信息的推荐操作,确定所述目标物品信息对应的目标索引信息之前,所述方法还包括:

    在直播界面中显示待推荐的至少一个物品信息。

    另一方面,提供了另一种直播方法,所述方法包括:

    接收主播终端发送的视频流,所述视频流中包括第二视频帧,所述第二视频帧是在第一视频帧中插入目标索引信息和时间点信息后得到的,所述第一视频帧为所述主播终端执行对目标物品信息的推荐操作时采集的视频帧,所述第一视频帧中包含推荐所述目标物品信息的直播内容,所述目标索引信息为所述目标物品信息对应的索引信息,所述时间点信息表示所述主播终端执行所述推荐操作时的直播时间点;

    对所述第二视频帧进行解析,得到所述第一视频帧、所述目标索引信息和所述时间点信息;

    将解析后的所述视频流切分为至少一个视频切片,生成包括所述目标索引信息和所述时间点信息的索引文件;

    向观众终端发送所述索引文件和所述至少一个视频切片,以使所述观众终端对所述索引文件进行解析,得到所述目标索引信息和所述时间点信息,从所述至少一个视频切片包括的至少一个视频帧中,确定所述时间点信息对应的所述第一视频帧,在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息。

    另一方面,提供了一种直播装置,所述装置包括:

    内容接收模块,被配置为接收服务器发送的直播推送内容;

    信息获取模块,被配置为根据所述直播推送内容获取第一视频帧和目标索引信息,所述第一视频帧为主播终端执行对目标物品信息的推荐操作时采集的视频帧,所述第一视频帧中包含推荐所述目标物品信息的直播内容,所述目标索引信息为所述目标物品信息对应的索引信息;

    信息显示模块,被配置为在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息。

    在一种可能的实现方式中,所述直播推送内容包括第二视频帧,所述第二视频帧是在所述第一视频帧中插入所述目标索引信息后得到的,

    所述信息获取模块,被配置为对所述第二视频帧进行解析,得到所述第一视频帧和所述目标索引信息。

    在另一种可能的实现方式中,所述直播推送内容包括索引文件和至少一个视频切片,每个视频切片包括至少一个视频帧,

    所述信息获取模块,被配置为对所述索引文件进行解析,得到所述目标索引信息和时间点信息,所述时间点信息表示所述主播终端执行对所述目标物品信息的推荐操作时的直播时间点;从所述至少一个视频切片包括的至少一个视频帧中,确定所述时间点信息对应的所述第一视频帧。

    在另一种可能的实现方式中,所述装置还包括:

    信息查询模块,被配置为根据已存储的物品信息和对应的索引信息,查询所述目标索引信息对应的所述目标物品信息。

    在另一种可能的实现方式中,所述信息查询模块,还被配置为从所述服务器接收待推荐的至少一个物品信息和对应的索引信息;存储所述至少一个物品信息和对应的索引信息。

    在另一种可能的实现方式中,所述信息显示模块,被配置为在播放所述第一视频帧时显示悬浮窗口,所述悬浮窗口中包括所述目标物品信息。

    另一方面,提供了一种直播装置,所述装置包括:

    信息确定模块,被配置为在进行直播的过程中,响应于对目标物品信息的推荐操作,确定所述目标物品信息对应的目标索引信息;

    信息插入模块,被配置为将所述目标索引信息插入到当前采集到的第一视频帧中,得到第二视频帧;

    视频帧发送模块,被配置为向服务器发送所述第二视频帧,所述服务器用于根据所述第二视频帧进行直播推送,以使接收到直播推送内容的观众终端在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息。

    在一种可能的实现方式中,所述信息确定模块,还被配置为在进行所述直播的过程中,响应于对所述目标物品信息的推荐操作,确定时间点信息,所述时间点信息表示所述推荐操作对应的直播时间点;

    所述信息插入模块,还被配置为将所述目标索引信息和所述时间点信息插入到所述第一视频帧中,得到所述第二视频帧。

    在另一种可能的实现方式中,所述信息插入模块,被配置为将所述目标索引信息插入到所述第一视频帧的补充增强信息sei中,得到所述第二视频帧。

    在另一种可能的实现方式中,所述信息确定模块,被配置为根据已存储的物品信息和对应的索引信息,查询所述目标物品信息对应的所述目标索引信息。

    在另一种可能的实现方式中,所述信息确定模块,还被配置为从所述服务器接收待推荐的至少一个物品信息和对应的索引信息;存储所述至少一个物品信息和对应的索引信息。

    在另一种可能的实现方式中,所述装置还包括:

    信息显示模块,被配置为在直播界面中显示待推荐的至少一个物品信息。

    另一方面,提供了一种直播装置,所述装置包括:

    视频流接收模块,被配置为接收主播终端发送的视频流,所述视频流中包括第二视频帧,所述第二视频帧是在第一视频帧中插入目标索引信息和时间点信息后得到的,所述第一视频帧为所述主播终端执行对目标物品信息的推荐操作时采集的视频帧,所述第一视频帧中包含推荐所述目标物品信息的直播内容,所述目标索引信息为所述目标物品信息对应的索引信息,所述时间点信息表示所述主播终端执行所述推荐操作时的直播时间点;

    视频帧解析模块,被配置为对所述第二视频帧进行解析,得到所述第一视频帧、所述目标索引信息和所述时间点信息;

    视频流切分模块,被配置为将解析后的所述视频流切分为至少一个视频切片,生成包括所述目标索引信息和所述时间点信息的索引文件;

    切片发送模块,被配置为向观众终端发送所述索引文件和所述至少一个视频切片,以使所述观众终端对所述索引文件进行解析,得到所述目标索引信息和所述时间点信息,从所述至少一个视频切片包括的至少一个视频帧中,确定所述时间点信息对应的所述第一视频帧,在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息。

    另一方面,提供了一种直播系统,所述系统包括:包括主播终端、观众终端和服务器;

    所述主播终端用于在进行直播的过程中,响应于对目标物品信息的推荐操作,确定所述目标物品信息对应的目标索引信息,将所述目标索引信息插入到当前采集到的第一视频帧中,得到第二视频帧,向所述服务器发送所述第二视频帧;

    所述服务器用于根据所述第二视频帧,向所述观众终端发送直播推送内容;

    所述观众终端用于根据所述直播推送内容获取所述第一视频帧和所述目标索引信息,在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息。

    另一方面,提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述程序代码由所述处理器加载并执行以实现上述任一种可能实现方式中的直播方法中执行的操作。

    另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现上述任一种可能实现方式中的直播方法中执行的操作。

    再一方面,提供了一种计算机程序产品,所述计算机程序产品中包括至少一条程序代码,所述程序代码由处理器加载并执行以实现上述任一种可能实现方式中的直播方法中执行的操作。

    本申请实施例提供的技术方案带来的有益效果至少包括:

    在本申请实施例中,物品信息的索引信息和包含推荐该物品信息的直播内容的视频帧是作为直播推送内容同时发送给观众终端的,因此,观众终端接收到直播推送内容便能同时获得该视频帧和该物品信息的索引信息,从而能够在播放该视频帧时显示索引信息对应的该物品信息,如此保证了显示该物品信息的时间与播放包含推荐该物品信息的直播内容的视频帧的时间是同步的,提高了直播的效果。

    附图说明

    为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

    图1是本申请实施例提供的一种实施环境的示意图;

    图2是本申请实施例提供的一种直播方法的流程图;

    图3是本申请实施例提供的一种直播方法的流程图;

    图4是本申请实施例提供的一种直播方法的流程图;

    图5是本申请实施例提供的一种直播方法的流程图;

    图6是本申请实施例提供的一种直播方法的流程图;

    图7是本申请实施例提供的一种直播装置的框图;

    图8是本申请实施例提供的一种直播装置的框图;

    图9是本申请实施例提供的一种直播装置的框图;

    图10是本申请实施例提供的一种直播系统的框图;

    图11是本申请实施例提供的一种终端的结构示意图;

    图12是本申请实施例提供的一种服务器的结构示意图。

    具体实施方式

    为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。

    本申请所使用的术语“第一”、“第二”、“第三”、“第四”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一视频帧称为视频帧,且类似地,可将第二视频帧称为第一视频帧。

    本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”,至少一个包括一个、两个或两个以上,多个包括两个或两个以上,而每个是指对应的多个中的每一个,任一是指多个中的任意一个。举例来说,多个物品信息包括3个物品信息,而每个是指这3个物品信息中的每一个物品信息,任一是指这3个物品信息中的任意一个,可以是第一个,可以是第二个、也可以是第三个。

    图1是本申请实施例提供的一种实施环境的示意图。参见图1,该实施环境包括至少一个主播终端101(图1中以1个为例)、至少一个观众终端102(图1中以3个为例)和服务器103。主播终端101、观众终端102以及服务器103之间通过无线或者有线网络连接。可选地,主播终端101和观众终端102包括电脑、手机、平板电脑或者其他终端。可选地,服务器102为后台服务器,或者为提供云计算和云存储服务的云服务器,本申请对此不做限制。

    可选地,主播终端101和观众终端102上安装由服务器103提供服务的目标应用,主播终端101以及观众终端102通过该目标应用实现例如数据传输、消息交互等功能。可选地,目标应用为操作系统中的应用,或者为第三方提供的应用。例如,目标应用为直播应用,该直播应用具有视频直播的功能,当然,该直播应用还能够具有其他功能,例如,购物功能、音乐功能、社交功能、游戏功能等。

    在直播的场景下,主播终端101和观众终端102用于基于账号登录目标应用,则主播终端101使用目标应用进行直播,将采集的视频帧上传至服务器103,服务器103将视频帧同步至观众终端102,然后观众终端102播放该视频帧。

    在本申请中,主播终端101还用于在进行直播的过程中推荐目标物品信息,而观众终端102用于在播放包含推荐该目标物品信息的直播内容的视频帧时,同步显示该目标物品信息,从而提高直播效果。

    本申请实施例提供的直播方法能够应用于任何直播的场景下,例如,应用于购物直播的场景下,则主播终端能够在进行直播的过程中推荐商品信息,而观众终端能够在播放包含主播推荐该商品信息的直播内容的视频帧时,同步显示该商品信息。

    图2是本申请实施例提供的一种直播方法的流程图。参见图2,该实施例的执行主体为主播终端,该实施例包括:

    201:主播终端在进行直播的过程中,响应于对目标物品信息的推荐操作,确定目标物品信息对应的目标索引信息。

    可选地,从内容上来说,物品信息包括物品的功能、等值的可流通资源数量、颜色、数量、生产地址、生产日期、品牌、味道、材料、优惠信息、物品的获取接口等,从格式上来说,物品信息包括文本信息、图片信息、视频信息等。

    索引信息是指能够确认特定物品的信息,可选地,索引信息包括商品的id(identitydocument,身份标识号)、upc(universalproductcode,商品统一代码)、spu(standardproductunit,标准产品单位)、sku(stockkeepingunit,库存量单位)、名称、品类、等值的可流通资源数量、标签等信息。

    在直播的过程中,主播能够向观众推荐目标物品信息,例如向观众介绍目标物品信息,并鼓励观众获取该目标物品信息,并且,主播能够执行对目标物品信息的推荐操作,例如,选取该目标物品信息,确认向观众终端发送该目标物品信息,相应的,主播终端会响应于该推荐操作来确定目标物品信息对应的目标索引信息。

    在一种可能的实现方式中,主播终端响应于对目标物品信息的推荐操作,确定目标物品信息对应的目标索引信息,包括:主播终端根据已存储的物品信息和对应的索引信息,查询目标物品信息对应的目标索引信息。

    主播终端能够存储至少一个物品信息以及每个物品信息对应的索引信息,在检测到对目标物品信息的推荐操作的情况下,根据每个物品信息和对应的索引信息,查询目标物品信息对应的目标索引信息。

    在一种可能的实现方式中,主播终端响应于对目标物品信息的推荐操作,确定目标物品信息对应的目标索引信息之前,主播终端从服务器接收待推荐的至少一个物品信息和对应的索引信息;存储至少一个物品信息和对应的索引信息。

    其中,可选地,服务器为物品服务器,该物品服务器用于存储物品信息和对应的物品索引信息,当然,该物品服务器还能够存储其他信息,本申请实施例对此不做限制。可选地,主播终端从服务器接收待推荐的至少一个物品信息和对应的索引信息的时机为在直播开始前,或者在直播开始后,本申请实施例对此也不做限制。

    需要说明的一点是,可选地,本场直播对应的待推荐的至少一个物品信息和对应的索引信息由主播终端在直播开始前上传至服务器中,或者由其他终端在直播开始前上传至服务器中,本申请实施例对此不做限制。

    在一种可能的实现方式中,主播终端响应于对目标物品信息的推荐操作,确定目标物品信息对应的目标索引信息之前,在直播界面中显示待推荐的至少一个物品信息。

    可选地,直播界面中包括物品信息的显示选项,当主播想要推荐物品信息时,主播能够通过触发该显示选项来控制物品信息的显示,相应的,若主播终端检测到对该显示选项的触发操作,则在直播界面中显示至少一个物品信息,之后,主播则能够从显示的至少一个物品信息中选取目标物品信息。

    在一种可能的实现方式中,主播终端在进行直播的过程中,响应于对目标物品信息的推荐操作,确定时间点信息。

    其中,时间点信息表示对目标物品信息的推荐操作对应的直播时间点。可选地,该直播时间点以直播开始时间点为基准,例如,该直播时间点为直播开始后的第5分30秒。

    202:主播终端将目标索引信息插入到当前采集到的第一视频帧中,得到第二视频帧。

    其中,第一视频帧为主播终端检测到对目标物品信息的推荐操作时采集的视频帧,且第一视频帧中包含主播推荐目标物品信息的直播内容。

    在一种可能的实现方式中,主播终端将目标索引信息插入到当前采集到的第一视频帧中,得到第二视频帧,包括:主播终端将目标索引信息插入到第一视频帧的sei(supplementalenhancementinformation,补充增强信息)中,得到第二视频帧。

    其中,sei属于码流范畴,它提供了向视频码流中加入额外信息的方法,是h.264/h.265这些视频压缩标准的特性之一。在向sei中插入目标索引信息时,需要使用统一的协议,例如,目标索引信息的key(字段)是“productid”,“productid”后的“=”后的信息为目标索引信息的value(值),如此保证其他终端或者服务器能够从第二视频帧中准确无误地获取到目标索引信息。

    可选地,向第一视频帧的sei中插入目标索引信息的代码如下:./ffmpeg-ishangou.h264

    -c:vcopy-bsf:vh264_metadata=sei_user_data=sei_user_data=

    '086f3693-b7b3-4f2c-9653-21492feee5b8 productid=123456'shangou.sei.h264。

    在一种可能的实现方式中,主播终端还确定了推荐操作对应的时间点信息,相应的,主播终端将目标索引信息插入到当前采集到的第一视频帧中,得到第二视频帧,包括:主播终端将目标索引信息和时间点信息插入到第一视频帧中,得到第二视频帧。其中,将目标索引信息和时间点信息插入到第一视频帧中的方法与将目标索引信息插入到第一视频帧中的方法类似,此处不再赘述。

    203:主播终端向服务器发送第二视频帧。

    在一种可能的实现方式中,主播终端通过rtmp(realtimemessagingprotocol,实时消息传输协议)向服务器发送第二视频帧。由于这种协议基于tcp(transmissioncontrolprotocol,传输控制协议)长连接,具有延时小的特点,使得视频帧能够快速地发送到服务器,从而能够降低直播的延时。

    服务器根据第二视频帧进行直播推送,以使接收到直播推送内容的观众终端在播放第一视频帧时,显示目标索引信息对应的目标物品信息。

    在一种可能的实现方式中,直播推送内容中包括第一视频帧和目标索引信息,则观众终端能够根据目标索引信息确定目标物品信息,然后在播放第一视频帧时,显示目标索引信息对应的目标物品信息。

    在另一种可能的实现方式中,直播推送内容中包括多个视频帧、目标索引信息和时间点信息,其中多个视频帧包括第一视频帧以及其他视频帧,则观众终端能够根据时间点信息从多个视频帧中确定出第一视频帧,根据目标索引信息确定目标物品信息,然后在播放第一视频帧时,显示目标索引信息对应的目标物品信息。

    可选地,该服务器为视频服务器,并且,视频服务器和上述物品服务器为同一个服务器,或者为不同的服务器,本申请实施例对此不做限制。

    在本申请实施例中,物品信息的索引信息和包含推荐该物品信息的直播内容的第一视频帧通过第二视频帧同时发送至服务器,并且,作为直播推送内容同时发送至观众终端,因此,观众终端接收到直播推送内容便能同时获得第一视频帧和该物品信息的索引信息,从而能够在播放第一视频帧时显示索引信息对应的该物品信息,如此保证了显示该物品信息的时间与播放包含推荐该物品信息的直播内容的视频帧的时间是同步的,提高了直播的效果。

    上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。

    图3是本申请实施例提供的一种直播方法的流程图。参见图3,该实施例的执行主体为服务器,该实施例包括:

    301:服务器接收主播终端发送的视频流,视频流中包括第二视频帧。

    可选地,服务器通过rtmp协议接收主播终端发送的视频流。

    第二视频帧是在第一视频帧中插入目标索引信息和时间点信息后得到的。第一视频帧为主播终端执行对目标物品信息的推荐操作时采集的视频帧,第一视频帧中包含推荐目标物品信息的直播内容,目标索引信息为目标物品信息对应的索引信息,时间点信息表示主播终端执行推荐操作时的直播时间点。

    视频流中包括多个视频帧,相应的,服务器接收主播终端发送的视频流的实现方式为:服务器依次接收主播终端发送的多个视频帧。

    视频流中包括两种视频帧,一种是插入有目标索引信息和时间点信息的视频帧,即第二视频帧,一种是没有插入目标索引信息和时间点信息的视频帧。服务器在接收到主播终端发送的视频流后,要确定视频流中是否包括第二视频帧,如果包括第二视频帧,则执行下述302。

    302:服务器对第二视频帧进行解析,得到第一视频帧、目标索引信息和时间点信息。

    可选地,该步骤包括:服务器从第二视频帧中提取出sei信息,得到第一视频帧,再对sei信息进行解析,得到目标索引信息和时间点信息。

    可选地,服务器通过ffmpeg(一种音视频处理软件)对sei信息进行解析,得到目标索引信息和时间点信息。可选地,对sei信息进行解析的代码如下:intff_h264_sei_decode(h264seicontext*h,getbitcontext*gb,consth264paramsets*ps,void*logctx)。

    303:服务器将解析后的视频流切分为至少一个视频切片,生成包括目标索引信息和时间点信息的索引文件。

    其中,每个视频切片包括至少一个视频帧,且该至少一个视频帧中包括第一视频帧。可选地,索引文件中除了包括目标索引信息和时间点信息外,还能够包括至少一个视频切片中每个视频切片对应的索引信息、每个视频切片的下载地址、以及至少一个视频切片的播放顺序等,当然,还能够包括其他信息,本申请实施例对此不做限制。

    可选地,服务器将解析后的视频流切分为至少一个视频切片,生成包括目标索引信息和时间点信息的索引文件的实现方式包括:服务器根据hls(httplivestreaming,基于http的视频流)协议,将解析后的视频流切分为至少一个ts格式(一种视频格式)的视频切片,生成包括目标索引信息和时间点信息的m3u8文件(一种索引文件)。

    304:服务器向观众终端发送索引文件和至少一个视频切片。

    可选地,服务器通过hsl协议向观众终端发送索引文件和至少一个视频切片。

    服务器向观众终端发送索引文件和至少一个视频切片,以使观众终端对索引文件进行解析,得到目标索引信息和时间点信息,从至少一个视频切片包括的至少一个视频帧中,确定时间点信息对应的第一视频帧,在播放第一视频帧时,显示目标索引信息对应的目标物品信息。

    在本申请实施例中,服务器生成包括目标索引信息和时间点信息的索引文件,则向观众终端发送该索引文件和对应的至少一个视频切片后,观众终端能够根据时间点信息从至少一个视频切片包括的至少一个视频帧中确定出第一视频帧,从而能够在播放第一视频帧时,显示目标物品信息,如此保证了显示该物品信息的时间与播放包含推荐该物品信息的直播内容的第一视频帧的时间是同步的,提高了直播的效果。

    上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。

    图4是本申请实施例提供的一种直播方法的流程图。参见图4,该实施例的执行主体为观众终端,该实施例包括:

    401:观众终端接收服务器发送的直播推送内容。

    在直播过程中,观众终端要从服务器接收直播推送内容,进而根据直播推送内容来播放直播。

    在一种可能的实现方式中,观众终端通过rtmp协议接收服务器发送的直播推送内容,由于这种协议基于tcp长连接,具有延时小的特点,使得观众终端能够即时地从服务器接收直播推送内容,从而能够降低直播的延时。

    在另一种可能的实现方式中,观众终端通过hsl协议接收服务器发送的直播推送内容,由于这种协议基于http传输数据,适用各种操作系统,并且能够穿越防火墙和代理,也能够稳定的切换码率,因此,适用范围广且稳定性好。

    402:观众终端根据直播推送内容获取第一视频帧和目标索引信息。

    其中,第一视频帧为主播终端执行对目标物品信息的推荐操作时采集的视频帧,第一视频帧中包含推荐目标物品信息的直播内容,目标索引信息为目标物品信息对应的索引信息。

    在一种可能的实现方式中,直播推送内容包括第二视频帧,第二视频帧是在第一视频帧中插入目标索引信息后得到的,相应的,观众终端根据直播推送内容获取第一视频帧和目标索引信息的实现方式包括:观众终端对第二视频帧进行解析,得到第一视频帧和目标索引信息。

    可选地,观众终端对第二视频帧进行解析,得到第一视频帧和目标索引信息的实现方式为:观众终端从第二视频帧中提取出sei信息,得到第一视频帧,再对sei信息进行解析,得到目标索引信息。

    在另一种可能的实现方式中,直播推送内容包括索引文件和至少一个视频切片,每个视频切片包括至少一个视频帧,相应的,观众终端根据直播推送内容获取第一视频帧和目标索引信息的实现方式包括:观众终端对索引文件进行解析,得到目标索引信息和时间点信息,时间点信息表示主播终端执行对目标物品信息的推荐操作时的直播时间点;观众终端从至少一个视频切片包括的至少一个视频帧中,确定时间点信息对应的第一视频帧。

    在一种可能的实现方式中,观众终端根据与服务器约定好的目标索引信息和时间点信息在索引文件中的解析协议,对索引文件进行解析,得到目标索引信息和时间点信息,例如,索引文件为hls协议中的m3u8文件,则观众终端根据与服务器约定好的目标索引信息和时间点信息在m3u8文件中的解析协议,对m3u8文件进行解析,得到目标索引信息和时间点信息。例如,索引文件中目标索引信息的字段是“productid”,“productid”的值为目标索引信息,时间点信息的字段是“recommendedtime”,“recommendedtime”的值为时间点信息,则观众终端对索引文件进行解析,得到“productid”和“recommendedtime”字段的值,则获取到了目标索引信息和时间点信息。

    在一种可能的实现方式中,观众终端在获取到至少一个视频切片后,会按照至少一个视频切片的播放顺序播放至少一个视频切片,并且,在播放视频切片中的每个视频帧时,会确定当前的播放时间点,当达到时间点信息表示的直播时间点时,则确定当前播放的视频帧为第一视频帧。例如,时间点信息表示的直播时间点为5分30秒,则观众终端在按顺序播放至少一个视频切片中的视频帧时,一旦当前直播的播放时间点达到5分30秒,则确定当前播放的视频帧为第一视频帧。

    403:观众终端在播放第一视频帧时,显示目标索引信息对应的目标物品信息。

    在一种可能的实现方式中,观众终端在播放第一视频帧时,显示目标索引信息对应的目标物品信息之前,先根据已存储的物品信息和对应的索引信息,查询目标索引信息对应的目标物品信息。如此能够保证在播放第一视频帧时,同步显示目标索引信息对应的目标物品信息,从而提高直播效果。

    在一种可能的实现方式中,观众终端接收服务器发送的直播推送内容之前,从服务器接收待推荐的至少一个物品信息和对应的索引信息;存储至少一个物品信息和对应的索引信息。可选地,观众终端从服务器接收待推荐的至少一个物品信息和对应的索引信息的时机为在观众终端播放该直播后,例如,观众终端一进入直播间,则向服务器发送获取请求,然后接收服务器发送的至少一个物品信息和对应的索引信息。当然,观众终端从服务器接收待推荐的至少一个物品信息和对应的索引信息的时机还能够为其他时机,本申请实施例对此不做限制。

    在一种可能的实现方式中,观众终端在播放第一视频帧时,显示目标索引信息对应的目标物品信息,包括:观众终端在播放第一视频帧时显示悬浮窗口,悬浮窗口中包括目标物品信息。如此,通过悬浮窗口的形式显示目标物品信息,能够使目标物品信息显示地更加清楚,并且还不影响视频直播的播放,提高了直播效果。

    在本申请实施例中,物品信息的索引信息和包含推荐该物品信息的直播内容的视频帧是作为直播推送内容同时发送给观众终端的,因此,观众终端接收到直播推送内容便能同时获得该视频帧和该物品信息的索引信息,从而能够在播放该视频帧时显示索引信息对应的该物品信息,如此保证了显示该物品信息的时间与播放包含推荐该物品信息的直播内容的视频帧的时间是同步的,提高了直播的效果。

    上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。

    图5是本申请实施例提供的一种直播方法的流程图,该实施例为主播终端、服务器和观众终端之间的交互实施例,该实施例包括:

    501:主播终端在进行直播的过程中,响应于对目标物品信息的推荐操作,确定目标物品信息对应的目标索引信息。

    502:主播终端将目标索引信息插入到当前采集到的第一视频帧中,得到第二视频帧。

    503:主播终端向服务器发送第二视频帧。

    501-503的实现方式与上述201-203的实现方式类似,此处不再赘述。

    504:服务器向观众终端发送第二视频帧。

    可选地,服务器通过rtmp协议向观众终端发送第二视频帧。由于这种协议基于tcp长连接,具有延时小的特点,使得视频帧能够快速地由服务器发送到观众终端,从而能够降低直播的延时。

    505:观众终端对第二视频帧进行解析,得到第一视频帧和目标索引信息。

    观众终端对第二视频帧进行解析,得到第一视频帧和目标索引信息的实现方式与上述302中服务器对第二视频帧进行解析,得到第一视频帧、目标索引信息和时间点信息的实现方式类似,此处不再赘述。

    506:观众终端在播放第一视频帧时,显示目标索引信息对应的目标物品信息。

    该506的实现方式与上述403的实现方式类似,此处不再赘述。

    在本申请实施例中,物品信息的索引信息和包含推荐该物品信息的直播内容的第一视频帧是通过第二视频帧同时发送给观众终端的,因此,观众终端接收到第二视频帧便能同时获得第一视频帧和该物品信息的索引信息,从而能够在播放第一视频帧时显示索引信息对应的该物品信息,如此保证了显示该物品信息的时间与播放包含推荐该物品信息的直播内容的第一视频帧的时间是同步的,提高了直播的效果。

    图6是本申请实施例提供的一种直播方法的流程图,该实施例为主播终端、服务器和观众终端之间的交互实施例,该实施例包括:

    601:主播终端在进行直播的过程中,响应于对目标物品信息的推荐操作,确定时间点信息和目标物品信息对应的目标索引信息。

    602:主播终端将目标索引信息和时间点信息插入到当前采集到的第一视频帧中,得到第二视频帧。

    601-602的实现方式与上述201-202的实现方式类似,此处不再赘述。

    603:主播终端向服务器发送视频流,视频流中包括第二视频帧。

    可选地,主播终端通过rtmp协议向服务器发送视频流。

    视频流中包括多个视频帧,相应的,主播终端向服务器发送视频流的实现方式为:主播终端依次向服务器发送该多个视频帧。

    视频流中包括两种视频帧,一种是插入有目标索引信息和时间点信息的视频帧,即第二视频帧,一种是没有插入目标索引信息和时间点信息的视频帧。

    604:服务器对第二视频帧进行解析,得到第一视频帧、目标索引信息和时间点信息。

    605:服务器将解析后的视频流切分为至少一个视频切片,生成包括目标索引信息和时间点信息的索引文件。

    606:服务器向观众终端发送索引文件和至少一个视频切片。

    604-606的实现方式与302-304的实现方式类似,此处不再赘述。

    607:观众终端对索引文件进行解析,得到目标索引信息和时间点信息。

    608:观众终端从至少一个视频切片包括的至少一个视频帧中,确定时间点信息对应的第一视频帧。

    609:观众终端在播放第一视频帧时,显示目标索引信息对应的目标物品信息。

    607-609的实现方式与402-403的实现方式类似,此处不再赘述。

    在本申请实施例中,目标物品信息的索引信息、包含推荐目标物品信息的直播内容的第一视频帧、以及表示推荐操作的直播时间点的时间信息,通过第二视频帧同时发送给服务器,而服务器生成包括目标索引信息和时间点信息的索引文件,则向观众终端发送该索引文件和对应的至少一个视频切片后,观众终端能够根据时间点信息从至少一个视频切片包括的至少一个视频帧中确定出第一视频帧,从而能够在播放第一视频帧时,显示索引信息对应的目标物品信息,如此保证了显示该物品信息的时间与播放包含推荐该物品信息的直播内容的第一视频帧的时间是同步的,提高了直播的效果。

    图7是本申请实施例提供的一种直播装置的框图,该装置包括:

    内容接收模块701,被配置为接收服务器发送的直播推送内容;

    信息获取模块702,被配置为根据直播推送内容获取第一视频帧和目标索引信息,第一视频帧为主播终端执行对目标物品信息的推荐操作时采集的视频帧,第一视频帧中包含推荐目标物品信息的直播内容,目标索引信息为目标物品信息对应的索引信息;

    信息显示模块703,被配置为在播放第一视频帧时,显示目标索引信息对应的目标物品信息。

    在一种可能的实现方式中,直播推送内容包括第二视频帧,第二视频帧是在第一视频帧中插入目标索引信息后得到的,

    信息获取模块702,被配置为对第二视频帧进行解析,得到第一视频帧和目标索引信息。

    在另一种可能的实现方式中,直播推送内容包括索引文件和至少一个视频切片,每个视频切片包括至少一个视频帧,

    信息获取模块702,被配置为对索引文件进行解析,得到目标索引信息和时间点信息,时间点信息表示主播终端执行对目标物品信息的推荐操作时的直播时间点;从至少一个视频切片包括的至少一个视频帧中,确定时间点信息对应的第一视频帧。

    在另一种可能的实现方式中,装置还包括:

    信息查询模块,被配置为根据已存储的物品信息和对应的索引信息,查询目标索引信息对应的目标物品信息。

    在另一种可能的实现方式中,信息查询模块,还被配置为从服务器接收待推荐的至少一个物品信息和对应的索引信息;存储至少一个物品信息和对应的索引信息。

    在另一种可能的实现方式中,信息显示模块703,被配置为在播放第一视频帧时显示悬浮窗口,悬浮窗口中包括目标物品信息。

    在本申请实施例中,物品信息的索引信息和包含推荐该物品信息的直播内容的视频帧是作为直播推送内容同时发送给观众终端的,因此,观众终端接收到直播推送内容便能同时获得该视频帧和该物品信息的索引信息,从而能够在播放该视频帧时显示索引信息对应的该物品信息,如此保证了显示该物品信息的时间与播放包含推荐该物品信息的直播内容的视频帧的时间是同步的,提高了直播的效果。

    图8是本申请实施例提供的一种直播装置的框图,该装置包括:

    信息确定模块801,被配置为在进行直播的过程中,响应于对目标物品信息的推荐操作,确定目标物品信息对应的目标索引信息;

    信息插入模块802,被配置为将目标索引信息插入到当前采集到的第一视频帧中,得到第二视频帧;

    视频帧发送模块803,被配置为向服务器发送第二视频帧,服务器用于根据第二视频帧进行直播推送,以使接收到直播推送内容的观众终端在播放第一视频帧时,显示目标索引信息对应的目标物品信息。

    在一种可能的实现方式中,信息确定模块801,还被配置为在进行直播的过程中,响应于对目标物品信息的推荐操作,确定时间点信息,时间点信息表示推荐操作对应的直播时间点;

    信息插入模块802,还被配置为将目标索引信息和时间点信息插入到第一视频帧中,得到第二视频帧。

    在另一种可能的实现方式中,信息插入模块802,被配置为将目标索引信息插入到第一视频帧的补充增强信息sei中,得到第二视频帧。

    在另一种可能的实现方式中,信息确定模块801,被配置为根据已存储的物品信息和对应的索引信息,查询目标物品信息对应的目标索引信息。

    在另一种可能的实现方式中,信息确定模块801,还被配置为从服务器接收待推荐的至少一个物品信息和对应的索引信息;存储至少一个物品信息和对应的索引信息。

    在另一种可能的实现方式中,装置还包括:

    信息显示模块,被配置为在直播界面中显示待推荐的至少一个物品信息。

    在本申请实施例中,物品信息的索引信息和包含推荐该物品信息的直播内容的第一视频帧通过第二视频帧同时发送至服务器,并且,作为直播推送内容同时发送至观众终端,因此,观众终端接收到直播推送内容便能同时获得第一视频帧和该物品信息的索引信息,从而能够在播放第一视频帧时显示索引信息对应的该物品信息,如此保证了显示该物品信息的时间与播放包含推荐该物品信息的直播内容的视频帧的时间是同步的,提高了直播的效果。

    图9是本申请实施例提供的一种直播装置的框图,该装置包括:

    视频流接收模块901,被配置为接收主播终端发送的视频流,视频流中包括第二视频帧,第二视频帧是在第一视频帧中插入目标索引信息和时间点信息后得到的,第一视频帧为主播终端执行对目标物品信息的推荐操作时采集的视频帧,第一视频帧中包含推荐目标物品信息的直播内容,目标索引信息为目标物品信息对应的索引信息,时间点信息表示主播终端执行推荐操作时的直播时间点;

    视频帧解析模块902,被配置为对第二视频帧进行解析,得到第一视频帧、目标索引信息和时间点信息;

    视频流切分模块903,被配置为将解析后的视频流切分为至少一个视频切片,生成包括目标索引信息和时间点信息的索引文件;

    切片发送模块904,被配置为向观众终端发送索引文件和至少一个视频切片,以使观众终端对索引文件进行解析,得到目标索引信息和时间点信息,从至少一个视频切片包括的至少一个视频帧中,确定时间点信息对应的第一视频帧,在播放第一视频帧时,显示目标索引信息对应的目标物品信息。

    在本申请实施例中,服务器生成包括目标索引信息和时间点信息的索引文件,则向观众终端发送该索引文件和对应的至少一个视频切片后,观众终端能够根据时间点信息从至少一个视频切片包括的至少一个视频帧中确定出第一视频帧,从而能够在播放第一视频帧时,显示目标物品信息,如此保证了显示该物品信息的时间与播放包含推荐该物品信息的直播内容的第一视频帧的时间是同步的,提高了直播的效果。

    图10是本申请实施例提供的一种直播系统的框图,该系统包括主播终端、观众终端和服务器;

    主播终端用于在进行直播的过程中,响应于对目标物品信息的推荐操作,确定目标物品信息对应的目标索引信息,将目标索引信息插入到当前采集到的第一视频帧中,得到第二视频帧,向服务器发送第二视频帧;

    服务器用于根据第二视频帧,向观众终端发送直播推送内容;

    观众终端用于根据直播推送内容获取第一视频帧和目标索引信息,在播放第一视频帧时,显示目标索引信息对应的目标物品信息。

    在一种可能的实现方式中,直播系统中包括两种服务器,一种是视频服务器,用于执行上述步骤中服务器对应的步骤,另一种是物品服务器,用于存储待推荐的至少一个物品信息和对应的索引信息。

    相应的,主播终端还用于在响应于对目标物品信息的推荐操作,确定目标物品信息对应的目标索引信息之前,从物品服务器获取本场直播对应的待推荐的至少一个物品信息和对应的索引信息。主播终端还用于根据本场直播对应的待推荐的至少一个物品信息和对应的索引信息,确定目标物品信息对应的目标索引信息。

    相应的,观众终端还用于在播放第一视频帧时,显示目标索引信息对应的目标物品信息之前,从物品服务器获取该直播对应的待推荐的至少一个物品信息和对应的索引信息。观众终端还用于根据待推荐的至少一个物品信息和对应的索引信息查询目标索引信息对应的目标物品信息。

    在本申请实施例中,物品信息的索引信息和包含推荐该物品信息的直播内容的第一视频帧通过第二视频帧同时发送到服务器,且作为直播推送内容同时发送给观众终端,因此,观众终端接收到直播推送内容便能同时获得第一视频帧和该物品信息的索引信息,从而能够在播放第一视频帧时显示索引信息对应的该物品信息,如此保证了显示该物品信息的时间与播放包含推荐该物品信息的直播内容的第一视频帧的时间是同步的,提高了直播的效果。

    需要说明的是:上述实施例提供的直播装置在进行直播时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将电子设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的直播装置与直播方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

    本申请实施例还提供了一种电子设备,该电子设备包括处理器和存储器,存储器中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行,以实现上述实施例的直播方法中执行的操作。

    可选地,该电子设备提供为终端。图11示出了本申请一个示例性实施例提供的终端1100的结构框图。该终端1100可以是:智能手机、平板电脑、mp3播放器(movingpictureexpertsgroupaudiolayeriii,动态影像专家压缩标准音频层面3)、mp4(movingpictureexpertsgroupaudiolayeriv,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1100还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

    终端1100包括有:处理器1101和存储器1102。

    处理器1101可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1101可以采用dsp(digitalsignalprocessing,数字信号处理)、fpga(field-programmablegatearray,现场可编程门阵列)、pla(programmablelogicarray,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(centralprocessingunit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1101可以集成有gpu(graphicsprocessingunit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1101还可以包括ai(artificialintelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。

    存储器1102可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1102中的非暂态的计算机可读存储介质用于存储至少一个程序代码,该至少一个程序代码用于被处理器1101所执行以实现本申请中方法实施例提供的直播方法。

    在一些实施例中,终端1100还可选包括有:外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。具体地,外围设备包括:射频电路1104、显示屏1105、摄像头组件1106、音频电路1107、定位组件1108和电源1109中的至少一种。

    外围设备接口1103可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中,处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上;在一些其他实施例中,处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。

    射频电路1104用于接收和发射rf(radiofrequency,射频)信号,也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1104包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wirelessfidelity,无线保真)网络。在一些实施例中,射频电路1104还可以包括nfc(nearfieldcommunication,近距离无线通信)有关的电路,本申请对此不加以限定。

    显示屏1105用于显示ui(userinterface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时,显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时,显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1105可以为一个,设置终端1100的前面板;在另一些实施例中,显示屏1105可以为至少两个,分别设置在终端1100的不同表面或呈折叠设计;在另一些实施例中,显示屏1105可以是柔性显示屏,设置在终端1100的弯曲表面上或折叠面上。甚至,显示屏1105还可以设置成非矩形的不规则图形,也即异形屏。显示屏1105可以采用lcd(liquidcrystaldisplay,液晶显示屏)、oled(organiclight-emittingdiode,有机发光二极管)等材质制备。

    摄像头组件1106用于采集图像或视频。可选地,摄像头组件1106包括前置摄像头和后置摄像头。前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtualreality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。

    音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1101进行处理,或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1107还可以包括耳机插孔。

    定位组件1108用于定位终端1100的当前地理位置,以实现导航或lbs(locationbasedservice,基于位置的服务)。定位组件1108可以是基于美国的gps(globalpositioningsystem,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

    电源1109用于为终端1100中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

    在一些实施例中,终端1100还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于:加速度传感器1111、陀螺仪传感器1112、压力传感器1113、指纹传感器1114、光学传感器1115以及接近传感器1116。

    加速度传感器1111可以检测以终端1100建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111采集的重力加速度信号,控制显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于游戏或者用户的运动数据的采集。

    陀螺仪传感器1112可以检测终端1100的机体方向及转动角度,陀螺仪传感器1112可以与加速度传感器1111协同采集用户对终端1100的3d动作。处理器1101根据陀螺仪传感器1112采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。

    压力传感器1113可以设置在终端1100的侧边框和/或显示屏1105的下层。当压力传感器1113设置在终端1100的侧边框时,可以检测用户对终端1100的握持信号,由处理器1101根据压力传感器1113采集的握持信号进行左右手识别或快捷操作。当压力传感器1113设置在显示屏1105的下层时,由处理器1101根据用户对显示屏1105的压力操作,实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

    指纹传感器1114用于采集用户的指纹,由处理器1101根据指纹传感器1114采集到的指纹识别用户的身份,或者,由指纹传感器1114根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1101授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1114可以被设置终端1100的正面、背面或侧面。当终端1100上设置有物理按键或厂商logo时,指纹传感器1114可以与物理按键或厂商logo集成在一起。

    光学传感器1115用于采集环境光强度。在一个实施例中,处理器1101可以根据光学传感器1115采集的环境光强度,控制显示屏1105的显示亮度。具体地,当环境光强度较高时,调高显示屏1105的显示亮度;当环境光强度较低时,调低显示屏1105的显示亮度。在另一个实施例中,处理器1101还可以根据光学传感器1115采集的环境光强度,动态调整摄像头组件1106的拍摄参数。

    接近传感器1116,也称距离传感器,设置在终端1100的前面板。接近传感器1116用于采集用户与终端1100的正面之间的距离。在一个实施例中,当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变小时,由处理器1101控制显示屏1105从亮屏状态切换为息屏状态;当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变大时,由处理器1101控制显示屏1105从息屏状态切换为亮屏状态。

    本领域技术人员可以理解,图11中示出的结构并不构成对终端1100的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。

    可选地,该电子设备提供为服务器。图12是本申请实施例提供的一种服务器的结构示意图,该服务器1200可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessingunits,cpu)1201和一个或一个以上的存储器1202,其中,所述存储器1202中存储有至少一条程序代码,所述至少一条程序代码由所述处理器1201加载并执行以实现上述各个方法实施例提供的直播方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。

    本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行,以实现上述实施例的直播方法中执行的操作。

    本申请实施例还提供了一种计算机程序,该计算机程序中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行,以实现上述实施例的直播方法中执行的操作。

    本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

    以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。


    技术特征:

    1.一种直播方法,其特征在于,所述方法包括:

    接收服务器发送的直播推送内容;

    根据所述直播推送内容获取第一视频帧和目标索引信息,所述第一视频帧为主播终端执行对目标物品信息的推荐操作时采集的视频帧,所述第一视频帧中包含推荐所述目标物品信息的直播内容,所述目标索引信息为所述目标物品信息对应的索引信息;

    在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息。

    2.根据权利要求1所述的方法,其特征在于,所述直播推送内容包括第二视频帧,所述第二视频帧是在所述第一视频帧中插入所述目标索引信息后得到的,所述根据所述直播推送内容获取第一视频帧和目标索引信息,包括:

    对所述第二视频帧进行解析,得到所述第一视频帧和所述目标索引信息。

    3.根据权利要求1所述的方法,其特征在于,所述直播推送内容包括索引文件和至少一个视频切片,每个视频切片包括至少一个视频帧,所述根据所述直播推送内容获取第一视频帧和目标索引信息,包括:

    对所述索引文件进行解析,得到所述目标索引信息和时间点信息,所述时间点信息表示所述主播终端执行对所述目标物品信息的推荐操作时的直播时间点;

    从所述至少一个视频切片包括的至少一个视频帧中,确定所述时间点信息对应的所述第一视频帧。

    4.根据权利要求1所述的方法,其特征在于,所述在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息之前,所述方法还包括:

    根据已存储的物品信息和对应的索引信息,查询所述目标索引信息对应的所述目标物品信息。

    5.根据权利要求4所述的方法,其特征在于,所述接收服务器发送的直播推送内容之前,所述方法还包括:

    从所述服务器接收待推荐的至少一个物品信息和对应的索引信息;

    存储所述至少一个物品信息和对应的索引信息。

    6.一种直播方法,其特征在于,所述方法包括:

    在进行直播的过程中,响应于对目标物品信息的推荐操作,确定所述目标物品信息对应的目标索引信息;

    将所述目标索引信息插入到当前采集到的第一视频帧中,得到第二视频帧;

    向服务器发送所述第二视频帧,所述服务器用于根据所述第二视频帧进行直播推送,以使接收到直播推送内容的观众终端在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息。

    7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

    在进行所述直播的过程中,响应于对所述目标物品信息的推荐操作,确定时间点信息,所述时间点信息表示所述推荐操作对应的直播时间点;

    所述将所述目标索引信息插入到当前采集到的第一视频帧中,得到第二视频帧,包括:

    将所述目标索引信息和所述时间点信息插入到所述第一视频帧中,得到所述第二视频帧。

    8.根据权利要求6所述的方法,其特征在于,所述将所述目标索引信息插入到当前采集到的第一视频帧中,得到第二视频帧,包括:

    将所述目标索引信息插入到所述第一视频帧的补充增强信息sei中,得到所述第二视频帧。

    9.一种直播方法,其特征在于,所述方法包括:

    接收主播终端发送的视频流,所述视频流中包括第二视频帧,所述第二视频帧是在第一视频帧中插入目标索引信息和时间点信息后得到的,所述第一视频帧为所述主播终端执行对目标物品信息的推荐操作时采集的视频帧,所述第一视频帧中包含推荐所述目标物品信息的直播内容,所述目标索引信息为所述目标物品信息对应的索引信息,所述时间点信息表示所述主播终端执行所述推荐操作时的直播时间点;

    对所述第二视频帧进行解析,得到所述第一视频帧、所述目标索引信息和所述时间点信息;

    将解析后的所述视频流切分为至少一个视频切片,生成包括所述目标索引信息和所述时间点信息的索引文件;

    向观众终端发送所述索引文件和所述至少一个视频切片,以使所述观众终端对所述索引文件进行解析,得到所述目标索引信息和所述时间点信息,从所述至少一个视频切片包括的至少一个视频帧中,确定所述时间点信息对应的所述第一视频帧,在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息。

    10.一种直播装置,其特征在于,所述装置包括:

    内容接收模块,被配置为接收服务器发送的直播推送内容;

    信息获取模块,被配置为根据所述直播推送内容获取第一视频帧和目标索引信息,所述第一视频帧为主播终端执行对目标物品信息的推荐操作时采集的视频帧,所述第一视频帧中包含推荐所述目标物品信息的直播内容,所述目标索引信息为所述目标物品信息对应的索引信息;

    信息显示模块,被配置为在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息。

    11.一种直播装置,其特征在于,所述装置包括:

    信息确定模块,被配置为在进行直播的过程中,响应于对目标物品信息的推荐操作,确定所述目标物品信息对应的目标索引信息;

    信息插入模块,被配置为将所述目标索引信息插入到当前采集到的第一视频帧中,得到第二视频帧;

    视频帧发送模块,被配置为向服务器发送所述第二视频帧,所述服务器用于根据所述第二视频帧进行直播推送,以使接收到直播推送内容的观众终端在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息。

    12.一种直播装置,其特征在于,所述装置包括:

    视频流接收模块,被配置为接收主播终端发送的视频流,所述视频流中包括第二视频帧,所述第二视频帧是在第一视频帧中插入目标索引信息和时间点信息后得到的,所述第一视频帧为所述主播终端执行对目标物品信息的推荐操作时采集的视频帧,所述第一视频帧中包含推荐所述目标物品信息的直播内容,所述目标索引信息为所述目标物品信息对应的索引信息,所述时间点信息表示所述主播终端执行所述推荐操作时的直播时间点;

    视频帧解析模块,被配置为对所述第二视频帧进行解析,得到所述第一视频帧、所述目标索引信息和所述时间点信息;

    视频流切分模块,被配置为将解析后的所述视频流切分为至少一个视频切片,生成包括所述目标索引信息和所述时间点信息的索引文件;

    切片发送模块,被配置为向观众终端发送所述索引文件和所述至少一个视频切片,以使所述观众终端对所述索引文件进行解析,得到所述目标索引信息和所述时间点信息,从所述至少一个视频切片包括的至少一个视频帧中,确定所述时间点信息对应的所述第一视频帧,在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息。

    13.一种直播系统,其特征在于,所述系统包括主播终端、观众终端和服务器;

    所述主播终端用于在进行直播的过程中,响应于对目标物品信息的推荐操作,确定所述目标物品信息对应的目标索引信息,将所述目标索引信息插入到当前采集到的第一视频帧中,得到第二视频帧,向所述服务器发送所述第二视频帧;

    所述服务器用于根据所述第二视频帧,向所述观众终端发送直播推送内容;

    所述观众终端用于根据所述直播推送内容获取所述第一视频帧和所述目标索引信息,在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息。

    14.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述程序代码由所述处理器加载并执行以实现如权利要求1至权利要求9任一项所述的直播方法所执行的操作。

    15.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现如权利要求1至权利要求9任一项所述的直播方法所执行的操作。

    技术总结
    本申请提供了一种直播方法、装置、系统及存储介质,属于互联网技术领域。所述方法包括:接收服务器发送的直播推送内容;根据所述直播推送内容获取第一视频帧和目标索引信息,所述第一视频帧为主播终端执行对目标物品信息的推荐操作时采集的视频帧,所述第一视频帧中包含推荐所述目标物品信息的直播内容,所述目标索引信息为所述目标物品信息对应的索引信息;在播放所述第一视频帧时,显示所述目标索引信息对应的所述目标物品信息。上述方法能够保证显示物品信息的时间与播放包含推荐该物品信息的直播内容的视频帧的时间是同步的,提高了直播的效果。

    技术研发人员:张云龙
    受保护的技术使用者:北京三快在线科技有限公司
    技术研发日:2020.11.05
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-6479.html

    最新回复(0)