本说明书涉及日志处理，尤其涉及一种日志处理方法、读取方法、装置、设备及存储介质。
背景技术：
1、随着互联网的发展，日志的重要性在各个领域中越发凸显。例如，在云计算领域中，日志用于对各种云服务的监控和审计，便于展示系统和网络的运行状况，并用来诊断和定位问题故障。在大数据领域中，日志是海量数据中的一种，对海量数据的分析和挖掘，可以发现潜在的问题和有价值的数据，为管理决策提供参考。在网络安全领域中，各种安全产品或工具可以产生安全日志，供分析平台来综合分析，以此来发现和预警网络攻击事件，并可以进行溯源。
2、然而随着这些领域的发展，日志的数据量也呈指数级增长，日志数据体积急速提升，在占用存储的同时，日志传输时的性能损耗问题也日益凸显。
技术实现思路
1、为克服相关技术中存在的问题，本说明书提供了一种日志处理方法、读取方法、装置、设备及存储介质。
2、根据本说明书实施例的第一方面，提供一种日志处理方法，所述方法包括：
3、获取待处理日志集合，所述待处理日志集合中包含多条日志，所述多条日志包含相同的目标字段；
4、对所述多条日志在所述目标字段中的取值进行去重，将得到的取值写入所述目标字段在日志结构体中对应的第一数组中；
5、在所述日志结构体中增加所述目标字段对应的第二数组，根据每条日志在所述目标字段上的取值确定其在所述第一数组中对应的索引编号，并按各条日志之间的排列顺序依次向所述第二数组中写入相应的索引编号。
6、可选的，所述根据每条日志在所述目标字段上的取值确定其在所述第一数组中对应的索引编号，包括：查询所述目标字段在日志结构体中对应的第一数组中的取值数量，若所述目标字段在日志结构体中对应的第一数组中仅有一个取值，则所述每条日志对应的索引编号设置为预定义的特殊值。
7、可选的，所述方法还包括：调用预定义的代码，所述代码由proto文件转换为指定编程语言后得到；
8、基于所述代码构建空白日志结构体，以用于写入所述待处理日志集合。
9、可选的，所述方法还包括：将所述日志结构体发送至分析平台进行日志分析。
10、可选的，所述方法还包括：对所述日志结构体进行压缩。
11、根据本说明书实施例的第二方面，提供一种日志读取方法，所述方法包括：
12、获取日志结构体，所述日志结构体中包含目标字段，所述目标字段为所述日志结构体中多条日志包含的相同字段，所述目标字段在所述日志结构体中对应有第一数组和第二数组，所述第一数组中存储有所述多条日志在所述目标字段中去重后的的取值；
13、从所述目标字段对应的第二数组中读取每条日志在目标字段对应的第一数组中对应的索引编号，所述第二数组中按各条日志之间的排列顺序依次存储有所述多条日志的取值在第一数组中对应的索引编号；
14、根据所述索引编号，读取所述多条日志在目标字段上的取值。
15、根据本说明书实施例的第三方面，提供一种日志处理装置，所述装置包括：
16、第一获取单元，用于获取待处理日志集合，所述待处理日志集合中包含多条日志，所述多条日志包含相同的目标字段；
17、第一处理单元，用于对所述多条日志在所述目标字段中的取值进行去重，将得到的取值写入所述目标字段在日志结构体中对应的第一数组中；
18、索引单元，用于在所述日志结构体中增加所述目标字段对应的第二数组，根据每条日志在所述目标字段上的取值确定其在所述第一数组中对应的索引编号，并按各条日志之间的排列顺序依次向所述第二数组中写入相应的索引编号。
19、根据本说明书实施例的第四方面，提供一种日志读取装置，所述装置包括：
20、第二获取单元，用于获取日志结构体，所述日志结构体中包含目标字段，所述目标字段为所述日志结构体中多条日志包含的相同字段，所述目标字段在所述日志结构体中对应有第一数组和第二数组，所述第一数组中存储有所述多条日志在所述目标字段中去重后的的取值；
21、第二处理单元，用于从所述目标字段对应的第二数组中读取每条日志在目标字段对应的第一数组中对应的索引编号，所述第二数组中按各条日志之间的排列顺序依次存储有所述多条日志的取值在第一数组中对应的索引编号；
22、读取单元，用于根据所述索引编号，读取所述多条日志在目标字段上的取值。
23、根据本说明书实施例的第五方面，提供一种电子设备，包括：
24、处理器；
25、用于存储处理器可执行指令的存储器；
26、其中，所述处理器通过运行所述可执行指令以实现如上述第一方面的实施例中所述的方法。
27、根据本说明书实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述第一方面的实施例中所述方法的步骤。
28、本说明书的实施例提供的技术方案可以包括以下有益效果：
29、在本说明书实施例中，基于列式存储思路对日志集合中多条日志的至少一个相同字段中的取值进行去重，只保留去重后的取值，并新增与所述相同字段对应的数组，用于记录每一条日志在所述相同字段中的取值的索引编号，从而实现将重复的取值转换成编号，并且保证在去除冗余值的同时，依旧能够还原完整日志的数据，减小了日志数据的整体体积，并且，通过采用列式存储的思路来批量处理日志，将多条日志的相同字段放到一起，提高了数据压缩率，降低日志数据传输时的功能损耗。
30、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
1.一种日志处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据每条日志在所述目标字段上的取值确定其在所述第一数组中对应的索引编号，包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.一种日志读取方法，其特征在于，包括：
7.一种日志处理装置，其特征在于，包括：
8.一种日志读取装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
