本发明涉及智慧畜牧、音频信息处理和模式识别的技术领域，尤其是指一种基于声音的哺乳母猪情绪识别方法。
背景技术：
情绪是动物生理和心理状态的一种表现形式，良好的情绪可以促进动物健康成长。哺乳期母猪情绪尤为重要，积极情绪不仅可以促进母猪的身体健康状态还可以提高母猪对仔猪的抚育能力，如促进乳汁分泌。因此，发现母猪哺乳情绪异常并及时进行人工干预，是提高母猪乃至仔猪身体健康的有效方式。
母猪情绪通过肢体行为和叫声来表现，观察肢体行为的方式通常需要统计较长时间段的行为才可以判断其情绪是积极的或消极的，并且不同个体其行为表现也会出现差异，影响其情绪的判断。相比之下，通过叫声判断母猪情绪的方式比较直接，只需要通过一段叫声就可以判断母猪当前所表达的情绪。然而，判断母猪情绪需要经验丰富的人员，对母猪叫声不熟悉的饲喂管理人员无法获知母猪情绪，不能对情绪异常的母猪做出及时有效的人工干预。
鉴于此，亟需提供一种哺乳母猪情绪自动识别方法，以实现母猪情绪的准确监控。
技术实现要素：
本发明目的在于解决由于经验不足，导致人工判断哺乳母猪情绪不准确的问题，提出了一种基于声音的哺乳母猪情绪识别方法，及时发现母猪负面情绪并做出有效的人工干预，提高母猪健康状态。
为实现上述目的，本发明所提供的技术方案为：一种基于声音的哺乳母猪情绪识别方法，包括以下步骤：
1)采集猪栏区域的音频信号，包括母猪叫声、仔猪叫声和设备声音；
2)采用小波分解与重构除去音频信号中的仔猪叫声和设备声音，得到去噪后的母猪音频数据，即母猪目标声音；
3)将母猪目标声音作为输入数据输入预设的情绪识别网络模型判断母猪的情绪状态。
在步骤1)中，由于哺乳期母猪和仔猪圈养在一起，因此，音频数据包括母猪叫声、仔猪叫声和设备运作声，母猪叫声和仔猪叫声又统称为猪只叫声，猪只叫声包括母猪和仔猪进食、饮水、睡觉时的声音，仔猪玩耍打斗时的声音，母猪和仔猪交互时的声音。
所述步骤2)包括以下步骤：
2.1)对音频信号选择小波基函数和分解层数进行小波分解，分解后得到不同尺度的小波分解系数；
2.2)对不同尺度的小波分解系数选择阈值规则和阈值函数进行阈值处理，消除噪声在小波域的系数，得到处理后的小波系数，即母猪叫声信号的估计值；其中，所述阈值函数包括硬阈值和软阈值，所述阈值规则的选择有以下情况：
当噪声与目标声音重叠少时，选择固定阈值和启发式阈值估计规则，能彻底地去除噪声；当噪声与目标声音重叠多时，采用基于stein的无偏似然估计原理的自适应阈值选择方法和极大极小阈值选择方法，能保留更多的目标声音；
2.3)对处理后的小波系数进行小波重构，得到去噪后的母猪音频数据，即母猪目标声音。
所述步骤3)包括以下步骤：
3.1)构建训练数据
3.1.1)按预设切割长度和重叠步长对母猪音频数据进行切割，得到固定长度的母猪声音样本；其中，所述重叠步长不能大于预设切割长度；
3.1.2)对母猪声音样本进行情绪标注，用标记“0”表示消极情绪，标记“1”表示积极情绪；
3.1.3)将标记好的母猪声音样本按3:1划分为2份，记为set1和set2；其中，所述set1用于训练超参的训练验证集，set2是用于训练网络参数的验证集，且set2中的数据样本与set1的数据样本来源于不同猪栏；
3.2)训练情绪识别网络模型
3.2.1)构建用于识别哺乳母猪情绪的网络结构，所述网络结构包括输入层、n个长短期记忆单元、1个全连接层、软最大分类器层和输出层；所述输入层用来自动将输入音频按照预设切割长度和重叠步长进行切割；所述长短期记忆单元用于提取所述输入音频的时序特征；所述全连接层对所述时序特征进一步进行特征提取和整合，设置全连接层输出神经元个数为2，则所述时序特征经过全连接层后输出2个特征值；所述软最大输出层以所述2个特征值为输入，输出所述2个特征值对应所述情绪类别的概率分布；所述输出层根据所述概率分布，输出情绪类别0或1；
3.2.2)设置训练参数，包括网络参数和超参；所述网络参数是需要通过训练来学习的参数，在进行首次训练时，网络参数需要进行初始化，初始化方法为随机初始化、xavier初始化、msra中的任意一种；所述超参包括学习率、更新器和最大迭代次数；
3.2.3)将训练数据中带有情绪类别标记的母猪声音样本输入情绪识别网络模型，通过前向传播获取情绪预测结果，并计算预测结果与该母猪声音样本的情绪类别标记之间的损失，从而进行反向传播更新网络参数，使预测结果逐渐逼近真实标记，重复前向传播和反向传播，直至模型收敛，得到训练好的情绪识别网络模型；
其中，上述训练指的是一次完整的训练，为了能得到泛化性能好的网络模型，按照3.1.3)将训练数据划分为set1和set2份，set1被随机划分为k等份作为k折交叉验证的训练验证集，用于寻找最优超参，set2用于寻找泛化性能强的网络参数；
3.2.4)按照步骤2)提取待识别音频信号中的母猪音频数据，将待识别的母猪音频数据输入训练好的情绪识别网络模型中，经过一次前向传播输出待识别母猪声音所对应的情绪类别；其中，待识别的母猪音频数据输入情绪识别网络模型后，按照情绪识别网络模型输入层所预设的音频切割长度和重叠步长将待识别的母猪音频数据切割为n个子声音段，之后对每个子声音段的情绪类别进行判断，输出待识别的母猪音频数据对应的n个子声音段的情绪类别；
在训练情绪识别网络模型之前，按照所述步骤3.1.1)对母猪音频数据进行切割，得到固定长度的母猪声音样本，是为了获取固定长度声音样本对应的情绪类别标记，以便进行情绪识别网络模型的训练，在进行母猪声音情绪预测时不需要单独进行音频切割，情绪识别网络模型已经包括音频切割操作。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明提供了一种基于声音的哺乳母猪情绪识别方法，感知母猪生理和心理健康状态。
2、本发明通过小波分解和重构剔除仔猪叫声和其它噪声，减少了噪声对母猪叫声的干扰。
3、本发明采用长短期记忆网提取母猪叫声时序特征，对声音一维时序特征具有很强的表达力，因此，识别精度高。
4、在潜在应用方法，统计一段时间内母猪情绪状态，进一步分析母猪情绪积极或消极的原因，研究母猪喜好规律，对长时间情绪消极的母猪及时采取有效的人工干预，调整其饮食、猪舍环境等，打造绿色、健康、精准养殖模式。
5、本发明方法具有较强的适用性，可用于其他动物情绪的研究。
附图说明
图1为本发明方法的整体流程示意图。
图2为本发明母猪声音提取的流程图。
图3为本发明情绪识别网络模型的结构示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示，本实施例所提供的基于声音的哺乳母猪情绪识别方法，首先，采集猪栏区域的音频信号；然后，采用小波分解与重构除去所述音频信号中的仔猪叫声和设备声音，提取母猪目标声音；最后将提取的母猪目标声音作为输入数据输入预设的情绪识别网络模型判断母猪的情绪状态。其具体步骤如下：
1)采集猪栏区域的音频信号
为了避免穿戴式音频采集设备给猪只带来应激反应，本实施例在实际商业圈养猪舍上方猪只触及不到的地方安装音频采集设备，采集不同猪栏区域的音频信号，采集的音频信号中含有猪只叫声和设备运作声音等，由于哺乳期母猪和仔猪圈养在一起，所以猪只叫声包括母猪叫声和仔猪叫声，具体有：母猪和仔猪进食、饮水、睡觉时的声音，仔猪玩耍打斗时的声音，母猪和仔猪交互时的声音等。
2)音频信号预处理
为了减少噪声对情绪识别准确率的影响，在对母猪叫声进行特征提取之前，需要对音频信号进行去噪。所述采集的音频信号中主要包含两类噪声，即仔猪叫声和其它非猪发出来的声音，其中非猪叫声和猪只叫声音色差别较大，容易剔除，本实施例重点考虑仔猪叫声的滤除。小波去噪方法通过小波变换将信号转换到小波域，使得目标信号和噪声信号区分，以达到滤除噪声的目的。由于小波变换可以选择不同的小波基函数，因此，可以适应于不同的应用场景和对象。本实施例采用小波分解与重构除去所述音频信号中的仔猪叫声和设备声音，得到去噪后的母猪音频数据，即母猪目标声音，如图2所示，包括以下步骤：
2.1)对音频信号选择小波基函数和分解层数进行小波分解，分解后得到不同尺度的小波分解系数；
2.2)对不同尺度的小波分解系数选择阈值规则和阈值函数进行阈值处理，消除噪声在小波域的系数，得到处理后的小波系数，即母猪叫声信号的估计值。其中，所述阈值函数包括硬阈值和软阈值；所述阈值规则的选择有以下情况：
当噪声与目标声音重叠少时，选择固定阈值和启发式阈值估计规则，能彻底地去除噪声；当噪声与目标声音重叠多时，采用基于stein的无偏似然估计原理的自适应阈值选择方法和极大极小阈值选择方法，能保留更多的目标声音；所述阈值函数包括硬阈值和软阈值；
2.3)对处理后的小波系数进行小波重构，得到去噪后的母猪音频数据，即母猪目标声音。
3)情绪识别
音频预处理后，将母猪目标声音作为输入数据输入预设的情绪识别网络模型判断母猪的情绪状态，在进行母猪情绪识别之前，需要构建情绪识别网络结构用于实现母猪声音特征提取和情绪分类，并且需要构建训练数据对该网络结构进行训练，以获取最优情绪识别网络模型，具体包括以下步骤：
3.1)构建训练数据
需要说明的是训练数据集包括训练和验证的数据。为了训练泛化能力强的情绪识别网络模型，在构建训练数据时，将采集的样本按3:1划分为2份，其中75％用于训练超参的训练验证集，25％用于训练网络参数的验证集，且该验证集的数据与其余75％的数据采集于不同猪栏。
为了适应后续识别网络结构的固定尺度输入，在声音样本输入网络前，需要对声音样本时间长度进行规整，由于本发明通过母猪叫声判断母猪情绪是积极的还是消极的，不需要识别叫声具体类别，如进食声、哺乳声等，因此，音频信号长度不会影响本发明对积极情绪或消极情绪的判断。训练数据的构建步骤如下：
3.1.1)按预设切割长度和重叠步长对所述母猪音频数据进行切割，得到固定长度的母猪声音样本；所述重叠步长不能大于预设切割长度；
3.1.2)对所述母猪声音样本进行情绪标注，用标记“0”表示消极情绪，标记“1”表示积极情绪；
3.1.3)将标记好的母猪声音样本按3:1划分为2份，记为set1和set2；其中，所述set1用于训练超参的训练验证集，set2是用于训练网络参数的验证集，且set2中的数据样本与set1的数据样本来源于不同猪栏。
3.2)训练情绪识别网络模型
3.2.1)构建用于识别哺乳母猪情绪的网络结构，网络结构如图3所示，所述网络结构包括输入层、n个长短期记忆单元(lstm)、1个全连接层、软最大分类器层(softmax分类器层)和输出层。所述输入层用来自动将输入音频按照预设切割长度和重叠步长进行切割；所述长短期记忆单元用于提取所述输入音频的时序特征；所述全连接层对述所时序特征进一步进行特征提取和整合，设置全连接层输出神经元个数为2，则所述时序特征经过全连接层后输出2个特征值；所述软最大输出层以所述2个特征值为输入，输出所述2个特征值对应所述情绪类别的概率分布；所述输出层根据所述概率分布，输出情绪类别0或1；
3.2.2)设置训练参数，包括网络参数和超参；所述网络参数是需要通过训练来学习的参数，在进行首次训练时，网络参数需要进行初始化，初始化方法为随机初始化、xavier初始化、msra中的任意一种；所述超参包括学习率、更新器和最大迭代次数；
3.2.3)将所述训练数据中带有情绪类别标记的母猪声音样本输入情绪识别网络模型，通过前向传播获取情绪预测结果，并计算预测结果与该母猪声音样本的情绪类别标记之间的损失，从而进行反向传播更新网络参数，使预测结果逐渐逼近真实标记，重复前向传播和反向传播，直至模型收敛，得到训练好的情绪识别网络模型；
需要说明的是，上述训练指的是一次完整的训练，为了能得到泛化性能好的网络模型，本发明将训练数据划分为2份，其中一份被随机划分为k等份作为k折交叉验证的训练验证集，用于寻找最优超参，另一份数据集来自于不同分布的母猪声音样本，用于寻找泛化性能强的网络参数。
本实施例采用五折交叉验证的方式对网络进行训练，具体步骤如下：
3.2.3.1)将set1随机划分为5个数据集，每个数据集中的样本个数相同，命名为set11、set12、set13、set14和set15；
3.2.3.2)寻找任意一个超参的最优值时，固定其他参数值不变，如设置学习率为0.001，固定其他参数不变；
3.2.3.3)按照上述参数设置，第一次训练时，set11作为验证集，用来验证模型效果，其余4个数据集用来训练模型；第二次训练时，set12作为验证集，其余4个数据集作为训练集；依次迭代5次，直至每一个数据集都作过一次验证集，最后统计5次训练结果的平均值作为当前超参下的情绪识别准确率；
3.2.3.4)在首次设置的超参值基础上向上调节，按照上述3.2.3.3)训练方法迭代训练5次，统计5次训练结果的平均值，并与原始超参下的训练结果进行对比。
3.2.3.5)在首次设置的超参值基础上向下调节，按照上述3.2.3.3)训练方法迭代训练5次，统计5次训练结果的平均值，并与原始超参下的训练结果进行对比。
3.2.3.6)按照步骤3.2.3.4)和3.2.3.5)迭代训练，直至识别结果趋于不变或者下降，则停止训练，对比每次训练结果，将情绪识别准确率最大者所采用的超参值作为最终情绪识别网络模型的超参值；
3.2.3.7)按照步骤3.2.3.2)～3.2.3.6)寻找另一个最优超参值，直至找到所有最优超参值，则终止训练；
3.2.3.8)设置超参为找到的最优超参值，以set1为训练集，set2为测试集对网络进行重新训练，以获取最优网络参数，模型收敛后，得到的网络模型即为训练好的情绪识别网络模型，用于最终情绪识别。
3.2.4)按照步骤2)提取待识别音频信号中的母猪音频数据，将待识别的母猪音频数据输入训练好的情绪识别网络模型中，经过一次前向传播输出待识别母猪声音所对应的情绪类别；其中，待识别的母猪音频数据输入情绪识别网络模型后，按照情绪识别网络模型输入层所预设的音频切割长度和重叠步长将待识别的母猪音频数据切割为n个子声音段，之后对每个子声音段的情绪类别进行判断，输出待识别的母猪音频数据对应的n个子声音断的情绪类别。
在训练情绪识别网络模型之前，按照所述步骤3.1.1)对所述母猪音频数据进行切割，得到固定长度的母猪声音样本，是为了获取固定长度声音样本对应的情绪类别标记，以便进行情绪识别网络模型的训练，在进行母猪声音情绪预测时不需要单独进行音频切割，情绪识别网络已经包括的音频切割操作。
综上所述，本发明公开的哺乳母猪情绪识别方法，包括采集猪栏区域的音频信号；然后，采用小波分解与重构除去所述音频信号中的仔猪叫声和设备声音，提取母猪目标声音；最后，将提取的母猪目标声音作为输入数据输入预设的情绪识别网络模型判断母猪的情绪状态。该项研究是基于声音信息对哺乳母猪情绪进行识别，引导猪场管理者及时实施有效人工干预，改善母猪健康和福利状态。该项研究也可用于探究猪只喜爱偏好，为绿色、健康畜牧提供理论参考依据，值得推广。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。
1.一种基于声音的哺乳母猪情绪识别方法，其特征在于，包括以下步骤：
1)采集猪栏区域的音频信号，包括母猪叫声、仔猪叫声和设备声音；
2)采用小波分解与重构除去音频信号中的仔猪叫声和设备声音，得到去噪后的母猪音频数据，即母猪目标声音；
3)将母猪目标声音作为输入数据输入预设的情绪识别网络模型判断母猪的情绪状态。
2.根据权利要求1所述的一种基于声音的哺乳母猪情绪识别方法，其特征在于：在步骤1)中，由于哺乳期母猪和仔猪圈养在一起，因此，音频数据包括母猪叫声、仔猪叫声和设备运作声，母猪叫声和仔猪叫声又统称为猪只叫声，猪只叫声包括母猪和仔猪进食、饮水、睡觉时的声音，仔猪玩耍打斗时的声音，母猪和仔猪交互时的声音。
3.根据权利要求1所述的一种基于声音的哺乳母猪情绪识别方法，其特征在于，所述步骤2)包括以下步骤：
2.1)对音频信号选择小波基函数和分解层数进行小波分解，分解后得到不同尺度的小波分解系数；
2.2)对不同尺度的小波分解系数选择阈值规则和阈值函数进行阈值处理，消除噪声在小波域的系数，得到处理后的小波系数，即母猪叫声信号的估计值；其中，所述阈值函数包括硬阈值和软阈值，所述阈值规则的选择有以下情况：
当噪声与目标声音重叠少时，选择固定阈值和启发式阈值估计规则，能彻底地去除噪声；当噪声与目标声音重叠多时，采用基于stein的无偏似然估计原理的自适应阈值选择方法和极大极小阈值选择方法，能保留更多的目标声音；
2.3)对处理后的小波系数进行小波重构，得到去噪后的母猪音频数据，即母猪目标声音。
4.根据权利要求1所述的一种基于声音的哺乳母猪情绪识别方法，其特征在于，所述步骤3)包括以下步骤：
3.1)构建训练数据
3.1.1)按预设切割长度和重叠步长对母猪音频数据进行切割，得到固定长度的母猪声音样本；其中，所述重叠步长不能大于预设切割长度；
3.1.2)对母猪声音样本进行情绪标注，用标记“0”表示消极情绪，标记“1”表示积极情绪；
3.1.3)将标记好的母猪声音样本按3:1划分为2份，记为set1和set2；其中，所述set1用于训练超参的训练验证集，set2是用于训练网络参数的验证集，且set2中的数据样本与set1的数据样本来源于不同猪栏；
3.2)训练情绪识别网络模型
3.2.1)构建用于识别哺乳母猪情绪的网络结构，所述网络结构包括输入层、n个长短期记忆单元、1个全连接层、软最大分类器层和输出层；所述输入层用来自动将输入音频按照预设切割长度和重叠步长进行切割；所述长短期记忆单元用于提取所述输入音频的时序特征；所述全连接层对所述时序特征进一步进行特征提取和整合，设置全连接层输出神经元个数为2，则所述时序特征经过全连接层后输出2个特征值；所述软最大输出层以所述2个特征值为输入，输出所述2个特征值对应所述情绪类别的概率分布；所述输出层根据所述概率分布，输出情绪类别0或1；
3.2.2)设置训练参数，包括网络参数和超参；所述网络参数是需要通过训练来学习的参数，在进行首次训练时，网络参数需要进行初始化，初始化方法为随机初始化、xavier初始化、msra中的任意一种；所述超参包括学习率、更新器和最大迭代次数；
3.2.3)将训练数据中带有情绪类别标记的母猪声音样本输入情绪识别网络模型，通过前向传播获取情绪预测结果，并计算预测结果与该母猪声音样本的情绪类别标记之间的损失，从而进行反向传播更新网络参数，使预测结果逐渐逼近真实标记，重复前向传播和反向传播，直至模型收敛，得到训练好的情绪识别网络模型；
其中，上述训练指的是一次完整的训练，为了能得到泛化性能好的网络模型，按照3.1.3)将训练数据划分为set1和set2份，set1被随机划分为k等份作为k折交叉验证的训练验证集，用于寻找最优超参，set2用于寻找泛化性能强的网络参数；
3.2.4)按照步骤2)提取待识别音频信号中的母猪音频数据，将待识别的母猪音频数据输入训练好的情绪识别网络模型中，经过一次前向传播输出待识别母猪声音所对应的情绪类别；其中，待识别的母猪音频数据输入情绪识别网络模型后，按照情绪识别网络模型输入层所预设的音频切割长度和重叠步长将待识别的母猪音频数据切割为n个子声音段，之后对每个子声音段的情绪类别进行判断，输出待识别的母猪音频数据对应的n个子声音段的情绪类别；
在训练情绪识别网络模型之前，按照所述步骤3.1.1)对母猪音频数据进行切割，得到固定长度的母猪声音样本，是为了获取固定长度声音样本对应的情绪类别标记，以便进行情绪识别网络模型的训练，在进行母猪声音情绪预测时不需要单独进行音频切割，情绪识别网络模型已经包括音频切割操作。
技术总结