本发明属于数据处理，尤其涉及一种瞳孔定位用数据处理系统、方法及装置。
背景技术：
1、瞳孔定位是指在给定图像中获取人眼瞳孔的中心点坐标，是一项重要的计算机视觉技术。准确的瞳孔定位对人机交互，视线估计，注意力检测，意图识别，情感分析，人脸对齐，疲劳驾驶检测，健康检测等方面起到重要的作用。
2、在自然环境拍摄到的图像中，瞳孔的分辨率占比往往很低，且容易受背景、眉毛、眼睫毛、头发、光照、眼镜镜片反光(reflection)、眼镜框等干扰，瞳孔定位面临着巨大的挑战。先前的研究工作，借助红外相机或可穿戴的设备，如头戴式设备、红外光敏管、电位传感器、定制眼镜、带有线圈的隐形眼镜等，在瞳孔定位和眼动跟踪(eye tracking)方面取得了不错的效果。
3、现有的瞳孔定位相关工作从原理上大致可以分为三类。第一类是基于传感器的方法，即通过在眼球或眼区域安装搜索线圈、电极片等传感器来检测眼动信号。该类方法属于一种眼侵入式的检测方法，容易引起眼部的不适，且使用不方便。第二类是基于头戴式视觉的方法，即通过头戴式摄像机获取眼部区域图像，然后采用基于视觉的方法来定位瞳孔。该类方法虽然不需要侵入眼球或眼部，但佩戴头戴式摄像机仍然可能会引起头部的不适，且成本高昂。第三类是基于视觉的方法，是指无须依赖任何可穿戴设备，能直接从自然场景中或人脸图像中定位人眼瞳孔。该类方法采用纯视觉算法，是属于一种非接触式的方法，避免了佩戴可穿戴设备可能会引起的不适性，且使用方便、低成本。但由于瞳孔像素少，且容易受背景、眉毛、眼睫毛、头发、光照、眼镜镜片反光(reflection)、眼镜框等干扰，该类方法面临着巨大的开发难度。
4、基于视觉的方法，一般是先进行人脸或人眼区域的检测，然后在人脸或人眼区域的图像上做进一步的图像处理，最后得出瞳孔坐标、轮廓、包围框等信息。在该类瞳孔定位方法中，比较流行的是先用adaboost算法来检测人脸，然后再在此基础上使用adaboost算法来检测人眼或根据“三庭五眼”等人脸生理特征从人脸中分割出人眼区域，最后在人眼区域精定位瞳孔。这样的方法虽然流行，但adaboost算法精度和速度欠佳，在实际应用中鲁棒性不强。
5、背景材料1：timm等人应用了一种adaboost人脸检测器来首先检测人脸，并根据检测到的人脸位置和人体测量关系提取粗略的眼部区域。然后，他们使用图像梯度的方法定位眼睛中心。他们提出了一种基于梯度向量点积的简单目标函数，该函数允许在各种场景中估计不变的眼睛中心。
6、背景材料2：valenti等人采用与上述技术方案相同的方法提取脸部和眼部区域，但不同之处在于，他们通过不变的等距模式从眼部区域定位眼睛中心。
7、背景材料3：guo等人使用adaboost人脸检测器来检测面部，接着将面部高度的1/5至3/5和面部宽度的1/10至9/10视为感兴趣的眼部区域(眼roi)，然后使用sift描述器和svm分类器从眼roi中定位初始眼睛中心，最后使用大小可变的修正矩形框来校正瞳孔中心的位置。
8、背景材料4：zhang等人使用adaboost人脸检测器检测面部，并接着使用adaboost眼睛检测器从前面检测到的人脸图像中检测单个眼睛。然后，通过比较所有像素的灰度值与中心像素的灰度值，将检测到的单眼圆分为一些子区域，具有最小平均灰度的子区域被用作瞳孔候选者。最后，使用脸部区域的中心和瞳孔来计算另一个未知瞳孔的可能位置。
9、背景材料5：xia等人将眼睛中心定位问题视为特殊的语义分割问题，并设计了一个具有浅层结构的全卷积网络(fcn)来定位瞳孔。他们没有考虑面部检测，而是根据标签从bioid和gi4e数据集中裁剪人脸图像来创建一个fcn的训练数据集。
10、背景材料6：blazeface是由google提出的一种轻量级神经网络，用于人脸检测和人脸关键点检测(包括瞳孔点)。blazeface的结构主要使用深度可分离卷积(dw conv)进行设计，在gpu上的推理时间仅为几毫秒。
11、背景材料7：wang等人提出了一种主从相机系统用于实时准确地检测瞳孔。在主相机系统中，使用adaboost算法检测人脸，并将人脸边界框的坐标发送到从相机系统。在从相机系统中，根据面部生理学、“三庭五眼”理论在人脸图像中粗略裁剪眼部区域，再使用语义分割网络粗略定位眼部区域中的瞳孔。此外，通过canny算法、形态学操作和椭圆拟合算法可以准确地定位瞳孔。
12、背景材料8：libfacedetection是一个基于cnn的人脸检测和人脸关键点检测(包括瞳孔点)的开源库。
13、背景材料9：cprd-init设计了一种基于水平加权haar-like特征的瞳孔检测器，并手动设计了锚框作为瞳孔的初始包围框，最后利用椭圆拟合算法从瞳孔检测结果中找到瞳孔椭圆及其中心。
14、可见，现有的基于传感器的瞳孔定位方法和基于头戴式视觉的瞳孔定位方法存在引起头部和眼部不适，高成本，不方便使用的问题，以及现有的基于视觉的瞳孔定位方法存在鲁棒性不强、精度低的问题。
15、因此，一种非接触的、具有高精度的瞳孔定位用数据处理系统亟待研发。
技术实现思路
1、本发明的目的在于提供一种瞳孔定位用数据处理系统、方法及装置，用于对自然场景中人的图像数据进行处理，以对瞳孔进行精确定位，能够至少解决现有技术中的一个技术问题。
2、本发明的技术方案是：
3、一种瞳孔定位用数据处理系统，用于对自然场景中人的图像数据进行处理，以对瞳孔进行定位，包括：
4、采集模块，用于采集待处理的自然场景中人的图像数据；
5、眼部检测模块，与所述采集模块连接，用于对所述待处理的自然场景中人的图像数据进行眼部检测推理，得到所述待处理的自然场景中人的图像数据中的眼部图像；
6、瞳孔定位模块，与所述眼部检测模块连接，用于根据光照强度与眼部像素的灰度值的线性关系，基于像素值补偿的方式对所述眼部图像进行处理，获得瞳孔的定位数据；
7、输出模块，与所述瞳孔定位模块连接，用于获取瞳孔的所述定位数据，并输出所述定位数据。
8、所述根据光照强度与眼部像素的灰度值的线性关系，基于像素值补偿的方式对所述眼部图像进行处理，包括：
9、对所述眼部图像进行灰度变换和直方图均衡化，以加强图像对比度；
10、基于像素值补偿的方式，使所述眼部像素适应光照强度，得到调整后的眼部灰度图像；
11、通过阈值分割算法，得到虹膜区域的分割图像；
12、进行边缘检测，和轮廓发现，以最大轮廓作为虹膜轮廓，取虹膜轮廓的中心作为瞳孔的定位点。
13、所述基于像素值补偿的方式，使所述眼部像素适应光照强度，包括：
14、所述基于像素值补偿的模型如下：
15、
16、其中分别为输入眼部图像中的最小像素值和最大像素值；分别为正常光照环境下的眼部图像的最小像素值和最大像素值；γ是抑制因子，γ∈n1；γ均是超参数；n1是正整数集，gray是像素值因变量。
17、所述基于像素值补偿的方式，使所述眼部像素适应光照强度，包括：判断光照强度的步骤，包括：
18、当眼部图像内的最小像素值和最大像素值均大于正常光照环境下的眼部图像的最小像素值和最大像素值时，则判定为是亮光照环境；或者，
19、当眼部图像内的最小像素值和最大像素值均小于正常光照环境下的眼部图像的最小像素值和最大像素值时，则判定为是暗光照环境。
20、所述通过阈值分割算法，得到虹膜区域的分割图像，包括：
21、当所述眼部灰度图像中的像素值超过设定阈值时则置为0；否则，置为最大像素值，其模型如下：
22、
23、其中，src(x，y)为输入像素的灰度值；dst(x，y)为对应输出的灰度值，maxval是最大灰度值255；threshold为阈值；otherwise是输入像素的灰度值小于等于阈值的情况。
24、在所述通过阈值分割算法，得到虹膜区域的分割图像的步骤后，还包括：
25、根据所述虹膜区域的分割图像，利用开操作去除虹膜区域外噪声和填充虹膜区域内的空洞点的步骤。
26、所述对所述待处理的自然场景中人的图像数据进行眼部检测推理，包括：
27、利用可变形卷积对yolov8进行改进，在yolov8在骨干网络中最后3个c2f模块前的cbs中标准卷积替换成可变形卷积，旨在提高模型对人脸和眼部等中小目标的特征提取能力；
28、在模型训练阶段，利用2000张自然场景中人的图像数据集标注训练样本，使人脸标注框包含人脸的两边脸颊、额头和下巴，人眼标注框包含两眼角和上下眼睑；
29、在检测推理过程中，根据人脸和人眼的从属关系，可排除在人脸框以外的误检人眼，精准得到所述待处理的自然场景中人的图像数据中的眼部图像。
30、所述根据人脸和人眼的从属关系，精准得到所述待处理的自然场景中人的图像数据中的眼部图像，包括：
31、根据人眼框与人脸框的位置关系，可排除在人脸框以外的误检人眼，进而得到低误检的眼部图像；
32、利用最小包围盒代替重叠的人眼框，得到所述待处理的自然场景中人的图像数据中的眼部图像。
33、一种基于如上所述的瞳孔定位用数据处理系统的瞳孔定位方法，其特征在于，包括：
34、采集待处理的自然场景中人的图像数据；
35、对所述待处理的自然场景中人的图像数据进行眼部检测推理，得到所述待处理的自然场景中人的图像数据中的眼部图像；
36、根据光照强度与眼部像素的灰度值的线性关系，基于像素值补偿的方式对所述眼部图像进行处理，获得瞳孔的定位数据；
37、获取瞳孔的所述定位数据，并输出所述定位数据。
38、一种电子装置，包括：
39、存储介质，用于存储计算机程序，
40、处理单元，与所述存储介质进行数据交换，用于在进行瞳孔定位时，通过所述处理单元执行所述计算机程序，进行如上所述的瞳孔定位方法的步骤。
41、本发明的有益效果至少包括：
42、本发明所述的系统，通过采集模块采集待处理的自然场景中人的图像数据；通过眼部检测模块对所述待处理的自然场景中人的图像数据进行眼部检测推理，得到所述待处理的自然场景中人的图像数据中的眼部图像；最后，利用瞳孔定位模块根据光照强度与眼部像素的灰度值的线性关系，基于像素值补偿的方式对所述眼部图像进行处理，获得瞳孔的定位数据；并在输出模块输出所述定位数据。本发明能够在非接触的情景下，通过瞳孔定位模块自适应强光和弱光等恶劣环境，提升了瞳孔定位的鲁棒性和定位精度。
1.一种瞳孔定位用数据处理系统，用于对自然场景中人的图像数据进行处理，以对瞳孔进行定位，其特征在于，包括：
2.根据权利要求1所述的瞳孔定位用数据处理系统，其特征在于，所述根据光照强度与眼部像素的灰度值的线性关系，基于像素值补偿的方式对所述眼部图像进行处理，包括：
3.根据权利要求2所述的瞳孔定位用数据处理系统，其特征在于，所述基于像素值补偿的方式，使所述眼部像素适应光照强度，包括：
4.根据权利要求2或3所述的瞳孔定位用数据处理系统，其特征在于，所述基于像素值补偿的方式，使所述眼部像素适应光照强度，包括：判断光照强度的步骤，包括：
5.根据权利要求2所述的瞳孔定位用数据处理系统，其特征在于，所述通过阈值分割算法，得到虹膜区域的分割图像，包括：
6.根据权利要求2所述的瞳孔定位用数据处理系统，其特征在于，在所述通过阈值分割算法，得到虹膜区域的分割图像的步骤后，还包括：
7.根据权利要求1所述的瞳孔定位用数据处理系统，其特征在于，所述对所述待处理的自然场景中人的图像数据进行眼部检测推理，包括：
8.根据权利要求7所述的瞳孔定位用数据处理系统，其特征在于，所述根据人脸和人眼的从属关系，得到所述待处理的自然场景中人的图像数据中的眼部图像，包括：
9.一种基于如权利要求1-8任一权利要求所述的瞳孔定位用数据处理系统的瞳孔定位方法，其特征在于，包括：
10.一种电子装置，其特征在于，包括：
