《DNESP32S3使用指南-IDF版_V1.6》第五十八章 人脸检测实验

正点原子官方

第五十八章 人脸检测实验

人脸检测是一种基于人工智能（AI）的计算机技术，用于在数字图像中查找和识别人脸。人脸检测技术可应用于各个领域，包括安全、生物识别、执法、娱乐和个人安全等，以提供对人员的实时监控和跟踪。人脸检测技术通过使用算法自动搜索图像/视频帧中的人脸，判断是否存在人脸，并返回人脸的位置、大小和姿态。本章，我们使用乐鑫AI库来实现人脸检测功能。

本章分为如下几个部分：

58.1 硬件设计

58.2 软件设计

58.3 下载验证

58.1 硬件设计

1. 例程功能

本章实验功能简介：使用乐鑫官方的ESP32-WHO AI库对OV2640和OV5640摄像头输出的数据进行人脸检测。

2. 硬件资源

1）LED灯

LED-IO1

2）XL9555

IIC_INT-IO0（需在P5连接IO0）

IIC_SDA-IO41

IIC_SCL-IO42

3）SPILCD

CS-IO21

SCK-IO12

SDA-IO11

DC-IO40（在P5端口，使用跳线帽将IO_SET和LCD_DC相连）

PWR- IO1_3（XL9555）

RST- IO1_2（XL9555）

4）CAMERA

OV_SCL-IO38

OV_SDA- IO39

VSYNC- IO47

HREF- IO48

  PCLK- IO45

  D0- IO4

D1- IO5

  D2- IO6

D3- IO7

  D4- IO15

  D5- IO16

  D6- IO17

D7- IO18

RESET-IO0_5（XL9555）

  PWDN-IO0_4（XL9555）

3. 原理图

本章实验使用的KPU为ESP32-S3的内部资源，因此并没有相应的连接原理图。

58.2 软件设计

58.2.1 程序流程图

程序流程图能帮助我们更好的理解一个工程的功能和实现的过程，对学习和设计工程有很好的主导作用。下面看看本实验的程序流程图：

图58.2.1.1 程序流程图

58.2.2 程序解析

在本章节中，我们将重点关注两个文件：esp_face_detection.cpp和esp_face_detection.hpp。其中，esp_face_detection.hpp主要声明了esp_face_detection函数，其内容相对简单，因此我们暂时不作详细解释。本章节的核心关注点是esp_face_detection.cpp文件中的函数。

接下来，我们将详细解析esp_face_detection_ai_strat函数的工作原理。

TaskHandle_t camera_task_handle;

TaskHandle_t ai_task_handle;

QueueHandle_t xQueueFrameO = NULL;

QueueHandle_t xQueueAIFrameO = NULL;

/**

* @brief       摄像头图像数据获取任务

* @param       arg：未使用

* @retval      无

*/

static void camera_process_handler(void *arg)

{

    arg = arg;

    camera_fb_t *camera_frame = NULL;

    while (1)

    {

        /* 获取摄像头图像 */

        camera_frame = esp_camera_fb_get();

        if (camera_frame)

        {

            /* 以队列的形式发送 */

            xQueueSend(xQueueFrameO, &camera_frame, portMAX_DELAY);

        }

    }

}

/**

* @brief       摄像头图像数据传入AI处理任务

* @param       arg：未使用

* @retval      无

*/

static void ai_process_handler(void *arg)

{

    arg = arg;

    camera_fb_t *face_ai_frameI = NULL;

    HumanFaceDetectMSR01 detector(0.3F, 0.3F, 10, 0.3F);

    HumanFaceDetectMNP01 detector2(0.4F, 0.3F, 10);

    while(1)

    {

        /* 以队列的形式获取摄像头图像数据 */

        if (xQueueReceive(xQueueFrameO, &face_ai_frameI, portMAX_DELAY))

        {

            /* 判断图像是否出现人脸 */

            std::list<dl::detect::result_t> &detect_candidates

= detector.infer((uint16_t *)face_ai_frameI->buf,

{(int)face_ai_frameI->height,

(int)face_ai_frameI->width, 3});

            std::list<dl::detect::result_t> &detect_results

= detector2.infer((uint16_t *)face_ai_frameI->buf,

{(int)face_ai_frameI->height,

(int)face_ai_frameI->width, 3},

detect_candidates);

            if (detect_results.size() > 0)

            {

                printf("Face detected\r\n");

                /* 此处是在图像中绘画检测效果 */

                draw_detection_result((uint16_t *)face_ai_frameI->buf,

                                      face_ai_frameI->height,

                                      face_ai_frameI->width, detect_results);

            }

            else

            {

                printf("Face not detected\r\n");

            }

            

            /* 以队列的形式发送AI处理的图像 */

            xQueueSend(xQueueAIFrameO, &face_ai_frameI, portMAX_DELAY);

        }

    }

}

/**

* @brief       AI图像数据开启

* @param       无

* @retval      1：创建失败；0：创建成功

*/

uint8_t esp_face_detection_ai_strat(void)

{

    /* 创建队列及任务 */

    xQueueFrameO = xQueueCreate(5, sizeof(camera_fb_t *));

    xQueueAIFrameO = xQueueCreate(5, sizeof(camera_fb_t *));

xTaskCreatePinnedToCore(camera_process_handler, "camera_process_handler",

4 * 1024, NULL, 5, &camera_task_handle, 1);

xTaskCreatePinnedToCore(ai_process_handler, "ai_process_handler",

6 * 1024, NULL, 5, &ai_task_handle, 1);

    if (xQueueFrameO != NULL

        || xQueueAIFrameO != NULL

        || camera_task_handle != NULL

        || ai_task_handle != NULL)

    {

        return 0;

    }

    return 1;

}

首先，我们创建了两个消息队列和两个任务。这两个消息队列的主要功能是传输图像数据，它们的区别在于一个用于传输原始图像数据，另一个用于传输经过AI处理后的图像数据或者未检测到的图像数据（原始图像数据）。而这两个任务则分别负责图像数据的获取和AI处理。在AI处理任务中，无论检测是否成功，我们都会使用消息队列将AI处理后的图像数据或未检测到的图像数据（原始图像数据）发送到LCD上进行显示。

58.3 下载验证

程序下载成功后，如果在检测过程中发现人脸，该系统会将此帧的图像数据发送给人脸检测API进行处理。处理成功后，此帧的图像将被显示在LCD上，如下图所示。

图58.3.1 人脸检测效果图

liqh

很深奥，谢谢分享