[Capstone project] SPitching

🗣️ SPitching

유창하고 능숙한 발표를 위한 시선 추적, 모션 인식, 생성형 AI 기반 종합 발표 트레이너, SPitching

 

주제를 정하는 데에 시간이 꽤나 오래 걸렸는다.

요즘 청년들에게 도움이 되는 서비스를 만들고 싶었고, 그렇게 내가 던진 '발표 연습'이라는 키워드가 최종적으로 채택이 되었다! 처음에는 이 주제가 괜찮은걸까 고민이 많았는데, 오히려 더 확신을 가지고 아이디어를 함께 develop 해준 팀원들에게 고맙다🥹 청년들을 타켓팅한 주제이지만, 발표 불안감을 해결하고 싶은 모든 사람들에게 도움이 되는 서비스이다.

 

 

ME?

나는 AI 및 백엔드 파트를 맡게 되었다.

기술 스택을 정하면서 서비스 아키텍처를 다음과 같이 그려보았다. 그래서 크게 spring & spring boot와 mysql를 사용하여 개발을 하기로 했다. 기존에 스프링으로 개발을 해본 경험이 있지만 좀 더 클린 코드를 작성하고 원리를 정확하게 알기 위해 스터디를 진행중이다.

 

 

Head pose estimation

현재 12월 중순에 할 기술 검증을 위해 AI 모델을 개발하고 있다.

import cv2
import dlib
import numpy as np
from imutils import face_utils

face_landmark_path = 'head-pose-estimation-1/shape_predictor_68_face_landmarks.dat'

K = [6.5308391993466671e+002, 0.0, 3.1950000000000000e+002,
     0.0, 6.5308391993466671e+002, 2.3950000000000000e+002,
     0.0, 0.0, 1.0]
D = [7.0834633684407095e-002, 6.9140193737175351e-002, 0.0, 0.0, -1.3073460323689292e+000]

cam_matrix = np.array(K).reshape(3, 3).astype(np.float32)
dist_coeffs = np.array(D).reshape(5, 1).astype(np.float32)

object_pts = np.float32([[6.825897, 6.760612, 4.402142],
                         [1.330353, 7.122144, 6.903745],
                         [-1.330353, 7.122144, 6.903745],
                         [-6.825897, 6.760612, 4.402142],
                         [5.311432, 5.485328, 3.987654],
                         [1.789930, 5.393625, 4.413414],
                         [-1.789930, 5.393625, 4.413414],
                         [-5.311432, 5.485328, 3.987654],
                         [2.005628, 1.409845, 6.165652],
                         [-2.005628, 1.409845, 6.165652],
                         [2.774015, -2.080775, 5.048531],
                         [-2.774015, -2.080775, 5.048531],
                         [0.000000, -3.116408, 6.097667],
                         [0.000000, -7.415691, 4.070434]])

reprojectsrc = np.float32([[10.0, 10.0, 10.0],
                           [10.0, 10.0, -10.0],
                           [10.0, -10.0, -10.0],
                           [10.0, -10.0, 10.0],
                           [-10.0, 10.0, 10.0],
                           [-10.0, 10.0, -10.0],
                           [-10.0, -10.0, -10.0],
                           [-10.0, -10.0, 10.0]])

line_pairs = [[0, 1], [1, 2], [2, 3], [3, 0],
              [4, 5], [5, 6], [6, 7], [7, 4],
              [0, 4], [1, 5], [2, 6], [3, 7]]


prev_euler_angle = np.zeros((3, 1), dtype=np.float32)  # 초기 값

def get_head_pose(shape):
    image_pts = np.float32([shape[17], shape[21], shape[22], shape[26], shape[36],
                            shape[39], shape[42], shape[45], shape[31], shape[35],
                            shape[48], shape[54], shape[57], shape[8]])

    _, rotation_vec, translation_vec = cv2.solvePnP(object_pts, image_pts, cam_matrix, dist_coeffs)

    # 디버깅: rotation_vec와 translation_vec 확인
    print(f"Rotation Vec: {rotation_vec}")
    print(f"Translation Vec: {translation_vec}")

    reprojectdst, _ = cv2.projectPoints(reprojectsrc, rotation_vec, translation_vec, cam_matrix,
                                        dist_coeffs)

    # 디버깅: reprojectdst 확인
    print(f"Reprojected Points: {reprojectdst}")

    reprojectdst = tuple(map(tuple, reprojectdst.reshape(8, 2)))

    # calc euler angle
    rotation_mat, _ = cv2.Rodrigues(rotation_vec)
    pose_mat = cv2.hconcat((rotation_mat, translation_vec))
    _, _, _, _, _, _, euler_angle = cv2.decomposeProjectionMatrix(pose_mat)

    # 디버깅: euler_angle 확인
    print(f"Euler Angle: {euler_angle}")

    return reprojectdst, euler_angle


def main():
    # return
    cap = cv2.VideoCapture(0)
    if not cap.isOpened():
        print("Unable to connect to camera.")
        return
    detector = dlib.get_frontal_face_detector()
    predictor = dlib.shape_predictor(face_landmark_path)

    while cap.isOpened():
        ret, frame = cap.read()
        if ret:
            face_rects = detector(frame, 0)

            if len(face_rects) > 0:
                shape = predictor(frame, face_rects[0])
                shape = face_utils.shape_to_np(shape)

                reprojectdst, euler_angle = get_head_pose(shape)

                for (x, y) in shape:
                    cv2.circle(frame, (x, y), 1, (0, 0, 255), -1)

                for start, end in line_pairs:
                    start_point = tuple(map(int, reprojectdst[start]))
                    end_point = tuple(map(int, reprojectdst[end]))
                    cv2.line(frame, start_point, end_point, (0, 0, 255), 2)

                
                #for start, end in line_pairs:
                    #cv2.line(frame, reprojectdst[start], reprojectdst[end], (0, 0, 255))
                    # Ensure that reprojectdst[start] and reprojectdst[end] are tuples (int or float)
                #    cv2.line(frame, tuple(reprojectdst[start]), tuple(reprojectdst[end]), (0, 0, 255), 2)
    
                cv2.putText(frame, "X: " + "{:7.2f}".format(euler_angle[0, 0]), (20, 20), cv2.FONT_HERSHEY_SIMPLEX,
                            0.75, (0, 0, 0), thickness=2)
                cv2.putText(frame, "Y: " + "{:7.2f}".format(euler_angle[1, 0]), (20, 50), cv2.FONT_HERSHEY_SIMPLEX,
                            0.75, (0, 0, 0), thickness=2)
                cv2.putText(frame, "Z: " + "{:7.2f}".format(euler_angle[2, 0]), (20, 80), cv2.FONT_HERSHEY_SIMPLEX,
                            0.75, (0, 0, 0), thickness=2)

            cv2.imshow("demo", frame)

            if cv2.waitKey(1) & 0xFF == ord('q'):
                break


if __name__ == '__main__':
    main()

이 모델을 run하면,

현재는 이렇게 출력이 된다.

얼굴형, 눈, 코, 입, 이마 등에 빨간색 dot이 찍히면서 head pose를 인식해 X,Y,Z 값을 출력한다. 각 값의 뜻은 다음과 같다.

X (Pitch) = +30°: 머리가 앞으로 30° 숙여져 있다는 뜻
Y (Yaw) = -15°: 머리가 왼쪽으로 15° 회전해 있다는 뜻
Z (Roll) = +10°: 머리가 오른쪽으로 10° 기울어져 있다는 뜻

 

안정적으로 x,y,z 값을 출력하게 하기 위해 모델 코드를 조금 더 tuning 해야한다. 그래도 우리 서비스에서 가장 중요한 기능이 1차적으로 개발이 되어서 다행이다!

 

 

Spring Repository START

그리고 기능 개발을 할 수 있는 모든 환경 세팅을 바르게 완료하고 싶었다. 그래서 다음과 같이 spring repo를 생성해두었다.

• Project: SpringBoot를 빌드하고 배포하는 방식이다. 현재는 Gradle을 사용하여 프로젝트를 생성하는 추세이다.
• Language: 사용하고자하는 언어를 선택하면 된다. (일반적으로 Java가 사용됨)
• SpringBoot: 버전을 선택해 준다. SNAPSHOT은 데모버전이고 높은 버전은 높은 자바버전을 필요로 하므로 SNAPSHOT이 없는 낮은 버전을 선택하는 것이 좋다.
• Group: 기업 도메인명
• Artifact: 빌드되어 나올 결과물
• Name: 프로젝트명 (일반적으로 Artifact와 동일하게 사용함)
• Description: 설명Package name: 패키지이름(Group과 Artifact를 설정하면 자동으로 만들어 준다.)
• Packaging: 기본이 .jar이다. (spring framework와 model2는 .war를 사용한다

 

• SpringWeb (중요)
  웹 서비스를 만드는 데 가장 중요한 모듈이다. 내장 톰캣 뿐 아니라 Spring MVC 패턴을 구현하는 데 필요한 기능이 대부분 들어있다. REST API서버를 만든다면 필수이다.
• Lombok (추천, 거의 필수)
  Class에 getter, setter, toString, equals, constructor 등의 메소드들을 간단한 어노테이션(@)으로 지정해줄 수 있어 자바특유의 장황한 클래스를 줄여준다.
• Spring Data JPA ( 필수 )
  JPA는 Java Persistence API라고 하는데 자바 ORM기술의 토대를 이루는 기술 명세이다. Spring에서 DB를 다루는 거의 표준 기술인 상황이다. Class Entity를 마치 DB처럼 사용할 수 있는 매우 유용한 도구이다. (학습량 또한 엄청나다.)
• MySQL Driver
  MySql의 드라이버를 자동으로 연결해준다.
• Spring Configuration Processor
  스프링 개발을 하면서 application.yml 또는 application.properties를 작성할 때 추천을 받고 싶을 때 이 기능을 사용하면 된다.
• Spring Boot DevTools (취향에 따라 사용)
  DevTools는 스프링 어플리케이션을 띄웠을 때, 재시작하지 않고 코드의 변화를 반영시킬 때 사용한다. HTML 파일의 경우 LiveReload 기능을 제공하여 저장하면 그 변화가 페이지에 바로 나타나게 할 수도 있다. (참고  velog.io/@bread_dd/Spring-Boot-Devtools)
• Thymeleaf
  View 템플릿인 Thymeleaf를 사용할 수 있도록 하는 모듈이다. Spring에서 많이 사용하는 JSP는 Spring Boot에서는 잘 사용하지 않는다.
• Validation : 유효성을 검사하고 유효하지 않을 경우 에러 발생 시킨다.

 

step1) 그리고 build.gradle으로 압축을 풀어주고

처음에는 run이 실행되지 않는데, 아직 mysql과의 연결 정보를 적어주지 않아서 그렇다.

step 2) 그래서 'build.gradle'에서 jpa, security, mysql은 주석처리 해준 후 실행을 하면 위와 같이 성공~

 

 

접속도 가능하다. 아직 아무것도 개발하지 않아 뜨는 건 없다. 

이렇게 초기 설정도 끝 🙆🏻‍♀️