Face recognition

얼굴 인식이 어려운 이유

- 표정변화

- occulusion(장신구)

- 회전변화, 크기변화

- 조명변화

- 화장효과

- 노화

 

Pose-invariant 중 face와 관련된  landmark detector 3가지 방법

- AAM: Active Appearance Models (2D) - texture와 shape을 같이 씀

- ASM: Active Shape Models (2D)

- Morphable Model (3D version AAM)

** 모두 PCA방법을 사용함

 

 

PCA를 활용한 face recognition (Eigenfaces)

PCA는 데이터의 분산이 가장큰 방향으로 좌표축을 정렬함

scatter matrix를 최대로 하는 eigen value를 찾는 것임

(global projection을 찾는 것)

 

PCA를 활용하여 저차원 데이터로 변환 후, L2 distance를 이용함

(가장 큰 순서로 30개의 eigenvector를 선택함)

 

eigenface: eigenvector로 표현된 얼굴 이미지 

새로운 얼굴이미지를 생성할 때도, PCA를 활용할 수 있음

k << d

 

 

 

LDA: class의 정보를 활용한 face recognition (Fisherfaces)

사람별로 여러장의 이미지가 있고, 여러명의 사람이 있을 때 쓸 수 있음

between scatter(inter-class)을 최대로, within scatter(intra-class)를 최소화 하는  eigen value를 찾는 것

 

** PCA는 압축을 할 때 주로 사용, LDA는 압축 및 분류작업을 할 때 주로 사용

위와 같이 데이터가 주어졌을 때, PCA와 LDA의 분산방향의 차이 확인1

위와 같이 데이터가 주어졌을 때, PCA와 LDA의 분산방향의 차이 확인2

 

 

PCA vs. LDA

PCA는 inter/intra class에 대해 구별하지 않음

 

 

또 다른 다양한 방법들

[feature 추출]

– Features from global appearance

• Principal Component Analysis(PCA) - orthogonal한 벡터를 사용

• Independent Component Analysis(ICA) - orthogonal하지 않은 벡터를 사용

•  LDA등

(PCA, LDA 등과 같이 얼굴 전체적인 이미지를 vector화 시키는걸 global이라고함)

– Features from local regions

• Local Feature Analysis(LFA)

• Gabor Wavele

•  SIFT등

[유사도 비교방법]

– Euclidian Distance

– Neural Networks

– Elastic Graph Matching

– Template Matching

 

 

FaceVACS: 얼굴인식 상용화 툴의 process 소개

1. eye detection(그러므로 선글라스를 끼면 얼굴인식이 잘 안됨)

2. face cropping

3. 얼굴 color값에 대해 normalize 해줌 (Low frequency와 high frequency를 제거함)

4. local descriptor 추출 - 중복없이 얼굴의 특징점들만 뽑을 수 있음

5. PCA or LDA방법을 사용하여 저차원의 feature vector를 만듦

6. feature vector들을 clustering 하여 새로운 reference set을 만들어 유사성을 비교함

 

** finger print는 1 to 1 matching (verification) - 사람이 더 잘함

** face는 1 to many matching 임 (identification) - 기계가 더 잘함

 

Face Recoginition 성능비교 방법

FAR: False Accept rate 

GAR: Genuine Accept rate

FRR: False reject rate (낮을 수록 좋음)

** 2006년에 진행된 contest에서 사용한 데이터 셋은

    - 실내 정적 이미지

    - 실외 정적 이미지

    - 3D 이미지 등등

** FRR, FAR를 활용하면 DET Curve

** TAR, FRR를 활용하면 ROC Curve

 

 

년도별 Face recognition의 성능 변화표 (낮을 수록 좋음)

년도별 Face recognition의 성능 변화표1

년도별 Face recognition의 성능 변화표2

 

Contest 참가자 별 Face recognition의 성능 변화표 (낮을 수록 좋음)

 

얼굴인식관련 데이터셋 모음집: LFW(Labeled Faces in the Wild)

 

 

AAM: Active Appearance Models 

Shape PCA와 Texutre PCA를 사용함

AAM을 활용한 이미지 변환

 

 

2D와 3D를 썼을 때, Invariance to Facial Variations

3차원 이미지

 

Video를 활용한 face recognition

많은 정보가 있으나, 해상도 문제로 얼굴 이미지 인식이 어려움

→ PTZ 카메라를 이용해서 위의 문제를 해결 할 수 있음

Pan (좌우) Tilt (상하) Z(zoom)

(3차원이미지를 합성해서 사용하면 성능이 높아질 수 있음)

 

Aging simulation

다양한 사람들의 노화 된 이미지를 사용하여

새로운 데이터에 적합하여 노화된 가상 이미지를 만들 수 있음

 

Face mark를 이용한 얼굴인식

- 점, 흉터들을 이용할 수 있음