온디바이스(On-device) 환경에서 사용하는 모델

1. MobileNet 시리즈

• MobileNetV1, V2, V3: 경량화된 CNN 모델로, 특히 MobileNetV2는 역전된 잔차 블록과 선형 병목을 도입하여 효율성과 성능을 개선했습니다.
• MobileNetV3: NAS(Neural Architecture Search)를 통해 설계되어, 성능과 효율성이 크게 향상된 버전입니다.

2. EfficientNet 시리즈

• EfficientNet: 컴퓨팅 리소스를 적게 사용하면서도 높은 성능을 내는 이미지 분류 모델입니다. Compound Scaling 방법을 통해 모델의 너비, 깊이, 해상도를 최적화한 구조입니다.
• EfficientNet-Lite: 온디바이스 환경에 맞게 더 가볍게 조정된 버전입니다.

3. SqueezeNet

• SqueezeNet은 기존의 CNN보다 50배 적은 파라미터 수를 유지하면서도 성능이 비슷하도록 설계된 경량 모델입니다.

4. ShuffleNet

• ShuffleNet은 채널 셔플링과 그룹 컨볼루션을 사용해 경량화된 구조로, 특히 모바일 디바이스에서 높은 성능을 보입니다.

• https://sotudy.tistory.com/16

  1. Pointwise Group Convolution

  

  • 기존의 Pointwise Covolution
  • 기존의 Pointwise Covolution과 다르게 Group을 지어서 Pointwise Convolution 진행

• 연산량이 1/g 로 줄어듦
• Group 내에 있는 Channel들만 고려하기때문에, Representation power(표현력) 감소
• 이렇게 진행할 경우 모든(Global)Channel이 아닌 지역적인(Local) Channel 묶음만 고려하게 되므로,이를 해결하기 위해 Channel Shuffle 사용

1. Channel Shuffle
   • Group을 다시 Sub Group으로 나눠서 섞음(Shuffle)
   • 여러 그룹으로 나뉘어 수행된 합성곱의 결과 채널들을 재정렬하여 다음 합성곱 레이어에서 더 다양한 정보를 사용할 수 있도록
2. ShuffleNet Unit

• (a) - MobileNet에 residual connection을 추가한 형태
• (b)- (a)의 첫번째 레이어를 1x1 Grouped convolution으로 바꾸고, channel shuffle. 첫 레이어 뒤에만 ReLU를 사용하고 그 뒤의 3x3 DWconv에서는 사용하지 않음.