기존 CNN 모델들의 경우 고성능 컴퓨터에서는 이를 연산할 만한 충분한 컴퓨팅 자원들이 있었지만 스마트폰이나 기타 기기에서 사용하기에는 너무 무겁다는 단점을 가지고 있었습니다. 구글은 이러한 문제를 해결하기 위해 Mobilenet을 개발하였으며, 성능을 최대한 희생하지 않으면서도 모바일 환경에서 구동될만큼 경량화 한 것이 특징입니다. 이번 페이지에서는 Mobilenet V1의 핵심 아이디어 Depthwise Separable Convolution을 간략하게 정리하고, Mobilenet V2, 이 모델의 핵심 아이디어인 Inverted Residuals, Linear Bottlenecks를 정리하도록 하겠습니다. Depthwise Separable Convolution Mobilenet V2를 이해하기 전..
한 클래스 내에서 다른 클래스의 코드를 사용해야 할 때, 중복으로 코딩을 할 필요 없이 해당 클래스를 상속받을 수 있는 방법으로 클래스 상속이라는 방법이 있습니다. 예시를 들어보겠습니다. 파이토치를 사용하고 있는 중에 Convolution Layer와 BatchNorm Layer, Activation Function을 연결한 하나의 블록을 만들고자 합니다. 다만 저는 어떤 곳에서는 Conv1D, 다른 곳에서는 Conv2D 또는 Conv3D를 사용해야만 합니다. 이를 각각 구현했다면 3개의 블록을 구현한 각각의 클래스에 중복되는 코드들이 존재하게 될 것입니다. 이를 상속을 통해 빠르게 구현해보도록 하겠습니다. 실습에서 보여드릴 코드는 파이토치 공식 구현 코드인데 사용자 정의 함수가 하나 있어서 미리 선언해..
파이토치는 이제 M1에서도 쉽게 설치할 수 있게 업데이트 되었지만, 텐서플로우는 아직 그렇지 않습니다. 버전 간의 충돌 등으로 기존 2.5.0을 사용하기가 어려웠고, 이번에 2.7.0으로 업데이트를 진행한 내용을 기록하고자 합니다. 기본적인 miniconda 설치, 가상환경 설정 등은 진행했다고 가정 후에 설명을 진행하겠습니다. 만약 설치 방법을 모르시면 이전 2.5.0 설치 글을 참고하여 설치를 진행해주세요. [M1] M1 Mac에서 Tensorflow, Pytorch 설치하기 M1이 들어간 Mac에서는 일반적인 방법으로는 Tensorflow 2.0를 설치하기 어렵습니다. 때문에 다른 방법을 사용해서 설치를 진행해야 합니다. 애플에서 알려주는 텐서플로 설치 방법은 아래와 같습니 dyddl1993.tis..
이전 페이지에서는 Transformer가 무엇인지 이론을 확인할 수 있었습니다. 이번 페이지에서는 Transformer를 구현해보도록 하겠습니다. [논문 리뷰] Transformer 리뷰 자연어 처리 뿐만 아니라 최근 컴퓨터 비전 영역에서도 사용되고 있는 Attention이라는 기법을 적용한 유명한 모델인 Transformer를 알아보도록 하겠습니다. Transformer 트랜스포머는 2017년 구글에서 발 dyddl1993.tistory.com Transformer class Transformer(nn.Module): def __init__(self, N = 2, hidden_dim = 256, num_head = 8, inner_dim = 512): super().__init__() self.enco..
자연어 처리 뿐만 아니라 최근 컴퓨터 비전 영역에서도 사용되고 있는 Attention이라는 기법을 적용한 유명한 모델인 Transformer를 알아보도록 하겠습니다. Transformer 트랜스포머는 2017년 구글에서 발표한 Sequence to Sequence 모델입니다. 이 모델을 통해 이전 모델의 단점들(고정된 Context Vector, 첫 레이어의 결과값이 연산을 반복하면서 희미해짐 등)을 해결하게 되었습니다. 모델의 특이점으로는 RNN, CNN등의 레이어를 사용하지 않았다는 점, Attention이라는 개념을 사용했다는 점 정도가 있습니다. Encoder Input input값으로 임베딩 된 벡터를 사용하는 것은 기존의 방법들과 같다고 할 수 있지만, 이 값에 더해 추가로 Positional..
기존의 딥러닝 기반 얼굴 인식 연구는 두 가지 방법으로 정리할 수 있습니다. 첫번째 방식은 softmax loss를 사용하는 방식으로 분류 모델을 softmax를 통해 훈련하는 방식입니다. 두번째는 triplet loss를 사용하는 방식인데 이 방식은 분류 모델을 학습하는 것이 아닌 임베딩 벡터를 학습하는 방식입니다. 저자들은 두 loss 모두 단점이 몇 가지 존재한다고 설명합니다. softmax loss의 경우 가지고 있는 훈련 데이터셋에 적합한 학습을 하기 때문에 open-set에는 적합하지 않다고 설명을 하고 있는데, 이는 쉽게 말해 새로운 인물에 대해서는 적절한 feature를 추출하지 못하는 단점을 가지고 있다고 보시면 됩니다. triplet loss의 경우 학습에 어려움이 있다는 점과, fac..
22년 8월 23일에 네이버 트레일블레이저 카페에서 위장막 차량을 봤다는 게시물이 있었습니다. 전면, 후면부를 가린 것으로 보아 페이스리프트 차량으로 보이네요. 게시글 작성자의 말로는 네비게이션이 큰 디스플레이로 바뀐 것으로 보인다고 합니다. 저는 트레일블레이저랑 셀토스, XM3를 고민하고 있었는데, 외부는 트레일블레이저가 가장 맘에 드는데 내부가 너무 올드해서 고민이 많았거든요. 만약 씨커처럼 최신 트랜드를 맞춰서 내부가 변경된다면 고민할 여지 없이 페리된 트레일블레이저를 고를 것 같네요. 언제쯤 정확한 정보가 나올 지 궁금합니다. 해당 게시글 링크는 다음과 같습니다. [네이버 카페 클럽 트레일블레이저] 트블 페리?
이제 이미지나 자연어 등의 비정형 데이터에 대해서는 딥러닝을 기반으로 한 연구만이 진행되고 있다고 봐도 무방합니다. 다만 정형 데이터에 대해서는 아직도 머신러닝 모델, 특히 트리 기반의 부스팅 계열 모델들의 성능이 더 뛰어납니다. 제가 참여했던 프로젝트에서도 정형 데이터에 대한 모델링을 수행할 때는 일반적으로 LightGBM 등 머신러닝 계열 모델의 성능이 딥러닝 모델들보다 조금 더 좋은 결과를 보여주었습니다. 대표적으로 LightGBM, XGBoost, CatBoost 등의 모델이 있는데, 이 모델들은 아직까지도 정형 데이터를 사용하는 경진대회에서 상위권을 차지하고 있을 만큼 성능이 좋습니다. 하지만 최근 들어 TabNet이라는 딥러닝 모델이 가끔씩 대회에서 등장하고 있습니다. 이 모델은 저자들의 테스..
CycleGAN 이란 CycleGAN은 Style Transfer 분야에 GAN을 적용시킨 대표적인 모델입니다. Unpaired Image-to-Image Translation using Cycle-Consistent... Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks Image-to-image translation is a class of vision and graphics problems where the goal is to learn the mapping between an input image and an output image using a training set of aligned image pai..
DCGAN(Deep Convolutional GAN)은 GAN의 대표적인 모델로써, GAN에 컨볼루전망을 적용하여 성능을 향상시킨 모델입니다. 간단하게 DCGAN에 대해 설명한 후 실습과 함께 상세하게 알아보도록 하겠습니다. DCGAN 요약 DCGAN은 2016년에 발표된 모델로 GAN의 가장 대표적인 모델입니다. https://arxiv.org/abs/1511.06434 Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks In recent years, supervised learning with convolutional networks (CNNs) has seen huge adoption ..
