전체 글
-
합성 곱(Convolution)카테고리 없음 2024. 3. 12. 08:25
1.소개 합성 곱은 CNN같은 AI 인공지능에 활용되는 공학 수학에서의 연산이다. 본 포스팅은 합성 곱의 대략적인 개념에 대해 이해하는 것을 목표로 한다. 2.개념 f(x) * h(x)=integral_{-inf,inf} f(t)h(r-t)로 연속 함수에서의 합성곱이다. 여기서 CNN에서 쓰는 이산적인 연산은 적분이 아닌 시그마로 일정한 간격을 두고 곱을 수행한다. 3.응용 오차 역전파는 다중 퍼셉트론 구조에서 손실을 최대로 줄이는 방향으로 가는 일종의 경사하강법이다. 이때 활성함수를 주로 지나는데, 여기서 ReLu같은 활성함수들로 합성곱을 진행하게 된다.
-
Transformer카테고리 없음 2024. 3. 11. 20:23
최근 NLP에서 빠지지않고 들어가는 Transformer에 대해서 리뷰해보겠다. Attention is all you need(2017)를 참조하여 작성하였다. 1-1.I/O->Encoder input data가 인코더로 들어가는 과정이다. 이때 문장들의 sequences가 주어졌을 때, 가중치 행렬에 대하여 내적을 수행한다.(embedding) 그 결과 각 문장들의 토큰들이 학습시 임베딩 레이어를 통해 벡터로 들어가게 된다. 1-2.장점 이로 인한 장점으로는 seq2seq는 RNN을 사용하여 순차적 데이터 처리과정을 밟게 되는데 반해 transformer는 한 번에 내적을 수행함으로 기울기 소실 문제가 해결되게 된다. 1-3.문제점과 해결책 하지만 문장내에서 순서가 중요하고, 각 토큰에 유일한 값과 토..
-
Dynamic Programming(동적 계획법)알고리즘/동적 계획법 2022. 9. 6. 22:45
도입 오늘은 동적계획법(DP)에 대해 소개 해보겠다. 먼저 필자는 아직도 동적 계획법을 잘 못한다. Dynamic Programming이라는 어려운 이름에 ㅎㄷㄷ 할 수 있지만, 당시 연구실에서 연구비 많이 받을려고, 이런 이름으로 지었다고 한다. 1. 동적계획법 정의 먼저 동적계획법은 어떠한 문제를 다른 부분 문제로 나누는 것을 의미한다. 예를 들어 대표적인 예는 피보나치 수열이다. Fibo n = Fibo n-1 + Fibo n-2 로 나타낼 수 있다. Fibo n이라는 문제를 부분적으로 나눈 것이다. 이 경우에 n부터 시작해 함수 호출이 약 2배씩 증가함으로 총 O(2^N)에 근사하는 시간복잡도를 가지지만, 메모이제이션이라는 기법을 사용하면 간단해진다. 2. 메모이제이션 우리는 4번째 항의 피보나치..