자연어처리 발전흐름(RNN에서 BERT)
1. RNN (Recurrent Neural Network) RNN이 왜나왔을까? 기존 신경망은 연속적인 시퀀스를 처리하기 어렵다. 따라서 입력의 순서가 중요한 분야인 자연어 처리, 음성인식, 주식, 날씨, 음악 같은 부분에서 한계가 들어난다. RNN이란 아래의 그림과 같이 이전 출력값이 현재 결과에 영향을 미친다. 위 그림에서 식을 보면 순환 w와 입력 U의 두 개의 가중치가 존재하는것을 알 수 있다. 물론 입출력도 자유롭다는 것을 알 수 있다. 2. LSTM(Long Short Term Memory) LSTM이 나왔는다는 RNN의 문제점이 있다는 것을 알 수 있다. 아래의 그림을 보면 처음 입력의 정보가 뒤로 갈수록 사라진다는 것을 알 수 있다. LSTM의 목적은 입력 중 핵심적인 정보를 잊어버리지 ..
인공지능(Artificial Intelligence)/RNN
2020. 10. 14. 21:57
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- useState
- 자료구조
- Python
- DFS
- nextjs autoFocus
- django
- Deque
- vuejs
- 자연어처리
- 클라우데라
- login
- UserCreationForm
- Express
- useHistory 안됨
- Vue
- react
- typescript
- BFS
- next.config.js
- mongoDB
- pandas
- Queue
- error:0308010C:digital envelope routines::unsupported
- logout
- react autoFocus
- NextJS
- nodejs
- read_csv
- JavaScript
- TensorFlow
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
글 보관함