자연어처리_TRANSFORMER
0. 들어가면서 'Attention is All You Need'라는 말에서 알 수 있 듯, Transformer은 Attention으로만 이루어져 있다. 기계 번역(언어 번역)을 예로 깊숙한 곳으로 조금씩 들어가 보려고 한다. 1. Model 위의 그림을 보면 한 언어의 문장이 INPUT으로 넣으면 OUTPUT으로 다른 번역된 언어가 나오는 것을 알 수 있다. 그렇다면 조금 더 디테일 하게 들어가 보자. Transformer의 내부를 보면 ENCODERS와 DECODERS로 나눠져 있고, 그 둘 사이에 연결이 있는 것을 알 수 있다. encoding component는 encoders가 쌓여서 만들어져 있다. 그리고 decoder도 6개가 쌓여있는 것을 볼 수 있다. 인코더의 구조가 모두 동일하지만 가..
인공지능(Artificial Intelligence)/자연어 처리(natural language processing)
2020. 10. 22. 02:51
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- Express
- react
- UserCreationForm
- pandas
- login
- react autoFocus
- JavaScript
- 클라우데라
- typescript
- Queue
- DFS
- Deque
- read_csv
- django
- 자연어처리
- nodejs
- mongoDB
- useHistory 안됨
- next.config.js
- logout
- useState
- error:0308010C:digital envelope routines::unsupported
- TensorFlow
- NextJS
- nextjs autoFocus
- Python
- Vue
- BFS
- vuejs
- 자료구조
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함