배울 점이 많은 강의가 있어서 추천드리며, 시리즈로 글을 쓰고자 합니다.
비정형 데이터 분석 2/11 Word2Vec
설명 구조
~식과 같고 이 식을 최대화하려면 분자는 키우고 분모는 줄여야합니다.
~값을 높인다는 것은 무엇일까요?
~의 의미에 대해 잠깐 살펴보겠습니다.
~은 한자~이며 ~뜻입니다.
~의 정의는 ~식과 같습니다.
~에 비유할 수 있습니다.
~의 예
수식 입력 관련
blog.naver.com/alwaysneoi/220698343806
키워드 및 핵심 내용
Word2Vec/ skip-gram 모델 중심
- skip-gram 학습 방법
학습 목표는 중심단어(c)가 주어졌을 때, 주변단어(o)가 나타날 확률 최대화하는 것입니다.
그 확률은 아래 식과 같고 이 식을 최대화하려면 우변의 분자는 키우고 분모는 줄여야 합니다.
분자를 키우다는 것은 중심단어 벡터 v 와 주변단어 벡터 u의 내적 값을 높인다는 것입니다.
우선 내적의 정의는 아래 식과 같습니다.
주변단어가 중심단어에 더 가깝게 리프리젠테이션되면 그 내적 값은 더 크게 됩니다.
중심단어와 주변단어의 연관성을 높여야 합니다.
분모는 줄일수록 좋습니다.
윈도우 내에 등장하지 않는 단어를 포함한 전체 단어와 중심단어의 유사도를 감소시킨다는 정도로
이해하시면 될 것 같습니다.
word2vec 의 학습법은 경사상승법으로 업데이트를 수행합니다.
조금씩 이동하면서 가야할 방향을 결정해야 합니다.
가야할 방향과 보폭은 다음 식과 같습니다.
이 식이 만들어진 과정을 살펴보겠습니다.
방향을 결정한다는 것은 해당 지점에서의 기울기를 구하는 것을 의미합니다.
- skip-gram 학습 트릭
1.다빈도 단어의 표본추출
- 자주 등장하는 단어를 샘플링에서 제외 -> 학습 부하 감소
- 제외 확률
2.윈도우 밖 단어의 표본추출
- negative sample : 윈도우(중심단어, 주변단어) 밖에서 5~20개 단어를 확률적으로 추출
- negative sample에 뽑힐 확률
- 3/4(0.75)승하여 많은 샘플은 확률을 약간 줄이고 적은 샘플은 확률을 약간 높임
[word2vec 추가 설명]
ratsgo.github.io/from%20frequency%20to%20semantics/2017/03/30/word2vec/
[이은아님 강의 모음]
www.youtube.com/playlist?list=PLGAnpwASolI0vViZItiP90nWI_s9m91Av
'머신러닝' 카테고리의 다른 글
[추천강의] 이은아님 머신러닝 비정형 데이터 분석 4/11 Feature Selection (0) | 2020.07.08 |
---|---|
[추천강의] 이은아님 머신러닝 비정형 데이터 분석 3/11 문장, 문단, 문서 임베딩 (0) | 2020.07.07 |
[인공지능 뉴스] 공동이익 추론 기반 조정, 협력, 타협 학습 (0) | 2020.07.05 |
[추천강의] 이은아님 머신러닝 비정형 데이터 분석 1/11 신경망언어모델(NNLM) (0) | 2020.07.05 |
Google 새로운 서비스 StayKeen / 머신러닝 기술과 휴먼 협업을 통한 주제 중심 콘텐츠 관리 (0) | 2020.06.19 |