[추천강의] 이은아님 머신러닝 비정형 데이터 분석 7/11 토픽모델링 LDA

배울 점이 많은 강의가 있어서 추천드리며, 시리즈로 글을 쓰고자 합니다.

​

비정형 데이터 분석 7/11 Topic Modeling LDA

​

https://youtu.be/_fqzemENFSM

 

​

​

키워드 및 핵심 내용

​

토픽모델링 LDA

​

LSA, pLSA를 리뷰하면서 LDA 등장배경을 살펴보겠습니다.

​

​

LSA

​

1.TF(단어의 출현빈도) : 단어의 빈도와 중요도가 항상 비례하는 것은 아님

2.TF-IDF(단어가 다른 문서에서도 많이 나타나면 중요도를 줄임)

3.Document-Term 행렬은 공백이 많음 -> 차원축소(Truncated SVD) 필요

​

​

pLSA

​

1.차원축소에 SVD(Singular value Decomposition, 특이값 분해) 대신 확률적 방법 사용

2.P(Document, Term) 과 일치하는 확률모델을 찾는 것

​

​

한번도 보지 못한 문서에 대해서는 일반화하지 못함 -> LDA

​

​

LDA

​

1.문서에서의 토픽의 분포, 특정 주제에서의 단어의 분포를 결합해서 사용(디리클레 분포 사용)

2.디리클레 분포 : 분포의 분포

​

---

[LDA 추가 자료]

https://blog.naver.com/ericalee97/221678785232

​

LDA

: 데이터의 분포를 학습하여 분리를 최적화하는 결정경계를 만들어 데이터를 분류하는 모델이다.

PCA가 최적 표현을 위해 최대 분산을 찾아 차원을 축소했다면

LDA는 최적 분류를 위해 분별 정보를 최대한 유지시키면서 차원을 축소하는 방법이다.​

​

Fisher's LDA

: 두 클래스의 중심점은 가능한 멀게, 즉, 클래스 간의 분산은 가능한 크게 하고​

클래스 내의 분산은 가능한 작게 함으로써​

클래스 내의 분산과 클래스 간의 분산을 동시에 고려한다.

​

LDA의 목적함수

​

목적함수 최대화를 위해 w로 미분을 했을 때 나오는 최종식은 아래와 같다.

위의 방정식을 만족시키는 w들은 SW −1SB 행렬의 고유벡터가 된다.

* 고유값 분해 (A𝑣=𝜆𝑣)

​

​

성능

: 데이터의 패턴, 내재적 속성을 밝혀내는 것이 중요할 때는 PCA,

데이터가 정규분포를 따르고 class가 동일한 공분산 행렬을 가지면 LDA를 사용하는 것이 더 좋은 성능을 낸다.

---

[NLP LDA 추가자료]

https://medium.com/@omicro03/%EC%9E%90%EC%97%B0%EC%96%B4%EC%B2%98%EB%A6%AC-nlp-8%EC%9D%BC%EC%B0%A8-lda-f571b4da9d04

​

잠재 디리클레 할당(Latent Dirichlet Allocation, LDA)

​

토픽 모델링은 문서의 집합에서 토픽을 찾아내는 프로세스를 말한다. (토픽은 한국어로는 주제라고 한다.)

이는 검색 엔진, 고객 민원 시스템 등과 같이 문서의 주제를 알아내는 일이 중요한 곳에서 사용된다.

잠재 디리클레 할당(Latent Dirichlet Allocation, LDA)은 토픽 모델링의 대표적인 알고리즘이다.

​

​

1. 잠재 디리클레 할당(Latent Dirichlet Allocation, LDA)

​

우선 LDA의 내부 매커니즘에 대해서 이해하기 전에, LDA를 일종의 블랙 박스로 보고 LDA에 문서 집합을 입력했다면, 어떤 결과를 보여주는지 예를 들어보겠다. 아래와 같은 3개의 문서가 있다고 가정한다면, 지금의 예제는 간단해서 눈으로도 토픽 모델링을 할 수 있을 것 같지만, 실제 수십만개 이상의 문서가 있는 경우는 LDA의 알고리즘의 도움이 필요하다.

문서1: 저는 사과랑 바나나를 먹어요

문서2 : 우리는 귀여운 강아지가 좋아요

문서3 : 저의 깜찍하고 귀여운 강아지가 바나나를 먹어요

​

LDA를 수행할 때 문서 집합에서 토픽이 몇 개가 존재할지 가정하는 것은 사용자가 해야할 일이다. 여기서는 LDA 알고리즘에 2개의 토픽을 찾으라고 요청하겠다. 토픽의 개수를 변수 k라고 하였을 때, k = 2 이다. k의 값을 잘못 선택하면 원치않는 이상한 결과가 나올 수 있다. 이렇게 모델의 성능에 영향을 주는 사용자가 직접 선택하는 매개변수를 머신러닝 용어로 하이퍼파라미터라고 한다. 이러한 하이퍼파라미터의 선택은 여러 실험을 통해 얻은 값일 수도 있고, 우선 시도해보는 것일 수도 있다.

LDA 알고리즘이 위의 세 문서로부터 2개의 토픽을 찾은 결과는 아래와 같다. 여기서는 LDA 입력 전에 주어와 불필요한 조사 등을 제거하는 전처리 과정은 거쳤다고 가정한다. 즉, 전처리 과정을 거친 TDM이 LDA의 입력이 되었다고 가정한다.

​

LDA는 각 문서의 토픽 분포와 각 토픽 내의 단어 분포를 추정한다.

<각 문서의 토픽 분포>

문서1 : 토픽 A 100%

문서2 : 토픽 B 100%

문서3 : 토픽 B 60%, 토픽 A 40%

<각 토픽의 단어 분포>

토픽A : 사과 20%, 바나나 40%, 먹어요 40%, 귀여운 0%, 강아지 0%, 깜찍하고 0%, 좋아요 0%

토픽B : 사과 0%, 바나나 0%, 먹어요 0%, 귀여운 33%, 강아지 33%, 깜찍하고 16%, 좋아요 16%

LDA 알고리즘은 토픽의 제목을 정해주지 않지만, 이 시점에서 알고리즘의 사용자는 두 토픽이 각각 과일에 대한 토픽과 강아지에 대한 토픽이라는 것을 알 수 있다.

​

​

2. LDA의 가정

​

LDA는 문서의 집합으로부터 어떤 토픽이 존재하는지를 알아내기 위한 알고리즘이다. LDA 알고리즘은 앞서 배운 빈도수 기반의 표현 방법들인 TDM 또는 TF-IDF 행렬을 입력으로 하는 데, 이로부터 알 수 있는 사실은 LDA는 단어의 순서는 신경쓰지 않는다는 점이다.

LDA는 문서들로부터 토픽을 뽑아내기 위해서 어떤 가정을 염두에두고 있다. 실제로 문서의 작성자가 그랬는지 안 그랬는지는 중요하지 않다. LDA는 기본적으로 이러한 가정을 전제로 한다. 모든 문서 하나, 하나가 작성될 때 그 문서의 작성자는 이러한 생각을 했다.

‘나는 이 문서를 작성하기 위해서 이런 주제들을 넣을거고, 이런 주제들을 위해서는 이런 단어들을 넣을 거야.’ 조금 더 구체적으로 알아보면, 각각의 문서는 다음과 같은 과정을 거쳐서 작성되었다고 가정한다.

1) 문서에 사용할 단어의 개수 N을 정한다.

ex) 5개의 단어를 정했다.

2) 문서에 사용할 토픽의 혼합을 결정한다.

ex) 위 예제와 같이 토픽이 2개라고 하였을 때 강아지 토픽을 60%, 과일 토픽을 40%와 같이 선택할 수 있다.

3) 문서에 사용할 각 단어를 (아래와 같이) 정한다.

3–1) 토픽 분포에서 토픽 T를 확률적으로 고른다.

ex) 60% 확률로 강아지 토픽을 선택하고, 40% 확률로 과일 토픽을 선택할 수 있다.

3–2) 선택한 토픽 T에서 단어의 출현 확률 분포에 기반해 문서에 사용할 단어를 고른다.

ex) 강아지 토픽을 선택했다면, 33% 확률로 강아지란 단어를 선택할 수 있다. 이제 3) 을 반복하면서 문서를 완성한다.

이러한 과정을 통해 문서가 작성되었다는 가정 하에 LDA는 토픽을 뽑아내기 위하여 위 과정을 역으로 추적하는 역공학(reverse engneering)을 수행한다. 앞서 LDA의 결과로 문서 내 토픽 분포와 토픽 내 단어 분포가 나왔던 이유가 여기에 있다.

​

​

3. LDA의 수행하기

​

이제 LDA의 수행 과정을 정리해보자.

1) 사용자는 알고리즘에게 토픽의 개수 k를 알려준다.

앞서 말하였듯이 알고리즘에게 토픽의 개수를 알려주는 역할은 사용자의 역할이다. LDA 알고리즘은 토픽 k가 M개의 문서에 걸쳐 분포되었다고 가정한다.

2) 모든 단어를 k개 중 하나의 토픽에 할당한다.

이제 각 문서는 토픽을 가지며, 토픽은 단어 분포를 가지는 상태이다. 물론 랜덤으로 할당하였기 때문에 사실 전부 틀린 상태이다. 만약 한 단어가 한 문서에서 2회 이상 등장하였다면, 각 단어는 서로 다른 토픽에 할당되었을 수도 있다.

3) 이제 모든 문서의 모든 단어에 대해서 아래의 사항을 반복 진행한다.(iterative)

3–1) 어떤 문서의 각 단어 w는 자신은 잘못된 토픽에 할당되어져 있지만, 다른 단어들은 전부 올바른 토픽에 할당되어져 있는 상태라고 가정한다. 이에 따라 단어 w는 아래의 두 가지 기준에 따라서 토픽이 재할당된다.

p(topic t | document d) : 문서 d의 단어들 중 토픽 t에 해당하는 단어의 비율

p(word w | topic t) : 단어 w를 갖고 있는 모든 문서들 중 토픽 t가 할당된 비율

이를 반복하면, 모든 할당이 완료된 수렴 상태가 된다. 두 가지 기준이 어떤 의미인지 예를 들어보자. 설명의 편의를 위해서 저자는 두 개의 문서라는 새로운 예를 사용했다.

위의 그림은 두 개의 문서 doc1과 doc2를 보여준다. 여기서는 doc1의 세번째 단어 apple의 토픽을 결정하고자 한다.

우선 첫번째로 사용하는 기준은 문서 doc1의 단어들이 어떤 토픽에 해당하는지에 대한 단어들의 비율이다. doc1의 모든 단어들은 토픽 A와 토픽 B에 50 대 50의 비율로 할당되어져 있으므로, 이 기준에 따르면 단어 apple은 토픽 A 또는 토픽 B 둘 중 어디에도 속할 가능성이 있다.

두번째 기준은 단어 ‘apple’이 전체 문서에서 어떤 토픽에 할당되어져 있는지를 본다. 이 기준에 따르면 단어 ‘apple’은 토픽 B에 할당될 가능성이 높다. 이러한 두 가지 기준을 참고하여 LDA는 doc1의 ‘apple’을 어떤 토픽에 할당할지 결정한다.

​

​

4. 잠재 디리클레 할당과 잠재 의미 분석의 차이

​

LSA : 단어 문서 행렬을 차원 축소하여 축소 차원에서 근접 단어들을 토픽으로 묶는다.

LDA : 단어가 특정 토픽에 존재할 확률과 문서에 특정 토픽이 존재할 확률을 결합확률로 추정하여 토픽을 추출한다.

---

[Dirichlet distribution(Dirichlet prior)를 사용하는 이유]

https://donghwa-kim.github.io/distributions.html

​

Distribution Estimation

​

분포를 추정하는 방법은 크게 두가지로 나눠진다.

- Parametric 분포 추정

·모수를 가정

·가우시안 분포: 평균(μ), 분산(σ)

·binomial 분포: 샘플 수 n, 확률 p

·데이터가 적어도, Parametric 분포를 잘 가정하면 좋은 추정이 될 수 있음

·모수에 영향을 받기 때문에, 데이터 따른 분포의 업데이트(유지보수)가 어려움

- Nonparametric 분포 추정

·모수를 가정하지 않음

·데이터가 많아질수록 좋은 추정을 할 수 있음

·모수에 영향을 받지 않기 때문에, 데이터 따른 분포의 업데이트가 쉬움

·데이터가 적을 때 분포의 모양이 over-fitting될 수 있음

​

Parametric distribtutions

​

먼저, classification에 사용되는 대표적인 4개의 분포를 소개해드리겠습니다.

​

- Binomial 분포: 단변량, 이산형(discrete)분포

베르누이 이산형 확률변수(∈ {0,1})를 가정할 때, n 시행횟수로 성공확률 p를 표현

- Beta 분포: 단변량, 연속형(continious)분포

α,β를 이용해 continuous 확률변수을 이용한 분포 표현

- Multinomial: 다변량, 이산형(discrete)분포

n시 행횟수에 대하여, k개의 이산형 확률변수에 대응되는 k개의 확률값(pk)들을 사용한 분포

- Dirichlet 분포: 다변량, 연속형(continious)분포

αk에 대하여, k개의 연속형 확률변수에 대응되는 k개의 continous values(xk, ∑kxk=1,∀xk≥0)들을 사용하여 분포를 표현

​

Dirichlet distribtutions 활용 예제

​

LDA 토픽모델링으로 예를 들면, 한 문서에 대한 토픽의 분포는 k개의 토픽의 확률(pk)로 표현할 수 있습니다.

이 토픽 분포에서 특정 토픽을 샘플을 할때(해당하는 문서에서 각 단어에 대한 topic), 이 토픽 분포는 multinomial 분포를 가정하게 됩니다. 따라서 이 분포를 알기 위해 pk 확률 값을 알 필요가 있습니다.

한 방법으로, dirichlet 분포의 샘플링 된 k차원 vector는 sum to 1를 만족하기 때문에, multinomial 분포의 모수 pk

에 사용될 수 있습니다.

k=3

일 때, 2차원으로 시각화하면 다음과 같습니다.

따라서 분포의 분포(distribution over distributions)를 표현한다고 할 수 있습니다.

이러한 구조는 문서의 토픽의 분포, 각 토픽의 단어의 분포를 표현하는 목적(distribution over distributions)과 굉장히 부합이 잘 됩니다.

---

[이은아님 강의 모음]

https://www.youtube.com/playlist?list=PLGAnpwASolI0vViZItiP90nWI_s9m91Av

 

---