연애 경험이있는 사람이라면 누구나 말할 수 있듯이 인간의 감정은 복잡한 개념입니다. 이는 제품 또는 서비스의 질적 이점 (기본 기능을 뛰어 넘는 가치)을 이해하려는 마케팅 담당자에게 특히 해당됩니다. 제품이 무엇을하는지 이해하는 것은 어렵지 않지만 소비자가 어떻게 느끼는지 알고 있습니까?



소셜 청취 감정 분석을 사용하여 타겟 잠재 고객의 필터링되지 않은 소셜 미디어 묵상을 실행 가능한 전략적 통찰력으로 추출했다면 그렇게 할 수 있습니다. 모두 복용 Twitter에서 사용 가능한 소셜 데이터 긍정적, 부정적 또는 중립적 감정으로 분류하는 것은 중요한 작업이며, 두 가지 방법이 동등하게 만들어지지는 않습니다. 이것이 HASHTAGS가 두 가지 기본 접근 방식 인 규칙 목록과 기계 학습을 결합한 하이브리드 감정 분석 시스템을 구축 한 이유입니다.



규칙 목록

감정 분석을 처리하는 가장 간단한 방법 중 하나는 사람이 만든 규칙 또는 사전을 사용하는 것입니다. 이 접근 방식을 통해 시스템은 특정 감정에 직접 매핑되는 단어 또는 구 목록에 의존합니다. 예를 들어 '하이 파이브'라는 단어가 포함 된 트윗은 긍정적으로 표시되고 '끔찍함'이 포함 된 트윗은 부정적인 것으로 표시 될 수 있습니다. 이와 같은 시스템은 사용자 정의가 가능하며 수천 개의 단어 및 구문 규칙을 포함하도록 확장 할 수 있습니다.

단점은 규칙 시스템이 '내가 예상했던 것만 큼 끔찍한 영화는 아니었다'와 같이 상반되는 규칙과 일치하는 트윗으로 어려움을 겪고 있다는 것입니다. 여기에서 '끔찍함'은 부정적으로 표시되고 '예상 됨'은 긍정적으로 표시 될 수 있습니다. 충돌하는 규칙은 트윗을 중립으로 분류하는 반면, 일부 인간 독자는 약간 긍정적이고 다른 독자는 약간 부정적인 것으로 해석합니다.

규칙 기반 시스템의 추가 제한은 인간의 노력과 이해에 대한 의존입니다. 언어는 빠르게 발전하고 (특히 Twitter에서) 규칙 기반 시스템을 사용하려면 누군가가 새로운 용어와 구문을 꾸준히 제공해야합니다. 감성 시스템 업데이트가 항상 최우선 순위는 아니며 시스템이 빠르게 구식이 될 수 있습니다. 경계 모니터링이 있어도 변화하는 언어 추세를 식별하고 새 규칙을 추가해야하는시기를 결정하기가 어려울 수 있습니다.

기계 학습

고급 감정 분석 시스템 사용 기계 학습 (ML) 기술 (때때로 인공 지능 또는 자연어 처리 ). 기계 학습은 항목에 레이블을 지정하는 데 사용할 수있는 복잡한 패턴을 식별하기 위해 통계와 확률을 사용하는 기술 군입니다.

규칙 기반 시스템과 달리 ML 시스템은 사람에게 즉시 드러나지 않는 유사성을 감지 할 수있을만큼 유연합니다. 시스템은 많은 예를 살펴봄으로써 일반적으로 긍정적, 부정적 또는 중립적 감정과 관련된 패턴을 학습합니다.



예를 들어, ML 감정 분석 시스템은 'rain'이라는 단어를 포함하고 느낌표가 1 개로 끝나는 트윗은 부정적이며 'rain'과 느낌표가 2 개인 트윗은 긍정적임을 확인할 수 있습니다. 사람은이 패턴을 알아 차리지 못하거나 발생 원인을 이해하지 못할 수 있지만 ML 시스템은이를 사용하여 매우 정확한 예측을 할 수 있습니다.

기계 학습 시스템은 훌륭한 결과를 생성 할 수 있지만 몇 가지 단점이 있습니다. 언어가 다양 할 때 ML 시스템이 패턴을 찾기 위해 소음을 선별하는 것이 어려울 수 있습니다. 강력한 패턴이 존재하면 덜 일반적인 패턴을 가려서 ML 시스템이 미묘한 신호를 무시하게 할 수 있습니다.

Sprout의 접근 방식

감정 분석 시스템을 구축하기 위해 우리는 규칙 기반 및 머신 러닝 접근 방식의 장점을 결합한 하이브리드 시스템을 설계했습니다. 우리는 ML 모델이 어려움을 겪는 곳을 파악하기 위해 수만 개의 트윗을 분석하고 이러한 단점을 극복하는 데 도움이되는 규칙 기반 전략을 도입했습니다.



인간의 이해로 통계 모델을 보완하여 다양한 설정에서 잘 작동하는 강력한 시스템을 구축했습니다.

새싹 감정 분석

정확성에 관한 모든 것

표면적으로는 감정 분석이 매우 간단 해 보입니다. 트윗이 긍정적인지, 부정적인지 중립인지 결정하기 만하면됩니다. 하지만 인간의 언어와 감정은 복잡하며 트윗 내에서 감정을 감지하는 것은 이러한 복잡성을 반영합니다.

이 트윗을 고려하십시오. 긍정적인가, 부정적인가, 중립인가?

https://twitter.com/alex/status/917406154321420289

답변에 자신감을 가질 수 있지만 모든 사람이 동의하지 않을 가능성이 높습니다. 연구에 따르면 사람들은 트윗의 감정에만 동의합니다. 60 ~ 80 % 시간의.

회의적 일 수 있습니다. 우리도 그렇습니다.

이를 테스트하기 위해 데이터 과학 팀의 두 팀원은 정확히 동일한 1,000 개의 트윗 세트를 긍정적, 부정적 또는 중립적이라고 표시했습니다. 우리는“우리는 매일 트윗을 사용합니다. 우리 둘 사이에 거의 완벽한 합의가있을 것입니다.”

결과를 계산 한 다음 두 번, 세 번 확인했습니다. 조사 결과는 정확했습니다. 우리는 트윗의 73 %에만 동의했습니다.

감정 분석의 과제

연구 (간단한 실험과 함께)에 따르면 감정 분석이 간단하지 않습니다. 왜 그렇게 까다로운가요? 몇 가지 가장 큰 과제를 살펴 보겠습니다.

문맥

트윗은 시간의 작은 스냅 샷입니다. 일부는 독립적이지만 트윗은 종종 작성자를 알고있는 경우에만 의미가있는 지속적인 대화 또는 참조 정보의 일부입니다. 이러한 단서가 없으면 작가의 감정을 해석하기 어려울 수 있습니다.

풍자

풍자 감지는 컨텍스트 문제의 또 다른 특징입니다. 추가 정보가 없으면 감정 분석 시스템이 단어의 문자 적 ​​의미를 의도 한 방식과 혼동하는 경우가 많습니다. 풍자는 학술 연구의 활발한 영역이므로 가까운 미래에 snark를 이해하는 시스템을 볼 수 있습니다.

비교

트윗이 비교할 때 감정도 까다로워집니다. 내가 채소에 대한 시장 조사를하고 있는데 누군가가“당근이 스쿼시보다 낫다”고 트윗한다면이 트윗은 긍정적일까요 아니면 부정적일까요? 그것은 당신의 관점에 달려 있습니다. 마찬가지로 누군가 '회사 A가 회사 B보다 낫다'고 트윗 할 수 있습니다. A 사에서 일하면이 트윗은 긍정적이지만 B 사에서는 부정적입니다.

이모티콘

이모티콘은 자체 언어입니다. . 같은 이모티콘은 매우 분명한 감정을 표현하지만 다른 이모티콘은 덜 보편적입니다. 감정 분석 시스템을 구축하는 동안 사람들이 이모티콘을 사용하는 방식을 면밀히 살펴보면서 일반적인 이모티콘조차도 혼란을 일으킬 수 있음을 발견했습니다. '너무 기뻐서 울고있어'또는 '너무 슬퍼서 울고있어'라는 뜻으로 거의 똑같이 사용됩니다. 인간이 그림 이모티콘의 의미에 동의하지 않으면 감정 분석 시스템도 마찬가지입니다.

중립의 정의

'중립적 인'감정조차도 항상 간단한 것은 아닙니다. 비극적 인 사건에 대한 뉴스 헤드 라인을 고려하십시오. 이벤트가 끔찍하다는 데는 모두 동의하지만 대부분의 뉴스 헤드 라인은 사실에 입각 한 정보를 담고 있습니다. 감정 분석 시스템은 독자의 반응이 아니라 콘텐츠 작성자의 감정을 식별하도록 설계되었습니다. '중립'이라는 끔찍한 뉴스를 보는 것은 이상하게 보일 수 있지만 사실 정보를 전달하려는 저자의 의도를 반영합니다.

감정 분석 시스템은 중립이 정의되는 방식도 다릅니다. 일부는 시스템이 긍정적인지 부정적인지 결정할 수없는 트윗에 대해 중립적 인 카테고리로 간주합니다. 이러한 시스템에서 '중립'은 '잘 모르겠습니다'와 동의어입니다. 하지만 실제로는 아래 예와 같이 감정을 표현하지 않는 트윗이 많습니다.

Google 시스템은 모호한 트윗의 기본 레이블로 중립을 사용하는 대신 감정이없는 트윗을 중립으로 명시 적으로 분류합니다.

감정 분석 평가

감정 분석에 많은 도전이 있기 때문에 새로운 도구에 투자하기 전에 숙제를하는 것이 좋습니다. 공급 업체는 제품의 정확성에 대한 통계에 중점을 두어 복잡성을 줄이려고 노력합니다. 하지만 정확성이 항상 사과를 비교하는 것은 아닙니다. 정확도를 측정 막대로 사용하려는 경우 다음 몇 가지 질문을해야합니다.

보고 된 정확도가 80 % 이상입니까?
인간은 60 ~ 80 %의 시간 동안 만 서로 동의하므로 모든 사람이 '올바른'감정 라벨이 포함되어 있다는 데 동의하는 테스트 데이터 세트를 만들 수 없습니다. 정서에 관해서는 '정답'은 주관적입니다. 즉, 정확도를 테스트하는 데 사용할 수있는 표준이 없습니다.

감정 분석 시스템의 정확도의 상한은 항상 인간 수준의 합의 (약 80 %)입니다. 공급 업체가 정확도가 80 % 이상이라고 주장하는 경우 회의적인 태도를 취하는 것이 좋습니다. 현재 연구에 따르면 정확도가 80 %도 될 것 같지 않습니다. 이 분야의 최고 전문가들은 일반적으로 60 년대 중반에서 상위권까지 정확도를 달성합니다.

얼마나 많은 감정 카테고리가 예측되고 있습니까?
일부 공급 업체는 모든 중립 트윗을 제외하고 인간 평가자가 확실히 긍정적이거나 부정적인 것으로 확인한 트윗에 대해서만 정확성을 평가합니다. 감정이 강한 트윗과 두 가지 가능한 결과 (긍정적 또는 부정적)로 작업 할 때 시스템의 정확도가 매우 높게 나타나는 것이 훨씬 쉽습니다.

그러나 야생에서 대부분의 트윗은 중립적이거나 모호합니다. 시스템이 긍정적이고 부정적인 것만 평가하면 시스템이 중립적 인 트윗 (실제로 보게되는 대부분)에 얼마나 잘 대처하는지 알 수 없습니다.

테스트 세트에는 어떤 유형의 트윗이 포함 되나요?
감정 분석 시스템은 실제 상황을 대표하는 트윗에서 구축하고 테스트해야합니다. 일부 감정 분석 시스템은 시스템이 이해하기 쉽도록 필터링 및 정리 된 도메인 별 트윗을 사용하여 생성됩니다.

예를 들어, 공급 업체는 스팸 또는 주제에서 벗어난 트윗은 제외하고 항공 업계에 대한 강한 감정적 트윗 만 포함하는 기존 데이터 세트를 발견했을 수 있습니다. 이로 인해 정확도가 높아지지만 매우 유사한 트윗에 사용할 때만 가능합니다. 다른 도메인에서 작업 중이거나 주제에서 벗어난 트윗이나 스팸 트윗을 받으면 정확도가 훨씬 낮아집니다.

테스트 데이터 세트는 얼마나 컸습니까?
감정 분석 시스템은 다양한 시나리오에서 시스템의 성능을 측정하기 위해 수천 개의 트윗에서 평가되어야합니다. 시스템이 수백 개의 트윗에서만 테스트되는 경우 시스템의 정확성을 측정 할 수 없습니다.

여기 Sprout에서 우리는 트위터의 무작위 샘플에서 가져온 50,000 개의 트윗 모음을 기반으로 모델을 구축했습니다. 트윗은 도메인별로 다르기 때문에 감정 분석 시스템은 다양한 도메인에서 잘 작동합니다.

또한 긍정적, 부정적 및 중립적 범주에 대해 별도의 예측을합니다. 다른 예측이 실패 할 때 중립을 적용하지 않습니다. 우리의 정확성은 10,000 개의 트윗에서 테스트되었으며, 그중 어느 것도 시스템 구축에 사용되지 않았습니다.

청취자와 함께 라이브로 Sprout의 감정 분석보기

세계의 모든 연구는 시스템을 직접 평가하는 것을 대체 할 수 없습니다. 최신 소셜 청취 도구 세트 내에서 새로운 감정 분석 시스템을 테스트 해보세요. 청취자 , 어떻게 작동하는지 확인하십시오. 궁극적으로 최고의 소셜 청취 도구는 귀하의 요구를 충족하고 소셜에서 더 큰 가치를 얻을 수 있도록 도와주는 도구입니다. 오늘 시작하실 수 있도록 도와 드리겠습니다.

친구들과 공유하십시오: