Luna AI Blog

BLEU, CIDEr, SPICE 텍스트 생성 성능 평가 지표 총정리, 장단점 비교(feat. Rouge)

오늘은 Image Captioning을 평가하는 대표적인 평가지표 3가지 BLEU, CIDEr, SPICE에 대해 알아보자. BLEU, CIDEr, SPICE을 위해 알고 넘어가야하는 개념부터, 각 지표에 대한 내용까지 차례대로 정리해보자. 각 방법에 대해 정리하기 전 TF-IDF의 개념이나 N-gram의 개념에 대한 이해가 필요하다면 해당 블로그의 ...

NLP 기초: TF-IDF 개념 , 계산 방법, 코드 구현(직접 구현부터 라이브러리를 사용한 간단 구현까지)

이번 게시물에서는 텍스트 마이닝에서 많이 언급되는 TF-IDF의 개념부터, 공식까지 정리해보자. 특정 단어가 문서 내에서 얼마나 중요한 지를 나타내는 척도인 TF-IDF는 Language 모델 평가지표에도 많이 응용되므로, 먼저 개념을 확실하게 짚고 넘어가도록 해보자. TF-IDF TF-IDF는 Term Frequency-Inverse Doc...