[자연어처리] 인코딩

by

코딩 성능을 위해 텍스트와 숫자를 일치시켜야 함 각 단어에 고유 색인이 필요합니다. 전처리는 텍스트가 디지털화되기 전에 가능한 한 많이 수행되어야 합니다. 정수 인코딩 빈도별로 정렬하고 높은 빈도에서 낮은 빈도로 정수를 지정하여 일련의 단어를 만들 수 있습니다. 가장 일반적인 단어부터 시작하여 한 번에 정수를 입력하여 빈도가 낮은 단어를 제외할 수도 있습니다. 희귀 단어를 제거하면 단어 집합에 … Read more