character filters
-
AnalyzerBackEnd/Elasticsearch API 2025. 3. 18. 05:00
Analyzer A component that processes text during indexing and querying. The analyzer breaks down text into a stream of tokens or terms (usually words) and can apply various transformations like lowercasing, removing stop words, and more. Analyzer 구성요소Tokenizer: 텍스트를 개별 단어나 토큰으로 나누는 역할을 합니다. (e.g., words)Character Filters: 텍스트를 토크나이저에 전달하기 전 문자 수준에서 변환하는 역할을 합니다. (e.g., removing HTML tags)Token F..
-
AnalysisBackEnd/Elasticsearch API 2025. 3. 11. 01:00
Elasticsearch Analysis는 텍스트 데이터를 처리하고, 색인할 수 있도록 변환하는 과정입니다. 이는 텍스트 데이터를 토큰화하고, 필터링하여 검색에 적합한 형태로 만드는 역할을 합니다. Key components of AnalyzersCharacter Filters: 텍스트를 토큰화하기 전에 문자 단위로 처리하는 역할을 합니다. e.g HTML Stripping, Mapping and Pattern ReplacementTokenizer: 텍스트를 개별 단어 또는 토큰으로 나누는 역할을 합니다. e.g Standard Tokenizer, Whitespace Tokenizer, Keyword TokenizerToken Filters: 생성된 토큰을 추가로 처리하는 역할을 합니다. e.g Lowe..