Aiden의 개인적인 이것저것 블로그

  • 홈
  • 태그
  • 방명록

Analyzer 1

Opensearch의 PreProcessing ? - Opensearch Analyzer

Analyzer라는 이름만 들으면 numeric data와 자연스럽게 연결되는 나의 편견 때문에 아직도 왜 검색엔진의 Analyzer인지 명확하게 와닿지는 않지만 ( 아마 '분석' 후 가공 정도의 의미일 것으로 추측한다. ) , Opensearch에서의 Analyzer는 Tokenizer와 불용어 등의 filter 를 하는 즉 python 내 nltk ( Natural Language Tookit ) 과 비슷한 Pre-Processing 역할을 해준다. 정확히는 Character Filter -> Tokenizer -> Token Filters의 일련의 과정들을 한 번에 처리해주는 Piple-line역할을 한다. **Charactor Filter : 토크나이징 전에 텍스트를 전처리 (예: HTML 태그..

LLM
이전
1
다음
더보기
프로필사진

Aiden의 개인적인 이것저것 블로그

Aiden의 개인적인 이것저것 블로그

  • 분류 전체보기 (32)
    • AI News (1)
    • Paper Review (2)
    • LLM (8)
    • ML & DL (7)
    • Data Analysis (6)
    • Operations Research (2)
    • Software Engineering (6)

Tag

codebert, dataanalysis, serachengine, characterfilter, OpenSearch, odts, 공액상, AI, ML, domain-driven, 베이지안, Elasticsearch, Modeling, Bayesian, shapely value, 3tier-layer, dl, osts, hybridsearch, OOP,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Calendar

«   2026/04   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30

Copyright © AXZ Corp All rights reserved.

티스토리툴바