AI·도구 · 참고
토크나이저Tokenizer
글자를 모델이 세는 단위인 토큰으로 쪼개는 장치.
한글은 영어보다 토큰을 많이 먹어서 같은 글자 수라도 비용이 더 나옵니다. 글자 수가 아니라 토큰 수로 계산해야 예산이 맞습니다.
“한글 문서라 예상보다 토큰이 두 배 나왔다.”
다른 이름tokenizer · 토큰화
AI·도구 · 참고
글자를 모델이 세는 단위인 토큰으로 쪼개는 장치.
한글은 영어보다 토큰을 많이 먹어서 같은 글자 수라도 비용이 더 나옵니다. 글자 수가 아니라 토큰 수로 계산해야 예산이 맞습니다.
“한글 문서라 예상보다 토큰이 두 배 나왔다.”
다른 이름tokenizer · 토큰화