낱말 분석

낱말 분석(Lexical analysis)은 컴퓨터 과학에서 프로그래밍 언어를 처리하는 처리하는 최초의 단계이다. 낱말 분석을 수행하는 프로그램은 렉서(lexer), 토크나이저(tokenizer)^[1], 스캐너(scanner)라고 부르지만 스캐너는 렉서의 1단계를 가리키는 의미이다.

종합 문자열 분석기 편집

종합 문자열 분석기(Universal String Analyzer)는 종합적인 리터럴 자동 추출과 관련된 특허 기술이 적용된 구성 요소이다.^[2] 주로 소스 파일 내 동적 문자열 혹은 동적 SQL 등의 자동 분석을 위해 활용된다.^[3]

토큰 편집

토큰은 파싱 목적을 위해 분류화를 명시적으로 지시하는 어휘소를 표현하는 구조의 하나이다.^[4]

다음의 표로 토큰화되어 표현된다:

어휘소	토큰 분류
sum	Identifier
=	Assignment operator
3	Integer literal
+	Addition operator
2	Integer literal
;	End of statement

각주 편집

↑ “Anatomy of a Compiler and The Tokenizer”. 《www.cs.man.ac.uk》.
↑ 송주영 기자 (2007년 3월 2일). “아이티플러스, 체인지마이너 ‘종합문자열분석기’ 특허취득”. 디지털데일리.
↑ 이경환. “USA(Universal String Analyzer)”. 한국과학기술정보연구원. ^{[깨진 링크(과거 내용 찾기)]}
↑ page 111, "Compilers Principles, Techniques, & Tools, 2nd Ed." (WorldCat) by Aho, Lam, Sethi and Ullman, as quoted in https://stackoverflow.com/questions/14954721/what-is-the-difference-between-token-and-lexeme

참고 문헌 편집

〈낱말 분석〉. 《네이버 용어사전》.

[1] “Anatomy of a Compiler and The Tokenizer”. 《www.cs.man.ac.uk》.

[2] 송주영 기자 (2007년 3월 2일). “아이티플러스, 체인지마이너 ‘종합문자열분석기’ 특허취득”. 디지털데일리.

[3] 이경환. “USA(Universal String Analyzer)”. 한국과학기술정보연구원. ^{[깨진 링크(과거 내용 찾기)]}

[4] 111, "Compilers Principles, Techniques, & Tools, 2nd Ed." (WorldCat) by Aho, Lam, Sethi and Ullman, as quoted in https://stackoverflow.com/questions/14954721/what-is-the-difference-between-token-and-lexeme

[1]

[2]

[3]

[4]