-/*
- * Tokenizer.cpp
- *
- * Created on: Aug 26, 2012
- * Author: holy
- */
-
#include "Tokenizer.h"
#include <istream>
switch (c) {
case Token::ANGLE_BRACKET_OPEN:
case Token::ANGLE_BRACKET_CLOSE:
- case Token::CHEVRON_OPEN:
- case Token::CHEVRON_CLOSE:
case Token::COLON:
case Token::COMMA:
case Token::BRACKET_OPEN:
case Token::BRACKET_CLOSE:
case Token::PARENTHESIS_OPEN:
case Token::PARENTHESIS_CLOSE:
+ case Token::COMMAND:
+ case Token::REGISTER:
return Token ((Token::Type) c);
+ case '<': {
+ std::istream::char_type c2;
+ in.get(c2);
+ if (c2 == '<') {
+ return Token(Token::SCRIPT_BEGIN);
+ } else {
+ in.putback(c2);
+ return Token(Token::CHEVRON_OPEN);
+ }
+ }
+ case '>': {
+ std::istream::char_type c2;
+ in.get(c2);
+ if (c2 == '>') {
+ return Token(Token::SCRIPT_END);
+ } else {
+ in.putback(c2);
+ return Token(Token::CHEVRON_CLOSE);
+ }
+ }
case '+': case '-':
case '0': case '1': case '2': case '3': case '4':
case '5': case '6': case '7': case '8': case '9':