refactor

tokenizer.go

@@ -1,5 +1,6 @@
 package main
 
+// tokenizer reads and manages tokens read by tokenreader.
 type tokenizer struct {
 	tr     *tokenreader
 	tokens []*token
@@ -10,14 +11,6 @@ func newtokenizer(mod *module) *tokenizer {
 	return &tokenizer{tr: newtokenreader(mod)}
 }
 
-func (t *tokenizer) mark() int {
-	return t.pos
-}
-
-func (t *tokenizer) reset(pos int) {
-	t.pos = pos
-}
-
 func (t *tokenizer) gettoken() (*token, error) {
 	tk, err := t.peektoken()
 	if err != nil {
@@ -40,3 +33,11 @@ func (t *tokenizer) peektoken() (*token, error) {
 
 	return t.tokens[t.pos], nil
 }
+
+func (t *tokenizer) mark() int {
+	return t.pos
+}
+
+func (t *tokenizer) reset(pos int) {
+	t.pos = pos
+}