痴货哟i
在编写词法分析器(Lexer)或语法分析器(Parser)的时候，除了Lexer和Parser这两个词会经常使用外，tokenize和tokenizer也会经常出现，基本上所有涉及到词法解析的源码都会用到tokenize。 它的命名来源于使用英文的开发者，否则让我这个习惯使用中文的人去想这个命名，我可能会用其它简单的词来代替，不会这么形象化，所以啊，语言文化的不同，可能会导致思维方式的不同啊，所以中国人的思维方式和西方人的思维方式肯定是不同的，让他们来理解我们的语言可能也很费解。 不管怎么说，好的东西是应该学习和借鉴的，tokenize这个词使用得如此频繁，肯定有它的意义，那到底这个词怎么翻译？怎么理解？在邱仲潘译的《Mastering Java 2》有这儿一段： StreamTokenizer类根据用户定义的规则，从输入流中提取可识别的子串和标记符号，这个过程称为令牌化 （[i]tokenizing[/i]），因为流简化为了令牌符号。令牌（[i]token[/i]）通常代表关键字、变量名、字符串、直接量和大括号等 语法标点。参考邱仲潘的这段译文，可以这样翻译：token：令牌tokenize：令牌化tokenizer：令牌解析器而我看到的另一种翻译是：token可以翻译为“标记”，tokenize可以翻译为“标记解析”或“解析标记”，tokenizer可以翻译为“标记解析器” 我的理解是tokenize是负责把代码解析为一个个的“串”，而Paser是根据这些“串”的前后序列关系来生成相应的语法结构。用令牌好像更形象一些，不过总觉得听起来很生硬，而翻译成“标记”，范围又狭窄了一些。我也找不到一个更适合的词来翻译了，总之理解意思最重要。 不知道各位是怎么理解的，怎么翻译的。
文文兔18
这个星期，项目中要使用C++或C语言解析JSON格式的数据，把解析的结果放到一个通用的数据结构。这个通用的数据结构，实际上是作为web服务层（这一层大家可以认为是类似于PHP服务器或webpy的服务器容器）到web页面层(这一层是语法类似PHP脚本或者tornardo模板)的数据传输的协议。 之所以要这样处理， 主要是因为这个web类的项目(一般的web类项目也是如此)需求变化较快，而web的服务层使用是采用C++进行开发的，为了使当web服务层的数据格式变化不影响web页面层，所以双方使用统一的通用的数据结构。而之所以交代这么多的背景是， 为了让大家了解为什么我们不使用类似rapidjson或jsoncpp来实现json的解析而需要手写解析器。 因为使用类似rapidJson或者是jsoncpp之类的Json解析器，相当于我们要做: JSON文档 -> json DOM -> 通用数据结构。 而如果手写解析器，只需要做:JSON文档 -> 通用数据结构。少一层转换能换来很多效率的提升。说了这么多，下面开始进入正题。 以前学编译原理的时候，老师推荐过LEX /YACC来写编译器，其实这是古老的UNIX软件。 LINUX上有他们的GNU版本 FLEX、BISON。 这两个东西一个是词法分析器，一个是语法分析器。词法分析器的作用是把字符解析成单词。一般的把单词称为token, 而语法分析器则是把单词解析成语法树。
虎娃妈jsz
1、一种解释
token：令牌tokenize：令牌化tokenizer：令牌解析器
2、另一种翻译是：token可以翻译为“标记”，tokenize可以翻译为“标记解析”或“解析标记”，tokenizer可以翻译为“标记解析器”。
在编写词法分析器(Lexer)或语法分析器(Parser)的时候，除了Lexer和Parser这两个词会经常使用外，tokenize和tokenizer也会经常出现，基本上所有涉及到词法解析的源码都会用到tokenize。
在邱仲潘译的《Mastering Java 2》有这儿一段：
StreamTokenizer类根据用户定义的规则，从输入流中提取可识别的子串和标记符号，这个过程称为令牌化 （[i]tokenizing[/i]），因为流简化为了令牌符号。令牌（[i]token[/i]）通常代表关键字、变量名、字符串、直接量和大括号等 语法标点。
