早上醒来的时候，我就在想：“为什么我们学习一个新技能这么难？”我不认为那是因为它很难。我认为原因可能在于我们花了太多的时间，而这件难事需要有丰富的阅历和足够的知识，然而我们要把这样的知识转换成技能所用的练习时间又不够。拿游泳来说，你可以花上几天时间来阅读很多有关游泳的书籍，花几个小时和资深的游泳者和教练交流，观看所有可以获得的训练视频，但你第一次跳进水池的时候，仍然会像一个石头那样沉入水中，要点在于：你认为自己有多了解那件事都无关紧要 —— 你得通过练习把知识变成技能。为了帮你练习，我把训练放在了这个系列的 第一部分 和 第二部分 了。当然，你会在今后的文章中看到更多练习，我保证 ：)好，让我们开始今天的学习。到现在为止，你已经知道了怎样解释像 “7 + 3” 或者 “12 - 9” 这样的两个整数相加减的算术表达式。今天我要说的是怎么解析（识别）、解释有多个数字相加减的算术表达式，比如 “7 - 3 + 2 - 1”。文中的这个算术表达式可以用下面的这个语法图表示：什么是 语法图 syntax diagram ？ 语法图 是对一门编程语言中的语法规则进行图像化的表示。基本上，一个语法图就能告诉你哪些语句可以在程序中出现，哪些不能出现。语法图很容易读懂：按照箭头指向的路径。某些路径表示的是判断，有些表示的是循环。你可以按照以下的方式读上面的语法图：一个 term 后面可以是加号或者减号，接着可以是另一个 term，这个 term 后面又可以是一个加号或者减号，后面又是一个 term，如此循环。从字面上你就能读懂这个图片了。或许你会奇怪，“term” 是什么、对于本文来说，“term” 就是个整数。语法图有两个主要的作用：它们用图形的方式表示一个编程语言的特性（语法）。它们可以用来帮你写出解析器 —— 你可以根据下列简单规则把图片转换成代码。你已经知道，识别出记号流中的词组的过程就叫做 解析。解释器或者编译器执行这个任务的部分叫做 解析器。解析也称为 语法分析，并且解析器这个名字很合适，你猜的对，就是 语法分析器。根据上面的语法图，下面这些表达式都是合法的：33 + 47 - 3 + 2 - 1因为算术表达式的语法规则在不同的编程语言里面是很相近的，我们可以用 Python shell 来“测试”语法图。打开 Python shell，运行下面的代码：>>> 3 3 >>> 3 + 4 7 >>> 7 - 3 + 2 - 1 5 意料之中。表达式 “3 + ” 不是一个有效的数学表达式，根据语法图，加号后面必须要有个 term （整数），否则就是语法错误。然后，自己在 Python shell 里面运行：>>> 3 + File "<stdin>", line 1 3 + ^ SyntaxError: invalid syntax 能用 Python shell 来做这样的测试非常棒，让我们把上面的语法图转换成代码，用我们自己的解释器来测试，怎么样？从之前的文章里（第一部分 和 第二部分）你知道 expr 方法包含了我们的解析器和解释器。再说一遍，解析器仅仅识别出结构，确保它与某些特性对应，而解释器实际上是在解析器成功识别（解析）特性之后，就立即对表达式进行评估。以下代码片段显示了对应于图表的解析器代码。语法图里面的矩形方框（term）变成了 term 方法，用于解析整数，expr 方法和语法图的流程一致：def term(self): self.eat(INTEGER) def expr(self): # 把当前标记设为从输入中拿到的第一个标记 self.current_token = self.get_next_token() self.term() while self.current_token.type in (PLUS, MINUS): token = self.current_token if token.type == PLUS: self.eat(PLUS) self.term() elif token.type == MINUS: self.eat(MINUS) self.term() 你能看到 expr 首先调用了 term 方法。然后 expr 方法里面的 while 循环可以执行 0 或多次。在循环里面解析器基于标记做出判断（是加号还是减号）。花一些时间，你就知道，上述代码确实是遵循着语法图的算术表达式流程。解析器并不解释任何东西：如果它识别出了一个表达式，它就静默着，如果没有识别出来，就会抛出一个语法错误。改一下 expr 方法，加入解释器的代码：def term(self): """Return an INTEGER token value""" token = self.current_token self.eat(INTEGER) return token.value def expr(self): """Parser / Interpreter """ # 将输入中的第一个标记设置成当前标记 self.current_token = self.get_next_token() result = self.term() while self.current_token.type in (PLUS, MINUS): token = self.current_token if token.type == PLUS: self.eat(PLUS) result = result + self.term() elif token.type == MINUS: self.eat(MINUS) result = result - self.term() return result 因为解释器需要评估一个表达式， term 方法被改成返回一个整型值，expr 方法被改成在合适的地方执行加法或减法操作，并返回解释的结果。尽管代码很直白，我建议花点时间去理解它。进行下一步，看看完整的解释器代码，好不？这是新版计算器的源代码，它可以处理包含有任意多个加法和减法运算的有效的数学表达式。# 标记类型 # # EOF （end-of-file 文件末尾）标记是用来表示所有输入都解析完成 INTEGER, PLUS, MINUS, EOF = 'INTEGER', 'PLUS', 'MINUS', 'EOF' class Token(object): def __init__(self, type, value): # token 类型: INTEGER, PLUS, MINUS, or EOF self.type = type # token 值: 非负整数值, '+', '-', 或无 self.value = value def __str__(self): """String representation of the class instance. Examples: Token(INTEGER, 3) Token(PLUS, '+') """ return 'Token({type}, {value})'.format( type=self.type, value=repr(self.value) ) def __repr__(self): return self.__str__() class Interpreter(object): def __init__(self, text): # 客户端字符输入， 例如. "3 + 5", "12 - 5", self.text = text # self.pos is an index into self.text self.pos = 0 # 当前标记实例 self.current_token = None self.current_char = self.text[self.pos] ########################################################## # Lexer code # ########################################################## def error(self): raise Exception('Invalid syntax') def advance(self): """Advance the `pos` pointer and set the `current_char` variable.""" self.pos += 1 if self.pos > len(self.text) - 1: self.current_char = None # Indicates end of input else: self.current_char = self.text[self.pos] def skip_whitespace(self): while self.current_char is not None and self.current_char.isspace(): self.advance() def integer(self): """Return a (multidigit) integer consumed from the input.""" result = '' while self.current_char is not None and self.current_char.isdigit(): result += self.current_char self.advance() return int(result) def get_next_token(self): """Lexical analyzer (also known as scanner or tokenizer) This method is responsible for breaking a sentence apart into tokens. One token at a time. """ while self.current_char is not None: if self.current_char.isspace(): self.skip_whitespace() continue if self.current_char.isdigit(): return Token(INTEGER, self.integer()) if self.current_char == '+': self.advance() return Token(PLUS, '+') if self.current_char == '-': self.advance() return Token(MINUS, '-') self.error() return Token(EOF, None) ########################################################## # Parser / Interpreter code # ########################################################## def eat(self, token_type): # 将当前的标记类型与传入的标记类型作比较，如果他们相匹配，就 # “eat” 掉当前的标记并将下一个标记赋给 self.current_token， # 否则抛出一个异常 if self.current_token.type == token_type: self.current_token = self.get_next_token() else: self.error() def term(self): """Return an INTEGER token value.""" token = self.current_token self.eat(INTEGER) return token.value def expr(self): """Arithmetic expression parser / interpreter.""" # 将输入中的第一个标记设置成当前标记 self.current_token = self.get_next_token() result = self.term() while self.current_token.type in (PLUS, MINUS): token = self.current_token if token.type == PLUS: self.eat(PLUS) result = result + self.term() elif token.type == MINUS: self.eat(MINUS) result = result - self.term() return result def main(): while True: try: # To run under Python3 replace 'raw_input' call # 要在 Python3 下运行，请把 ‘raw_input’ 的调用换成 ‘input’ text = raw_input('calc> ') except EOFError: break if not text: continue interpreter = Interpreter(text) result = interpreter.expr() print(result) if __name__ == '__main__': main() 把上面的代码保存到 calc3.py 文件中，或者直接从 GitHub 上下载。试着运行它。看看它能不能处理我之前给你看过的语法图里面派生出的数学表达式。这是我在自己的笔记本上运行的示例：$ python calc3.py calc> 3 3 calc> 7 - 4 3 calc> 10 + 5 15 calc> 7 - 3 + 2 - 1 5 calc> 10 + 1 + 2 - 3 + 4 + 6 - 15 5 calc> 3 + Traceback (most recent call last): File "calc3.py", line 147, in <module> main() File "calc3.py", line 142, in main result = interpreter.expr() File "calc3.py", line 123, in expr result = result + self.term() File "calc3.py", line 110, in term self.eat(INTEGER) File "calc3.py", line 105, in eat self.error() File "calc3.py", line 45, in error raise Exception('Invalid syntax') Exception: Invalid syntax 记得我在文章开始时提过的练习吗：它们在这儿，我保证过的：)画出只包含乘法和除法的数学表达式的语法图，比如 “7 * 4 / 2 * 3”。认真点，拿只钢笔或铅笔，试着画一个。 修改计算器的源代码，解释只包含乘法和除法的数学表达式。比如 “7 * 4 / 2 * 3”。从头写一个可以处理像 “7 - 3 + 2 - 1” 这样的数学表达式的解释器。用你熟悉的编程语言，不看示例代码自己思考着写出代码。做的时候要想一想这里面包含的组件：一个词法分析器，读取输入并转换成标记流，一个解析器，从词法分析器提供的记号流中获取，并且尝试识别流中的结构，一个解释器，在解析器成功解析（识别）有效的数学表达式后产生结果。把这些要点串起来。花一点时间把你获得的知识变成一个可以运行的数学表达式的解释器。检验你的理解：什么是语法图？什么是语法分析？什么是语法分析器？嘿，看！你看完了所有内容。感谢你们坚持到今天，而且没有忘记练习。:) 下次我会带着新的文章回来，尽请期待。via: https://ruslanspivak.com/lsbasi-part3/作者：Ruslan Spivak 译者：BriFuture 校对：wxy本文由 LCTT 原创编译，Linux中国 荣誉推出
在一本叫做 《高效思考的 5 要素》 的书中，作者 Burger 和 Starbird 讲述了一个关于他们如何研究 Tony Plog 的故事，他是一位举世闻名的交响曲名家，为一些有才华的演奏者开创了一个大师班。这些学生一开始演奏复杂的乐曲，他们演奏的非常好。然后他们被要求演奏非常基础简单的乐曲。当他们演奏这些乐曲时，与之前所演奏的相比，听起来非常幼稚。在他们结束演奏后，老师也演奏了同样的乐曲，但是听上去非常娴熟。差别令人震惊。Tony 解释道，精通简单音符可以让人更好的掌握复杂的部分。这个例子很清晰 —— 要成为真正的名家，必须要掌握简单基础的思想。故事中的例子明显不仅仅适用于音乐，而且适用于软件开发。这个故事告诉我们不要忽视繁琐工作中简单基础的概念的重要性，哪怕有时候这让人感觉是一种倒退。尽管熟练掌握一门工具或者框架非常重要，了解它们背后的原理也是极其重要的。正如 Palph Waldo Emerson 所说：“如果你只学习方法，你就会被方法束缚。但如果你知道原理，就可以发明自己的方法。”有鉴于此，让我们再次深入了解解释器和编译器。今天我会向你们展示一个全新的计算器，与 第一部分 相比，它可以做到：处理输入字符串任意位置的空白符识别输入字符串中的多位整数做两个整数之间的减法（目前它仅能加减整数）新版本计算器的源代码在这里，它可以做到上述的所有事情：# 标记类型 # EOF （end-of-file 文件末尾）标记是用来表示所有输入都解析完成 INTEGER, PLUS, MINUS, EOF = 'INTEGER', 'PLUS', 'MINUS', 'EOF' class Token(object): def __init__(self, type, value): # token 类型: INTEGER, PLUS, MINUS, or EOF self.type = type # token 值: 非负整数值, '+', '-', 或无 self.value = value def __str__(self): """String representation of the class instance. Examples: Token(INTEGER, 3) Token(PLUS '+') """ return 'Token({type}, {value})'.format( type=self.type, value=repr(self.value) ) def __repr__(self): return self.__str__() class Interpreter(object): def __init__(self, text): # 客户端字符输入， 例如. "3 + 5", "12 - 5", self.text = text # self.pos 是 self.text 的索引 self.pos = 0 # 当前标记实例 self.current_token = None self.current_char = self.text[self.pos] def error(self): raise Exception('Error parsing input') def advance(self): """Advance the 'pos' pointer and set the 'current_char' variable.""" self.pos += 1 if self.pos > len(self.text) - 1: self.current_char = None # Indicates end of input else: self.current_char = self.text[self.pos] def skip_whitespace(self): while self.current_char is not None and self.current_char.isspace(): self.advance() def integer(self): """Return a (multidigit) integer consumed from the input.""" result = '' while self.current_char is not None and self.current_char.isdigit(): result += self.current_char self.advance() return int(result) def get_next_token(self): """Lexical analyzer (also known as scanner or tokenizer) This method is responsible for breaking a sentence apart into tokens. """ while self.current_char is not None: if self.current_char.isspace(): self.skip_whitespace() continue if self.current_char.isdigit(): return Token(INTEGER, self.integer()) if self.current_char == '+': self.advance() return Token(PLUS, '+') if self.current_char == '-': self.advance() return Token(MINUS, '-') self.error() return Token(EOF, None) def eat(self, token_type): # 将当前的标记类型与传入的标记类型作比较，如果他们相匹配，就 # “eat” 掉当前的标记并将下一个标记赋给 self.current_token， # 否则抛出一个异常 if self.current_token.type == token_type: self.current_token = self.get_next_token() else: self.error() def expr(self): """Parser / Interpreter expr -> INTEGER PLUS INTEGER expr -> INTEGER MINUS INTEGER """ # 将输入中的第一个标记设置成当前标记 self.current_token = self.get_next_token() # 当前标记应该是一个整数 left = self.current_token self.eat(INTEGER) # 当前标记应该是 ‘+’ 或 ‘-’ op = self.current_token if op.type == PLUS: self.eat(PLUS) else: self.eat(MINUS) # 当前标记应该是一个整数 right = self.current_token self.eat(INTEGER) # 在上述函数调用后，self.current_token 就被设为 EOF 标记 # 这时要么是成功地找到 INTEGER PLUS INTEGER，要么是 INTEGER MINUS INTEGER # 序列的标记，并且这个方法可以仅仅返回两个整数的加或减的结果，就能高效解释客户端的输入 if op.type == PLUS: result = left.value + right.value else: result = left.value - right.value return result def main(): while True: try: # To run under Python3 replace 'raw_input' call # with 'input' text = raw_input('calc> ') except EOFError: break if not text: continue interpreter = Interpreter(text) result = interpreter.expr() print(result) if __name__ == '__main__': main() 把上面的代码保存到 calc2.py 文件中，或者直接从 GitHub 上下载。试着运行它。看看它是不是正常工作：它应该能够处理输入中任意位置的空白符；能够接受多位的整数，并且能够对两个整数做减法和加法。这是我在自己的笔记本上运行的示例：$ python calc2.py calc> 27 + 3 30 calc> 27 - 7 20 calc> 与 第一部分 的版本相比，主要的代码改动有：get_next_token 方法重写了很多。增加指针位置的逻辑之前是放在一个单独的方法中。增加了一些方法：skip_whitespace 用于忽略空白字符，integer 用于处理输入字符的多位整数。expr 方法修改成了可以识别 “整数 -> 减号 -> 整数” 词组和 “整数 -> 加号 -> 整数” 词组。在成功识别相应的词组后，这个方法现在可以解释加法和减法。第一部分 中你学到了两个重要的概念，叫做 标记 token 和 词法分析 lexical analyzer 。现在我想谈一谈 词法 lexeme 、 解析 parsing 和 解析器 parser 。你已经知道了标记。但是为了让我详细的讨论标记，我需要谈一谈词法。词法是什么？ 词法 lexeme 是一个 标记 token 中的字符序列。在下图中你可以看到一些关于标记的例子，这可以让它们之间的关系变得清晰：现在还记得我们的朋友，expr 方法吗？我之前说过，这是数学表达式实际被解释的地方。但是你要先识别这个表达式有哪些词组才能解释它，比如它是加法还是减法。expr 方法最重要的工作是：它从 get_next_token 方法中得到流，并找出该标记流的结构，然后解释已经识别出的词组，产生数学表达式的结果。在标记流中找出结构的过程，或者换种说法，识别标记流中的词组的过程就叫 解析 parsing 。解释器或者编译器中执行这个任务的部分就叫做 解析器 parser 。现在你知道 expr 方法就是你的解释器的部分， 解析 parsing 和 解释 interpreting 都在这里发生 —— expr 方法首先尝试识别（解析）标记流里的 “整数 -> 加法 -> 整数” 或者 “整数 -> 减法 -> 整数” 词组，成功识别后 （解析了） 其中一个词组，这个方法就开始解释它，返回两个整数的和或差。又到了练习的时间。扩展这个计算器，让它能够计算两个整数的乘法扩展这个计算器，让它能够计算两个整数的除法修改代码，让它能够解释包含了任意数量的加法和减法的表达式，比如 “9 - 5 + 3 + 11”检验你的理解：词法是什么？找出标记流结构的过程叫什么，或者换种说法，识别标记流中一个词组的过程叫什么？解释器（编译器）执行解析的部分叫什么？希望你喜欢今天的内容。在该系列的下一篇文章里你就能扩展计算器从而处理更多复杂的算术表达式。敬请期待。via: https://ruslanspivak.com/lsbasi-part2/作者：Ruslan Spivak 译者：BriFuture 校对：wxy本文由 LCTT 原创编译，Linux中国 荣誉推出
“如果你不知道编译器是怎么工作的，那你就不知道电脑是怎么工作的。如果你不能百分百确定，那就是不知道它们是如何工作的。” --Steve Yegge就是这样。想一想。你是萌新还是一个资深的软件开发者实际上都无关紧要：如果你不知道 编译器 compiler 和 解释器 interpreter 是怎么工作的，那么你就不知道电脑是怎么工作的。就这么简单。所以，你知道编译器和解释器是怎么工作的吗？我是说，你百分百确定自己知道他们怎么工作吗？如果不知道。或者如果你不知道但你非常想要了解它。不用担心。如果你能坚持跟着这个系列做下去，和我一起构建一个解释器和编译器，最后你将会知道他们是怎么工作的。并且你会变成一个自信满满的快乐的人。至少我希望如此。为什么要学习编译器和解释器？有三点理由。要写出一个解释器或编译器，你需要有很多的专业知识，并能融会贯通。写一个解释器或编译器能帮你加强这些能力，成为一个更厉害的软件开发者。而且，你要学的技能对编写软件非常有用，而不是仅仅局限于解释器或编译器。你确实想要了解电脑是怎么工作的。通常解释器和编译器看上去很魔幻。你或许不习惯这种魔力。你会想去揭开构建解释器和编译器那层神秘的面纱，了解它们的原理，把事情做好。你想要创建自己的编程语言或者特定领域的语言。如果你创建了一个，你还要为它创建一个解释器或者编译器。最近，兴起了对新的编程语言的兴趣。你能看到几乎每天都有一门新的编程语言横空出世：Elixir，Go，Rust，还有很多。好，但什么是解释器和编译器？解释器 和 编译器 的任务是把用高级语言写的源程序翻译成其他的格式。很奇怪，是不是？忍一忍，稍后你会在这个系列学到到底把源程序翻译成什么东西。这时你可能会奇怪解释器和编译器之间有什么区别。为了实现这个系列的目的，我们规定一下，如果有个翻译器把源程序翻译成机器语言，那它就是 编译器。如果一个翻译器可以处理并执行源程序，却不用把它翻译器机器语言，那它就是 解释器。直观上它看起来像这样：我希望你现在确信你很想学习构建一个编译器和解释器。你期望在这个教程里学习解释器的哪些知识呢？你看这样如何。你和我一起为 Pascal 语言的一个大子集做一个简单的解释器。在这个系列结束的时候你能做出一个可以运行的 Pascal 解释器和一个像 Python 的 pdb 那样的源代码级别的调试器。你或许会问，为什么是 Pascal？一方面，它不是我为了这个系列而提出的一个虚构的语言：它是真实存在的一门编程语言，有很多重要的语言结构。有些陈旧但有用的计算机书籍使用 Pascal 编程语言作为示例（我知道对于选择一门语言来构建解释器，这个理由并不令人信服，但我认为学一门非主流的语言也不错 :））。这有个 Pascal 中的阶乘函数示例，你将能用自己的解释器解释代码，还能够用可交互的源码级调试器进行调试，你可以这样创造：program factorial; function factorial(n: integer): longint; begin if n = 0 then factorial := 1 else factorial := n * factorial(n - 1); end; var n: integer; begin for n := 0 to 16 do writeln(n, '! = ', factorial(n)); end. 这个 Pascal 解释器的实现语言会使用 Python，但你也可以用其他任何语言，因为这里展示的思想不依赖任何特殊的实现语言。好，让我们开始干活。准备好了，出发！你会从编写一个简单的算术表达式解析器，也就是常说的计算器，开始学习解释器和编译器。今天的目标非常简单：让你的计算器能处理两个个位数相加，比如 3+5。下面是你的计算器的源代码——不好意思，是解释器：# 标记类型 # # EOF （end-of-file 文件末尾）标记是用来表示所有输入都解析完成 INTEGER, PLUS, EOF = 'INTEGER', 'PLUS', 'EOF' class Token(object): def __init__(self, type, value): # token 类型: INTEGER, PLUS, MINUS, or EOF self.type = type # token 值: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, '+', 或 None self.value = value def __str__(self): """String representation of the class instance. Examples: Token(INTEGER, 3) Token(PLUS '+') """ return 'Token({type}, {value})'.format( type=self.type, value=repr(self.value) ) def __repr__(self): return self.__str__() class Interpreter(object): def __init__(self, text): # 用户输入字符串, 例如 "3+5" self.text = text # self.pos 是 self.text 的索引 self.pos = 0 # 当前标记实例 self.current_token = None def error(self): raise Exception('Error parsing input') def get_next_token(self): """词法分析器（也说成扫描器或者标记器） 该方法负责把一个句子分成若干个标记。每次处理一个标记 """ text = self.text # self.pos 索引到达了 self.text 的末尾吗？ # 如果到了，就返回 EOF 标记，因为没有更多的 # 能转换成标记的输入了 if self.pos > len(text) - 1: return Token(EOF, None) # 从 self.pos 位置获取当前的字符， # 基于单个字符判断要生成哪种标记 current_char = text[self.pos] # 如果字符是一个数字，就把他转换成一个整数，生成一个 INTEGER # 标记，累加 self.pos 索引，指向数字后面的下一个字符， # 并返回 INTEGER 标记 if current_char.isdigit(): token = Token(INTEGER, int(current_char)) self.pos += 1 return token if current_char == '+': token = Token(PLUS, current_char) self.pos += 1 return token self.error() def eat(self, token_type): # 将当前的标记类型与传入的标记类型作比较，如果他们相匹配，就 # “eat” 掉当前的标记并将下一个标记赋给 self.current_token， # 否则抛出一个异常 if self.current_token.type == token_type: self.current_token = self.get_next_token() else: self.error() def expr(self): """expr -> INTEGER PLUS INTEGER""" # 将输入中的第一个标记设置成当前标记 self.current_token = self.get_next_token() # 我们期望当前标记是个位数。 left = self.current_token self.eat(INTEGER) # 期望当前标记是 ‘+’ 号 op = self.current_token self.eat(PLUS) # 我们期望当前标记是个位数。 right = self.current_token self.eat(INTEGER) # 上述操作完成后，self.current_token 被设成 EOF 标记 # 这时成功找到 INTEGER PLUS INTEGER 标记序列 # 这个方法就可以返回两个整数相加的结果了， # 即高效的解释了用户输入 result = left.value + right.value return result def main(): while True: try: # 要在 Python3 下运行，请把 ‘raw_input’ 换成 ‘input’ text = raw_input('calc> ') except EOFError: break if not text: continue interpreter = Interpreter(text) result = interpreter.expr() print(result) if __name__ == '__main__': main() 把上面的代码保存到 calc1.py 文件，或者直接从 GitHub 上下载。在你深入研究代码前，在命令行里面运行它看看效果。试一试！这是我笔记本上的示例会话（如果你想在 Python3 下运行，你要把 raw_input 换成 input）：$ python calc1.py calc> 3+4 7 calc> 3+5 8 calc> 3+9 12 calc> 要让你的简易计算器正常工作，不抛出异常，你的输入要遵守以下几个规则：只允许输入个位数此时支持的唯一一个运算符是加法输入中不允许有任何的空格符号要让计算器变得简单，这些限制非常必要。不用担心，你很快就会让它变得很复杂。好，现在让我们深入它，看看解释器是怎么工作，它是怎么评估出算术表达式的。当你在命令行中输入一个表达式 3+5，解释器就获得了字符串 “3+5”。为了让解释器能够真正理解要用这个字符串做什么，它首先要把输入 “3+5” 分到叫做 token（标记）的容器里。 标记 token 是一个拥有类型和值的对象。比如说，对字符 “3” 而言，标记的类型是 INTEGER 整数，对应的值是 3。把输入字符串分成标记的过程叫 词法分析 lexical analysis 。因此解释器的需要做的第一步是读取输入字符，并将其转换成标记流。解释器中的这一部分叫做 词法分析器 lexical analyzer ，或者简短点叫 lexer。你也可以给它起别的名字，诸如 扫描器 scanner 或者 标记器 tokenizer 。它们指的都是同一个东西：解释器或编译器中将输入字符转换成标记流的那部分。Interpreter 类中的 get_next_token 方法就是词法分析器。每次调用它的时候，你都能从传入解释器的输入字符中获得创建的下一个标记。仔细看看这个方法，看看它是如何完成把字符转换成标记的任务的。输入被存在可变文本中，它保存了输入的字符串和关于该字符串的索引（把字符串想象成字符数组）。pos 开始时设为 0，指向字符 ‘3’。这个方法一开始检查字符是不是数字，如果是，就将 pos 加 1，并返回一个 INTEGER 类型的标记实例，并把字符 ‘3’ 的值设为整数，也就是整数 3：现在 pos 指向文本中的 ‘+’ 号。下次调用这个方法的时候，它会测试 pos 位置的字符是不是个数字，然后检测下一个字符是不是个加号，就是这样。结果这个方法把 pos 加 1，返回一个新创建的标记，类型是 PLUS，值为 ‘+’。pos 现在指向字符 ‘5’。当你再调用 get_next_token 方法时，该方法会检查这是不是个数字，就是这样，然后它把 pos 加 1，返回一个新的 INTEGER 标记，该标记的值被设为整数 5：因为 pos 索引现在到了字符串 “3+5” 的末尾，你每次调用 get_next_token 方法时，它将会返回 EOF 标记：自己试一试，看看计算器里的词法分析器的运行：>>> from calc1 import Interpreter >>> >>> interpreter = Interpreter('3+5') >>> interpreter.get_next_token() Token(INTEGER, 3) >>> >>> interpreter.get_next_token() Token(PLUS, '+') >>> >>> interpreter.get_next_token() Token(INTEGER, 5) >>> >>> interpreter.get_next_token() Token(EOF, None) >>> 既然你的解释器能够从输入字符中获取标记流，解释器需要对它做点什么：它需要在词法分析器 get_next_token 中获取的标记流中找出相应的结构。你的解释器应该能够找到流中的结构：INTEGER -> PLUS -> INTEGER。就是这样，它尝试找出标记的序列：整数后面要跟着加号，加号后面要跟着整数。负责找出并解释结构的方法就是 expr。该方法检验标记序列确实与期望的标记序列是对应的，比如 INTEGER -> PLUS -> INTEGER。成功确认了这个结构后，就会生成加号左右两边的标记的值相加的结果，这样就成功解释你输入到解释器中的算术表达式了。expr 方法用了一个助手方法 eat 来检验传入的标记类型是否与当前的标记类型相匹配。在匹配到传入的标记类型后，eat 方法会获取下一个标记，并将其赋给 current_token 变量，然后高效地 “吃掉” 当前匹配的标记，并将标记流的虚拟指针向后移动。如果标记流的结构与期望的 INTEGER -> PLUS -> INTEGER 标记序列不对应，eat 方法就抛出一个异常。让我们回顾下解释器做了什么来对算术表达式进行评估的：解释器接受输入字符串，比如说 “3+5”解释器调用 expr 方法，在词法分析器 get_next_token 返回的标记流中找出结构。这个结构就是 INTEGER -> PLUS -> INTEGER 这样的格式。在确认了格式后，它就通过把两个整型标记相加来解释输入，因为此时对于解释器来说很清楚，它要做的就是把两个整数 3 和 5 进行相加。恭喜。你刚刚学习了怎么构建自己的第一个解释器！现在是时候做练习了。看了这篇文章，你肯定觉得不够，是吗？好，准备好做这些练习：修改代码，允许输入多位数，比如 “12+3”添加一个方法忽略空格符，让你的计算器能够处理带有空白的输入，比如 “12 + 3”修改代码，用 ‘-’ 号而非 ‘+’ 号去执行减法比如 “7-5”检验你的理解什么是解释器？什么是编译器解释器和编译器有什么差别？什么是标记?将输入分隔成若干个标记的过程叫什么？解释器中进行词法分析的部分叫什么？解释器或编译器中进行词法分析的部分有哪些其他的常见名字？在结束本文前，我衷心希望你能留下学习解释器和编译器的承诺。并且现在就开始做。不要把它留到以后。不要拖延。如果你已经看完了本文，就开始吧。如果已经仔细看完了但是还没做什么练习 —— 现在就开始做吧。如果已经开始做练习了，那就把剩下的做完。你懂得。而且你知道吗？签下承诺书，今天就开始学习解释器和编译器！本人， \_\_\_\_\_\_，身体健全，思想正常，在此承诺从今天开始学习解释器和编译器，直到我百分百了解它们是怎么工作的！签字人:日期:签字，写上日期，把它放在你每天都能看到的地方，确保你能坚守承诺。谨记你的承诺：“承诺就是，你说自己会去做的事，在你说完就一直陪着你的东西。” —— Darren Hardy好，今天的就结束了。这个系列的下一篇文章里，你将会扩展自己的计算器，让它能够处理更复杂的算术表达式。敬请期待。via: https://ruslanspivak.com/lsbasi-part1/作者：Ruslan Spivak 译者：BriFuture 校对：wxy本文由 LCTT 原创编译，Linux中国 荣誉推出