通过两个简单的教程来提高你的 awk 技能
超越单行的 awk 脚本，学习如何做邮件合并和字数统计。awk 是 Unix 和 Linux 用户工具箱中最古老的工具之一。awk 由 Alfred Aho、Peter Weinberger 和 Brian Kernighan（即工具名称中的 A、W 和 K）在 20 世纪 70 年代创建，用于复杂的文本流处理。它是流编辑器 sed 的配套工具，后者是为逐行处理文本文件而设计的。awk 支持更复杂的结构化程序，是一门完整的编程语言。本文将介绍如何使用 awk 完成更多结构化的复杂任务，包括一个简单的邮件合并程序。awk 的程序结构awk 脚本是由 {}（大括号）包围的功能块组成，其中有两个特殊的功能块，BEGIN 和 END，它们在处理第一行输入流之前和最后一行处理之后执行。在这两者之间，块的格式为：模式 { 动作语句 } 当输入缓冲区中的行与模式匹配时，每个块都会执行。如果没有包含模式，则函数块在输入流的每一行都会执行。另外，以下语法可以用于在 awk 中定义可以从任何块中调用的函数。function 函数名(参数列表) { 语句 } 这种模式匹配块和函数的组合允许开发者结构化的 awk 程序，以便重用和提高可读性。awk 如何处理文本流awk 每次从输入文件或流中一行一行地读取文本，并使用字段分隔符将其解析成若干字段。在 awk 的术语中，当前的缓冲区是一个记录。有一些特殊的变量会影响 awk 读取和处理文件的方式：FS（ 字段分隔符 field separator ）。默认情况下，这是任何空格字符（空格或制表符）。RS（ 记录分隔符 record separator ）。默认情况下是一个新行（n）。NF（ 字段数 number of fields ）。当 awk 解析一行时，这个变量被设置为被解析出字段数。$0: 当前记录。$1、$2、$3 等：当前记录的第一、第二、第三等字段。NR（ 记录数 number of records ）。迄今已被 awk 脚本解析的记录数。影响 awk 行为的变量还有很多，但知道这些已经足够开始了。单行 awk 脚本对于一个如此强大的工具来说，有趣的是，awk 的大部分用法都是基本的单行脚本。也许最常见的 awk 程序是打印 CSV 文件、日志文件等输入行中的选定字段。例如，下面的单行脚本从 /etc/passwd 中打印出一个用户名列表：awk -F":" '{print $1 }' /etc/passwd 如上所述，$1 是当前记录中的第一个字段。-F 选项将 FS 变量设置为字符 :。字段分隔符也可以在 BEGIN 函数块中设置：awk 'BEGIN { FS=":" } {print $1 }' /etc/passwd 在下面的例子中，每一个 shell 不是 /sbin/nologin 的用户都可以通过在该块前面加上匹配模式来打印出来：awk 'BEGIN { FS=":" } ! /\/sbin\/nologin/ {print $1 }' /etc/passwd awk 进阶：邮件合并现在你已经掌握了一些基础知识，尝试用一个更具有结构化的例子来深入了解 awk：创建邮件合并。邮件合并使用两个文件，其中一个文件（在本例中称为 email_template.txt）包含了你要发送的电子邮件的模板：From: Program committee <pc@event.org> To: {firstname} {lastname} <{email}> Subject: Your presentation proposal Dear {firstname}, Thank you for your presentation proposal: {title} We are pleased to inform you that your proposal has been successful! We will contact you shortly with further information about the event schedule. Thank you, The Program Committee 而另一个则是一个 CSV 文件（名为 proposals.csv），里面有你要发送邮件的人：firstname,lastname,email,title Harry,Potter,hpotter@hogwarts.edu,"Defeating your nemesis in 3 easy steps" Jack,Reacher,reacher@covert.mil,"Hand-to-hand combat for beginners" Mickey,Mouse,mmouse@disney.com,"Surviving public speaking with a squeaky voice" Santa,Claus,sclaus@northpole.org,"Efficient list-making" 你要读取 CSV 文件，替换第一个文件中的相关字段（跳过第一行），然后把结果写到一个叫 acceptanceN.txt 的文件中，每解析一行就递增文件名中的 N。把 awk 程序写在一个叫 mail_merge.awk 的文件中。在 awk 脚本中的语句用 ; 分隔。第一个任务是设置字段分隔符变量和其他几个脚本需要的变量。你还需要读取并丢弃 CSV 中的第一行，否则会创建一个以 Dear firstname 开头的文件。要做到这一点，请使用特殊函数 getline，并在读取后将记录计数器重置为 0。BEGIN { FS=","; template="email_template.txt"; output="acceptance"; getline; NR=0; } 主要功能非常简单：每处理一行，就为各种字段设置一个变量 —— firstname、lastname、email 和 title。模板文件被逐行读取，并使用函数 sub 将任何出现的特殊字符序列替换为相关变量的值。然后将该行以及所做的任何替换输出到输出文件中。由于每行都要处理模板文件和不同的输出文件，所以在处理下一条记录之前，需要清理和关闭这些文件的文件句柄。{ # 从输入文件中读取关联字段 firstname=$1; lastname=$2; email=$3; title=$4; # 设置输出文件名 outfile=(output NR ".txt"); # 从模板中读取一行，替换特定字段， # 并打印结果到输出文件。 while ( (getline ln < template) > 0 ) { sub(/{firstname}/,firstname,ln); sub(/{lastname}/,lastname,ln); sub(/{email}/,email,ln); sub(/{title}/,title,ln); print(ln) > outfile; } # 关闭模板和输出文件，继续下一条记录 close(outfile); close(template); } 你已经完成了! 在命令行上运行该脚本：awk -f mail_merge.awk proposals.csv 或awk -f mail_merge.awk < proposals.csv 你会在当前目录下发现生成的文本文件。awk 进阶：字频计数awk 中最强大的功能之一是关联数组，在大多数编程语言中，数组条目通常由数字索引，但在 awk 中，数组由一个键字符串进行引用。你可以从上一节的文件 proposals.txt 中存储一个条目。例如，在一个单一的关联数组中，像这样： proposer["firstname"]=$1; proposer["lastname"]=$2; proposer["email"]=$3; proposer["title"]=$4; 这使得文本处理变得非常容易。一个使用了这个概念的简单的程序就是词频计数器。你可以解析一个文件，在每一行中分解出单词（忽略标点符号），对行中的每个单词进行递增计数器，然后输出文本中出现的前 20 个单词。首先，在一个名为 wordcount.awk 的文件中，将字段分隔符设置为包含空格和标点符号的正则表达式：BEGIN { # ignore 1 or more consecutive occurrences of the characters # in the character group below FS="[ .,:;()<>{}@!\"'\t]+"; } 接下来，主循环函数将遍历每个字段，忽略任何空字段（如果行末有标点符号，则会出现这种情况），并递增行中单词数：{ for (i = 1; i <= NF; i++) { if ($i != "") { words[$i]++; } } } 最后，处理完文本后，使用 END 函数打印数组的内容，然后利用 awk 的能力，将输出的内容用管道输入 shell 命令，进行数字排序，并打印出 20 个最常出现的单词。END { sort_head = "sort -k2 -nr | head -n 20"; for (word in words) { printf "%s\t%d\n", word, words[word] | sort_head; } close (sort_head); } 在这篇文章的早期草稿上运行这个脚本，会产生这样的输出：[dneary@dhcp-49-32.bos.redhat.com]$ awk -f wordcount.awk < awk_article.txt the 79 awk 41 a 39 and 33 of 32 in 27 to 26 is 25 line 23 for 23 will 22 file 21 we 16 We 15 with 12 which 12 by 12 this 11 output 11 function 11 下一步是什么？如果你想了解更多关于 awk 编程的知识，我强烈推荐 Dale Dougherty 和 Arnold Robbins 所著的《Sed 和 awk》这本书。awk 编程进阶的关键之一是掌握“扩展正则表达式”。awk 为你可能已经熟悉的 sed 正则表达式语法提供了几个强大的补充。另一个学习 awk 的好资源是 GNU awk 用户指南。它有一个完整的 awk 内置函数库的参考资料，以及很多简单和复杂的 awk 脚本的例子。via: https://opensource.com/article/19/10/advanced-awk作者：Dave Neary 选题：lujun9972 译者：wxy 校对：wxy本文由 LCTT 原创编译，Linux中国 荣誉推出
让大家觉得你一次就能写出完美的代码，并让你的补丁更容易审核和合并。软件开发是混乱的。有很多错误的转折、有需要修复的错别字、有需要修正的错误、有需要稍后纠正的临时和粗陋的代码，还有在以后的开发过程中发现一次又一次的问题。有了版本控制，在创建“完美”的最终产品（即准备提交给上游的补丁）的过程中，你会有一个记录着每一个错误转折和修正的原始记录。就像电影中的花絮一样，它们会让人有点尴尬，有时也会让人觉得好笑。如果你使用版本控制来定期保存你的工作线索，然后当你准备提交审核的东西时，又可以隐藏所有这些私人草稿工作，并只提交一份单一的、完美的补丁，那不是很好吗？git rebase -i，是重写历史记录的完美方法，可以让大家觉得你一次就写出了完美的代码！git rebase 的作用是什么？如果你不熟悉 Git 的复杂性，这里简单介绍一下。在幕后，Git 将项目的不同版本与唯一标识符关联起来，这个标识符由父节点的唯一标识符的哈希以及新版本与其父节点的差异组成。这样就形成了一棵修订树，每个签出项目的人都会得到自己的副本。不同的人可以把项目往不同的方向发展，每个方向都可能从不同的分支点开始。左边是 origin 版本库中的主分支，右边是你个人副本中的私有分支。有两种方法可以将你的工作与原始版本库中的主分支整合起来：一种是使用合并：git merge，另一种是使用变基：git rebase。它们的工作方式非常不同。当你使用 git merge 时，会在主分支（master）上创建一个新的提交，其中包括所有来自原始位置（origin）的修改和所有本地的修改。如果有任何冲突（例如，如果别人修改了你也在修改的文件），则将这些冲突标记出来，并且你有机会在将这个“合并提交”提交到本地版本库之前解决这些冲突。当你将更改推送回父版本库时，所有的本地工作都会以分支的形式出现在 Git 版本库的其他用户面前。但是 git rebase 的工作方式不同。它会回滚你的提交，并从主分支（master）的顶端再次重放这些提交。这导致了两个主要的变化。首先，由于你的提交现在从一个不同的父节点分支出来，它们的哈希值会被重新计算，并且任何克隆了你的版本库的人都可能得到该版本库的一个残破副本。第二，你没有“合并提交”，所以在将更改重放到主分支上时会识别出任何合并冲突，因此，你需要在进行 变基 rebase 之前先修复它们。现在，当你现在推送你的修改时，你的工作不会出现在分支上，并且看起来像是你是在主分支的最新的提交上写入了所有的修改。合并提交（左）保留了历史，而变基（右）重写历史。然而，这两种方式都有一个缺点：在你准备好分享代码之前，每个人都可以看到你在本地处理问题时的所有涂鸦和编辑。这就是 git rebase 的 --interactive（或简写 -i）标志发挥作用的地方。git rebase -i 登场git rebase 的最大优点是它可以重写历史。但是，为什么仅止于假装你从后面的点分支出来呢？有一种更进一步方法可以重写你是如何准备就绪这些代码的：git rebase -i，即交互式的 git rebase。这个功能就是 Git 中的 “魔术时光机” 功能。这个标志允许你在做变基时对修订历史记录进行复杂的修改。你可以隐藏你的错误! 将许多小的修改合并到一个崭新的功能补丁中! 重新排列修改历史记录中的显示顺序！当你运行 git rebase -i 时，你会进入一个编辑器会话，其中列出了所有正在被变基的提交，以及可以对其执行的操作的多个选项。默认的选择是选择（Pick）。Pick：会在你的历史记录中保留该提交。Reword：允许你修改提交信息，可能是修复一个错别字或添加其它注释。Edit：允许你在重放分支的过程中对提交进行修改。Squash：可以将多个提交合并为一个。你可以通过在文件中移动来重新排序提交。当你完成后，只需保存最终结果，变基操作就会执行。在你选择修改提交的每个阶段（无论是用 reword、edit、squash 还是发生冲突时），变基都会停止，并允许你在继续提交之前进行适当的修改。上面这个例子的结果是 “One-liner bug fix” 和 “Integate new header everywhere” 被合并到一个提交中，而 “New header for docs website” 和 “D'oh - typo. Fixed” 合并到另一个提交中。就像变魔术一样，其他提交的工作还在你的分支中，但相关的提交已经从你的历史记录中消失了！这使得使用 git send-email 或者用你新整理好的补丁集在父版本库中创建一个拉取请求，然后来提交一个干净的补丁给上游项目变得很容易。这有很多好处，包括让你的代码更容易审核，更容易接受，也更容易合并。via: https://opensource.com/article/20/4/git-rebase-i作者：Dave Neary 选题：lujun9972 译者：wxy 校对：wxy本文由 LCTT 原创编译，Linux中国 荣誉推出
你可以用 Linux 中的 IP 工具做 3 件有用的事情
如何使用 IP 工具来快速轻松地找到你的 IP 地址、显示路由表等等。ifconfig 命令在 Linux 上被弃用已有十多年的时间了，而 iproute2 项目包含了神奇的工具 ip。许多在线教程资源仍然采用旧的命令行工具，如 ifconfig、route 和 netstat。本教程的目标是分享一些可以使用 ip 工具轻松完成的网络相关的事情。找出你的 IP 地址[dneary@host]$ ip addr show [snip] 44: wlp4s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000 link/ether 5c:e0:c5:c7:f0:f1 brd ff:ff:ff:ff:ff:ff inet 10.16.196.113/23 brd 10.16.197.255 scope global dynamic wlp4s0 valid_lft 74830sec preferred_lft 74830sec inet6 fe80::5ee0:c5ff:fec7:f0f1/64 scope link valid_lft forever preferred_lft forever ip addr show 会告诉你很多关于你的所有网络链接设备的信息。在这里，我的无线以太网卡（wlp4s0）是 IPv4 地址（inet 字段）10.16.196.113/23。 /23 表示 32 位 IP 地址中的 23 位将被该子网中的所有 IP 地址共享。子网中的 IP 地址范围从 10.16.196.0 到 10.16.197.254。子网的广播地址（IP 地址后面的 brd 字段）10.16.197.255 保留给子网上所有主机的广播流量。我们能只使用 ip addr show dev wlp4s0 来显示单个设备的信息。显示你的路由表[dneary@host]$ ip route list default via 10.16.197.254 dev wlp4s0 proto static metric 600 10.16.196.0/23 dev wlp4s0 proto kernel scope link src 10.16.196.113 metric 601 192.168.122.0/24 dev virbr0 proto kernel scope link src 192.168.122.1 linkdown 路由表是本地主机帮助网络流量确定去哪里的方式。它包含一组路标，将流量发送到特定的接口，以及在其旅途中的特定下一个地点。如果你运行任何虚拟机或容器，它们将获得自己的 IP 地址和子网，这可能会使这些路由表非常复杂，但在单个主机中，通常有两条指令。对于本地流量，将其发送到本地以太网上，并且网络交换机将找出（使用称为 ARP 的协议）哪个主机拥有目标 IP 地址，并且要将流量发送到哪里。对于到互联网的流量，将其发送到本地网关节点，它将更好地了解如何到达目的地。在上面的情况中，第一行代表外部流量的外部网关，第二行代表本地流量，第三行代表主机上运行的虚拟机的虚拟网桥，但该链接当前未激活。监视你的网络配置[dneary@host]$ ip monitor all [dneary@host]$ ip -s link list wlp4s0 ip monitor 命令可用于监视路由表（网络接口上的网络寻址）的更改或本地主机上 ARP 表的更改。此命令在调试与容器和网络相关的网络问题时特别有用，如当两个虚拟机应该能彼此通信，但实际不能。在使用 all 时，ip monitor 会报告所有的更改，前缀以 [LINK]（网络接口更改）、[ROUTE]（更改路由表）、[ADDR]（IP 地址更改）或 [NEIGH]（与马无关 —— 与邻居的 ARP 地址相关的变化）。你还可以监视特定对象上的更改（例如，特定的路由表或 IP 地址）。另一个适用于许多命令的有用选项是 ip -s，它提供了一些统计信息。添加第二个 -s 选项可以添加更多统计信息。上面的 ip -s link list wlp4s0 会给出很多关于接收和发送的数据包的信息、丢弃的数据包数量、检测到的错误等等。提示：缩短你的命令一般来说，对于 ip 工具，你只需要包含足够的字母来唯一标识你想要做的事情。你可以使用 ip mon 来代替 ip monitor。你可以使用 ip a l，而不是 ip addr list，并且可以使用 ip r来代替 ip route。ip link list 可以缩写为 ip l ls。要了解可用于更改命令行为的许多选项，请浏览 ip 手册页。via: https://opensource.com/article/18/5/useful-things-you-can-do-with-IP-tool-Linux作者：Dave Neary 选题：lujun9972 译者：geekpi 校对：wxy本文由 LCTT 原创编译，Linux中国 荣誉推出
一些能让你自定义 Bash 提示符的黑科技当你在 Linux 环境下打开一个 Shell 终端时，会看到命令行中出现了类似下面的一个 Bash 提示符：[user@$host ~]$ 你知道命令行提示符其实是可以自己设置添加许多非常有用的信息的吗？在这篇文章中我就会教你如何自定义自己的 Bash 命令行提示符，想看的话就接着看吧~如何设置 Bash 提示符Bash 提示符是通过环境变量 PS1 （ 提示符字符串 1 Prompt String 1 ） 来设置的，它用于交互式 shell 提示符。当然如果你需要更多的输入才能完成一个 Bash 命令时，PS2 环境变量就是用来设置多行提示符的：[dneary@dhcp-41-137 ~]$ export PS1="[Linux Rulez]$ " [Linux Rulez] export PS2="... " [Linux Rulez] if true; then ... echo "Success!" ... fi Success! 在哪里设置 PS1 的值？PS1 就是一个普通的环境变量，系统默认值设置在 /etc/bashrc 中，在我的系统中，默认提示符通过以下命令来设置的：[ "$PS1" = "\\s-\\v\\\$ " ] && PS1="[\u@\h \W]\\$ " 它判断 PS1 是否是系统的默认值 \s-\v$ ，如果是的话则将值设置为 [\u@\h \W]\$。（LCTT 译注：注意命令中用 \ 做了转义。）但如果你想要自定义提示符，不应该修改 /etc/bashrc ，而是应该在你的主目录下将自定义命令加到 .bashrc 文件中。上面提到的 \u、\h、\W、\s 和 \v 是什么意思？在 man bash 中的 PROMPTING 章节中，你能够找到所有 PS1 和 PS2 相关的特殊字符的描述，以下是一些比较常用的：\u：用户名\h：短主机名\W：当前你所在的目录的名称（basename），~ 表示你的主目录\s：Shell 名字（bash 或者 sh，取决于你的 Shell 的名字是什么）\v：Shell 的版本号还有哪些特殊的字符串可以用在提示符当中除了上面这些，还有很多有用的字符串可以用在提示符当中：\d：将日期扩展成 “Tue Jun 27” 这种格式\D{fmt}：允许自定义日期格式——可通过 man strftime 来获得更多信息\D{%c}：获得本地化的日期和时间\n：换行（参考下面的多行提示符）\w：显示当前工作目录的完整路径\H：当前工作机器的完整主机名除了以上这些，你还可以在 Bash 的 man 页面的 PROMPTING 部分找到更多的特殊字符和它的用处。多行提示符如果你的提示符过长（比如说你想包括 \H 、\w 或完整的日期时间时 ），想将提示符切成两行，可以使用 \n 将提示符切断成两行显示，比如下面的多行的例子会在第一行显示日期、时间和当前工作目录，第二行显示用户名和主机名：PS1="\D{%c} \w\n[\u@\H]$ " 还能再好玩点吗？人们偶尔也想将提示符变成彩色的。虽然我觉得彩色提示符让人分心、易怒，但是也许你很喜欢。如果我们想将日期变成红色的，目录变成青蓝色，用户名搞一个黄色背景，你可以这样做：PS1="\[\e[31m\]\D{%c}\[\e[0m\] \[\e[36m\]\w\[\e[0m\]\n[\[\e[1;43m\]\u\[\e[0m\]@\H]$ " \[..\] ：表示一些非打印字符\e[.. ：转义字符，后面的跟着的特定的转义字符串在终端中表示颜色或者其他意思31m ：表示红色字体（41m 表示是红色背景）36m ：表示是青蓝色字体1;43m ：表示黄色字体（1;33m 表示黄色字体）\[\e[0m]\] ：它在最后将颜色恢复成系统终端默认颜色你可以在 Bash prompt HOWTO 这里找到更多的颜色代码，甚至可以让字符反相和闪烁！我不知道为什么地球人会有这种想法，但是你可以这么干！所以你最喜欢的自定义提示符是什么样子的呢？有没有让你抓狂的自定义提示符呢？请在评论里告诉我吧~（照片来源：ajmexico. 修改自 Jason Baker. CC BY-SA 2.0.）作者简介：Dave Neary - Dave Neary 是红帽开源和标准化团队成员，帮助开源项目对红帽的成功至关重要。自从在 1999 年为 GIMP 提交了第一个补丁以来，他一直带着各种不同的帽子，在开源的世界徜徉。via: https://opensource.com/article/17/7/bash-prompt-tips-and-tricks作者：Dave Neary 译者：吴霄/toyijiu 校对：wxy本文由 LCTT 原创编译，Linux中国 荣誉推出