命令行审计不会影响数据库，因为它使用从数据库中释放的数据。我兼职做数据审计。把我想象成一个校对者，校对的是数据表格而不是一页一页的文章。这些表是从关系数据库导出的，并且规模相当小：100,000 到 1,000,000条记录，50 到 200 个字段。我从来没有见过没有错误的数据表。如你所能想到的，这种混乱并不局限于重复记录、拼写和格式错误以及放置在错误字段中的数据项。我还发现:损坏的记录分布在几行上，因为数据项具有内嵌的换行符在同一记录中一个字段中的数据项与另一个字段中的数据项不一致使用截断数据项的记录，通常是因为非常长的字符串被硬塞到具有 50 或 100 字符限制的字段中字符编码失败产生称为乱码的垃圾不可见的控制字符，其中一些会导致数据处理错误由上一个程序插入的替换字符#Replacement_character)和神秘的问号，这是由于不知道数据的编码是什么解决这些问题并不困难，但找到它们存在非技术障碍。首先，每个人都不愿处理数据错误。在我看到表格之前，数据所有者或管理人员可能已经经历了 数据悲伤 Data Grief 的所有五个阶段：我们的数据没有错误。好吧，也许有一些错误，但它们并不重要。好的，有很多错误；我们会让我们的内部人员处理它们。我们已经开始修复一些错误，但这很耗时间；我们将在迁移到新的数据库软件时执行此操作。移至新数据库时，我们没有时间整理数据； 我们需要一些帮助。第二个阻碍进展的是相信数据整理需要专用的应用程序——要么是昂贵的专有程序，要么是优秀的开源程序 OpenRefine 。为了解决专用应用程序无法解决的问题，数据管理人员可能会向程序员寻求帮助，比如擅长 Python 或 R 的人。但是数据审计和整理通常不需要专用的应用程序。纯文本数据表已经存在了几十年，文本处理工具也是如此。打开 Bash shell，您将拥有一个工具箱，其中装载了强大的文本处理器，如 grep、cut、paste、sort、uniq、tr 和 awk。它们快速、可靠、易于使用。我在命令行上执行所有的数据审计工作，并且在 “cookbook” 网站上发布了许多数据审计技巧。我经常将操作存储为函数和 shell 脚本（参见下面的示例）。是的，命令行方法要求将要审计的数据从数据库中导出。而且，审计结果需要稍后在数据库中进行编辑，或者（数据库允许）将整理的数据项导入其中，以替换杂乱的数据项。但其优势是显著的。awk 将在普通的台式机或笔记本电脑上以几秒钟的时间处理数百万条记录。不复杂的正则表达式将找到您可以想象的所有数据错误。所有这些都将安全地发生在数据库结构之外：命令行审计不会影响数据库，因为它使用从数据库中释放的数据。受过 Unix 培训的读者此时会沾沾自喜。他们还记得许多年前用这些方法操纵命令行上的数据。从那时起，计算机的处理能力和 RAM 得到了显著提高，标准命令行工具的效率大大提高。数据审计从来没有这么快、这么容易过。现在微软的 Windows 10 可以运行 Bash 和 GNU/Linux 程序了，Windows 用户也可以用 Unix 和 Linux 的座右铭来处理混乱的数据：保持冷静，打开一个终端。例子假设我想在一个大的表中的特定字段中找到最长的数据项。 这不是一个真正的数据审计任务，但它会显示 shell 工具的工作方式。 为了演示目的，我将使用制表符分隔的表 full0 ，它有 1,122,023 条记录（加上一个标题行）和 49 个字段，我会查看 36 号字段。（我得到字段编号的函数在我的网站上有解释）首先，使用 tail 命令从表 full0 移除标题行，结果管道至 cut 命令，截取第 36 个字段，接下来，管道至 awk ，这里有一个初始化为 0 的变量 big ，然后 awk 开始检测第一行数据项的长度，如果长度大于 0 ，awk 将会设置 big 变量为新的长度，同时存储行数到变量 line 中。整个数据项存储在变量 text 中。然后 awk 开始轮流处理剩余的 1,122,022 记录项。同时，如果发现更长的数据项时，更新 3 个变量。最后，它打印出行号、数据项的长度，以及最长数据项的内容。（在下面的代码中，为了清晰起见，将代码分为几行）tail -n +2 full0 \ > | cut -f36 \ > | awk 'BEGIN {big=0} length($0)>big \ > {big=length($0);line=NR;text=$0} \ > END {print "\nline: "line"\nlength: "big"\ntext: "text}' 大约花了多长时间？我的电脑大约用了 4 秒钟（core i5，8GB RAM）；现在我可以将这个长长的命令封装成一个 shell 函数，longest，它把第一个参数认为是文件名，第二个参数认为是字段号：现在，我可以以函数的方式重新运行这个命令，在另一个文件中的另一个字段中找最长的数据项，而不需要去记忆这个命令是如何写的：最后调整一下，我还可以输出我要查询字段的名称，我只需要使用 head 命令抽取表格第一行的标题行，然后将结果管道至 tr 命令，将制表位转换为换行，然后将结果管道至 tail 和 head 命令，打印出第二个参数在列表中名称，第二个参数就是字段号。字段的名字就存储到变量 field 中，然后将它传向 awk ，通过变量 fld 打印出来。（LCTT 译注：按照下面的代码，编号的方式应该是从右向左）longest() { field=$(head -n 1 "$1" | tr '\t' '\n' | tail -n +"$2" | head -n 1); \ tail -n +2 "$1" \ | cut -f"$2" | \ awk -v fld="$field" 'BEGIN {big=0} length($0)>big \ {big=length($0);line=NR;text=$0} END {print "\nfield: "fld"\nline: "line"\nlength: "big"\ntext: "text}'; } 注意，如果我在多个不同的字段中查找最长的数据项，我所要做的就是按向上箭头来获得最后一个最长的命令，然后删除字段号并输入一个新的。via: https://opensource.com/article/18/5/command-line-data-auditing作者：Bob Mesibov 选题：lujun9972 译者：amwps290 校对：wxy本文由 LCTT 原创编译，Linux中国 荣誉推出
Google 的 Grafeas 为容器的元数据提供了一个从镜像、构建细节到安全漏洞的通用 API。我们运行的软件从来没有比今天更难获得。它分散在本地部署和云服务之间，由不知到有多少的开源组件构建而成，以快速的时间表交付，因此保证安全和质量变成了一个挑战。最终的结果是软件难以审计、推断、安全化和管理。困难的不只是知道 VM 或容器是用什么构建的, 而是由谁来添加、删除或更改的。Grafeas 最初由 Google 设计，旨在使这些问题更容易解决。什么是 Grafeas?Grafeas 是一个定义软件组件的元数据 API 的开源项目。旨在提供一个统一的元数据模式，允许 VM、容器、JAR 文件和其他软件 工件 artifact 描述自己的运行环境以及管理它们的用户。目标是允许像在给定环境中使用的软件一样的审计，以及对该软件所做的更改的审计，并以一致和可靠的方式进行。Grafeas提供两种格式的元数据 API —— 备注和事件： 备注 note 是有关软件工件的某些方面的细节。可以是已知软件漏洞的描述，有关如何构建软件的详细信息（构建器版本、校验和等），部署历史等。 事件 occurrence 是备注的实例，包含了它们创建的地方和方式的细节。例如，已知软件漏洞的详细信息可能会有描述哪个漏洞扫描程序检测到它的情况、何时被检测到的事件信息，以及该漏洞是否被解决。备注和事件都存储在仓库中。每个备注和事件都使用标识符进行跟踪，该标识符区分它并使其唯一。Grafeas 规范包括备注类型的几个基本模式。例如，软件包漏洞模式描述了如何存储 CVE 或漏洞描述的备注信息。现在没有接受新模式类型的正式流程，但是这已经在计划创建这样一个流程。Grafeas 客户端和第三方支持现在，Grafeas 主要作为规范和参考形式存在，它在 GitHub 上提供。 Go、Python 和 Java 的客户端都可以用 Swagger 生成，所以其他语言的客户端也应该不难写出来。Google 计划让 Grafeas 广泛使用的主要方式是通过 Kubernetes。 Kubernetes 的一个名为 Kritis 的策略引擎，可以根据 Grafeas 元数据对容器采取措施。除 Google 之外的几家公司已经宣布计划将 Grafeas 的支持添加到现有产品中。例如，CoreOS 正在考察 Grafeas 如何与 Tectonic 集成，Red Hat 和 IBM 都计划在其容器产品和服务中添加 Grafeas 集成。via: https://www.infoworld.com/article/3230462/security/what-is-grafeas-better-auditing-for-containers.html作者：Serdar Yegulalp 译者：geekpi 校对：wxy本文由 LCTT 原创编译，Linux中国 荣誉推出
首先，Linux中国祝贺读者 2015羊年春节快乐，万事如意！ 。下面开始这个新年版审计工具的介绍。安全防护是首先要考虑的问题。为了避免别人盗取我们的数据，我们需要时刻关注它。安全防护包括很多东西，审计是其中之一。我们知道Linux系统上有一个叫 auditd 的审计工具。这个工具在大多数Linux操作系统中是默认安装的。那么auditd 是什么？该如何使用呢？下面我们开始介绍。什么是auditd？auditd（或 auditd 守护进程）是Linux审计系统中用户空间的一个组件，其负责将审计记录写入磁盘。安装 auditdUbuntu系统中，我们可以使用 wajig 工具或者 apt-get 工具 安装auditd。按照下面的说明安装auditd，安装完毕后将自动安装以下auditd和相关的工具：auditctl : 即时控制审计守护进程的行为的工具，比如如添加规则等等。/etc/audit/audit.rules : 记录审计规则的文件。aureport : 查看和生成审计报告的工具。ausearch : 查找审计事件的工具auditspd : 转发事件通知给其他应用程序，而不是写入到审计日志文件中。autrace : 一个用于跟踪进程的命令。/etc/audit/auditd.conf : auditd工具的配置文件。首次安装 auditd 后, 审计规则是空的。可以使用以下命令查看：$ sudo auditctl -l 以下我们介绍如何给auditd添加审计规则。如何使用auditdAudit 文件和目录访问审计我们使用审计工具的一个基本的需求是监控文件和目录的更改。使用auditd工具，我们可通过如下命令来配置(注意，以下命令需要root权限)。文件审计$ sudo auditctl -w /etc/passwd -p rwxa 选项 :-w path : 指定要监控的路径，上面的命令指定了监控的文件路径 /etc/passwd-p : 指定触发审计的文件/目录的访问权限rwxa ： 指定的触发条件，r 读取权限，w 写入权限，x 执行权限，a 属性（attr）目录审计使用类似的命令来对目录进行审计，如下：$ sudo auditctl -w /production/ 以上命令将监控对 /production 目录 的所有访问。现在，运行 auditctl -l 命令即可查看所有已配置的规则。下面开始介绍审计日志。查看审计日志添加规则后，我们可以查看 auditd 的日志。使用 ausearch 工具可以查看auditd日志。我们已经添加规则监控 /etc/passwd 文件。现在可以使用 ausearch 工具的以下命令来查看审计日志了。$ sudo ausearch -f /etc/passwd -f 设定ausearch 调出 /etc/passwd文件的审计内容下面是输出 ：time->Mon Dec 22 09:39:16 2014type=PATH msg=audit(1419215956.471:194): item=0 name="/etc/passwd" inode=142512 dev=08:01 mode=0100644 ouid=0 ogid=0 rdev=00:00 nametype=NORMALtype=CWD msg=audit(1419215956.471:194): cwd="/home/pungki"type=SYSCALL msg=audit(1419215956.471:194): arch=40000003 syscall=5 success=yes exit=3 a0=b779694b a1=80000 a2=1b6 a3=b8776aa8 items=1 ppid=2090 pid=2231 auid=4294967295 uid=1000 gid=1000 euid=0 suid=0 fsuid=0 egid=1000 sgid=1000 fsgid=1000 tty=pts0 ses=4294967295 comm="sudo" exe="/usr/bin/sudo" key=(null)下面开始解读输出结果。time : 审计时间。name : 审计对象cwd : 当前路径syscall : 相关的系统调用auid : 审计用户IDuid 和 gid : 访问文件的用户ID和用户组IDcomm : 用户访问文件的命令exe : 上面命令的可执行文件路径以上审计日志显示文件未被改动。以下我们将要添加一个用户，看看auditd如何记录文件 /etc/passwd的改动的。time->Mon Dec 22 11:25:23 2014type=PATH msg=audit(1419222323.628:510): item=1 name="/etc/passwd.lock" inode=143992 dev=08:01 mode=0100600 ouid=0 ogid=0 rdev=00:00 nametype=DELETEtype=PATH msg=audit(1419222323.628:510): item=0 name="/etc/" inode=131073 dev=08:01 mode=040755 ouid=0 ogid=0 rdev=00:00 nametype=PARENTtype=CWD msg=audit(1419222323.628:510): cwd="/root"type=SYSCALL msg=audit(1419222323.628:510): arch=40000003 syscall=10 success=yes exit=0 a0=bfc0ceec a1=0 a2=bfc0ceec a3=897764c items=2 ppid=2978 pid=2994 auid=4294967295 uid=0 gid=0 euid=0 suid=0 fsuid=0 egid=0 sgid=0 fsgid=0 tty=pts0 ses=4294967295 comm="chfn" exe="/usr/bin/chfn" key=(null)我们可以看到，在指定的时间，/etc/passwd ** 被root用户(uid =0, gid=0)在/root目录下修改。/etc/passwd 文件是使用/usr/bin/chfn** 访问的。键入 man chfn 可以查看有关chfn更多的信息。下面我们看另外一个例子。我们已经配置auditd去监控目录 /production/ 了。这是个新目录。所以我们用ausearch去查看日志的时候会发现什么都没有。下一步，使用root账户的ls命令列出 /production/ 下的文件信息。再次使用ausearch后，将会显示一些信息。time->Mon Dec 22 14:18:28 2014 type=PATH msg=audit(1419232708.344:527): item=0 name="/production/" inode=797104 dev=08:01 mode=040755 ouid=0 ogid=0 rdev=00:00 nametype=NORMAL type=CWD msg=audit(1419232708.344:527): cwd="/root" type=SYSCALL msg=audit(1419232708.344:527): arch=40000003 syscall=295 success=yes exit=3 a0=ffffff9c a1=95761e8 a2=98800 a3=0 items=1 ppid=3033 pid=3444 auid=4294967295 uid=0 gid=0 euid=0 suid=0 fsuid=0 egid=0 sgid=0 fsgid=0 tty=pts0 ses=4294967295 comm="ls" exe="/bin/ls" key=(null)和上一个一样，可以得出root账户使用ls命令访问了/production/目录，ls命令的文件目录是 /bin/ls查看审计报告一旦定义审计规则后，它会自动运行。过一段时间后，我们可以看看auditd是如何帮我们跟踪审计的。Auditd提供了另一个工具叫 aureport 。从名字上可以猜到， aureport 是使用系统审计日志生成简要报告的工具。我们已经配置auditd去跟踪/etc/passwd文件。auditd参数设置后一段时间后，audit.log 文件就创建出来了。生成审计报告，我们可以使用aureport工具。不带参数运行的话，可以生成审计活动的概述。$ sudo aureport 如上，报告包含了大多数重要区域的信息。上图可以看出有 3 次授权失败。 使用aureport，我们可以深入查看这些信息。使用以下命令查看授权失败的详细信息：$ sudo aureport -au 从上图可以看出，由两个用户在特定的时间授权失败。如果我们想看所有账户修改相关的事件，可以使用-m参数。$ sudo aureport -m Auditd 配置文件我们已经添加如下规则：$ sudo auditctl -w /etc/passwd -p rwxa$ sudo auditctl -w /production/现在，如果确信这些规则可以正常工作，我们可以将其添加到/etc/audit/audit.rules中使得规则永久有效。以下介绍如何将他们添加到/etc/audit/audit.rules中去。最后，别忘了重启auditd守护程序# /etc/init.d/auditd restart 或# service auditd restart 总结Auditd是Linux上的一个审计工具。你可以阅读auidtd文档获取更多使用auditd和工具的细节。例如，输入 man auditd 去看auditd的详细说明，或者键入 man ausearch 去看有关 ausearch 工具的详细说明。请谨慎创建规则。太多规则会使得日志文件急剧增大！via: http://linoxide.com/how-tos/auditd-tool-security-auditing/作者：Pungki Arianto 译者：shipsw 校对：wxy本文由 LCTT 原创翻译，Linux中国 荣誉推出