蚊章汇 - 审计
type: channel
link: https://linuxcn.bwsl.wang/tag/%E5%AE%A1%E8%AE%A1/
items: 如何在命令行中整理数据
items: Grafeas：旨在更好地审计容器
items: Auditd - Linux 服务器安全审计工具

如何在命令行中整理数据
type: item
date: 2018-06-25T05:34:47+08:00
description: 命令行审计不会影响数据库，因为它使用从数据库中释放的数据。我兼职做数据审计。把我想象成一个校对者，校对的是数据表格而不是一页一页的文章。这些表是从关系数据库导出的，并且规模相当小：100,000 到 1,000,000条记录，50 到 200 个字段。我从来没有见过没有错误的数据表。如你所能想到的，这种混乱并不局限于重复记录、拼写和格式错误以及放置在错误字段中的数据项。我还发现:损坏的记录分布在几行上，因为数据项具有内嵌的换行符在同一记录中一个字段中的数据项与另一个字段中的数据项不一致使用截断数据项的记录，通常是因为非常长的字符串被硬塞到具有 50 或 100 字符限制的字段中字符编码失败产生称为乱码的垃圾不可见的控制字符，其中一些会导致数据处理错误由上一个程序插入的替换字符#Replacement_character)和神秘的问号，这是由于不知道数据的编码是什么解决这些问题并不困难，但找到它们存在非技术障碍。首先，每个人都不愿处理数据错误。在我看到表格之前，数据所有者或管理人员可能已经经历了 数据悲伤 Data Grief 的所有五个阶段：我们的数据没有错误。好吧，也许有一些错误，但它们并不重要。好的，有很多错误；我们会让我们的内部人员处理它们。我们已经开始修复一些错误，但这很耗时间；我们将在迁移到新的数据库软件时执行此操作。移至新数据库时，我们没有时间整理数据； 我们需要一些帮助。第二个阻碍进展的是相信数据整理需要专用的应用程序——要么是昂贵的专有程序，要么是优秀的开源程序 OpenRefine 。为了解决专用应用程序无法解决的问题，数据管理人员可能会向程序员寻求帮助，比如擅长 Python 或 R 的人。但是数据审计和整理通常不需要专用的应用程序。纯文本数据表已经存在了几十年，文本处理工具也是如此。打开 Bash shell，您将拥有一个工具箱，其中装载了强大的文本处理器，如 grep、cut、paste、sort、uniq、tr 和 awk。它们快速、可靠、易于使用。我在命令行上执行所有的数据审计工作，并且在 “cookbook” 网站上发布了许多数据审计技巧。我经常将操作存储为函数和 shell 脚本（参见下面的示例）。是的，命令行方法要求将要审计的数据从数据库中导出。而且，审计结果需要稍后在数据库中进行编辑，或者（数据库允许）将整理的数据项导入其中，以替换杂乱的数据项。但其优势是显著的。awk 将在普通的台式机或笔记本电脑上以几秒钟的时间处理数百万条记录。不复杂的正则表达式将找到您可以想象的所有数据错误。所有这些都将安全地发生在数据库结构之外：命令行审计不会影响数据库，因为它使用从数据库中释放的数据。受过 Unix 培训的读者此时会沾沾自喜。他们还记得许多年前用这些方法操纵命令行上的数据。从那时起，计算机的处理能力和 RAM 得到了显著提高，标准命令行工具的效率大大提高。数据审计从来没有这么快、这么容易过。现在微软的 Windows 10 可以运行 Bash 和 GNU/Linux 程序了，Windows 用户也可以用 Unix 和 Linux 的座右铭来处理混乱的数据：保持冷静，打开一个终端。例子假设我想在一个大的表中的特定字段中找到最长的数据项。 这不是一个真正的数据审计任务，但它会显示 shell 工具的工作方式。 为了演示目的，我将使用制表符分隔的表 full0 ，它有 1,122,023 条记录（加上一个标题行）和 49 个字段，我会查看 36 号字段。（我得到字段编号的函数在我的网站上有解释）首先，使用 tail 命令从表 full0 移除标题行，结果管道至 cut 命令，截取第 36 个字段，接下来，管道至 awk ，这里有一个初始化为 0 的变量 big ，然后 awk 开始检测第一行数据项的长度，如果长度大于 0 ，awk 将会设置 big 变量为新的长度，同时存储行数到变量 line 中。整个数据项存储在变量 text 中。然后 awk 开始轮流处理剩余的 1,122,022 记录项。同时，如果发现更长的数据项时，更新 3 个变量。最后，它打印出行号、数据项的长度，以及最长数据项的内容。（在下面的代码中，为了清晰起见，将代码分为几行）tail -n +2 full0 \ > | cut -f36 \ > | awk 'BEGIN {big=0} length($0)>big \ > {big=length($0);line=NR;text=$0} \ > END {print "\nline: "line"\nlength: "big"\ntext: "text}' 大约花了多长时间？我的电脑大约用了 4 秒钟（core i5，8GB RAM）；现在我可以将这个长长的命令封装成一个 shell …

Grafeas：旨在更好地审计容器
type: item
date: 2017-10-22T18:26:21+08:00
description: Google 的 Grafeas 为容器的元数据提供了一个从镜像、构建细节到安全漏洞的通用 API。我们运行的软件从来没有比今天更难获得。它分散在本地部署和云服务之间，由不知到有多少的开源组件构建而成，以快速的时间表交付，因此保证安全和质量变成了一个挑战。最终的结果是软件难以审计、推断、安全化和管理。困难的不只是知道 VM 或容器是用什么构建的, 而是由谁来添加、删除或更改的。Grafeas 最初由 Google 设计，旨在使这些问题更容易解决。什么是 Grafeas?Grafeas 是一个定义软件组件的元数据 API 的开源项目。旨在提供一个统一的元数据模式，允许 VM、容器、JAR 文件和其他软件 工件 artifact 描述自己的运行环境以及管理它们的用户。目标是允许像在给定环境中使用的软件一样的审计，以及对该软件所做的更改的审计，并以一致和可靠的方式进行。Grafeas提供两种格式的元数据 API —— 备注和事件： 备注 note 是有关软件工件的某些方面的细节。可以是已知软件漏洞的描述，有关如何构建软件的详细信息（构建器版本、校验和等），部署历史等。 事件 occurrence 是备注的实例，包含了它们创建的地方和方式的细节。例如，已知软件漏洞的详细信息可能会有描述哪个漏洞扫描程序检测到它的情况、何时被检测到的事件信息，以及该漏洞是否被解决。备注和事件都存储在仓库中。每个备注和事件都使用标识符进行跟踪，该标识符区分它并使其唯一。Grafeas 规范包括备注类型的几个基本模式。例如，软件包漏洞模式描述了如何存储 CVE 或漏洞描述的备注信息。现在没有接受新模式类型的正式流程，但是这已经在计划创建这样一个流程。Grafeas 客户端和第三方支持现在，Grafeas 主要作为规范和参考形式存在，它在 GitHub 上提供。 Go、Python 和 Java 的客户端都可以用 Swagger 生成，所以其他语言的客户端也应该不难写出来。Google 计划让 Grafeas 广泛使用的主要方式是通过 Kubernetes。 Kubernetes 的一个名为 Kritis 的策略引擎，可以根据 Grafeas 元数据对容器采取措施。除 Google 之外的几家公司已经宣布计划将 Grafeas 的支持添加到现有产品中。例如，CoreOS 正在考察 Grafeas 如何与 Tectonic 集成，Red Hat 和 IBM 都计划在其容器产品和服务中添加 Grafeas 集成。via: https://www.infoworld.com/article/3230462/security/what-is-grafeas-better-auditing-for-containers.html作者：Serdar Yegulalp 译者：geekpi 校对：wxy本文由 LCTT 原创编译，Linux中国 荣誉推出

Auditd - Linux 服务器安全审计工具
type: item
date: 2015-02-19T00:55:00+08:00
description: 首先，Linux中国祝贺读者 2015羊年春节快乐，万事如意！ 。下面开始这个新年版审计工具的介绍。安全防护是首先要考虑的问题。为了避免别人盗取我们的数据，我们需要时刻关注它。安全防护包括很多东西，审计是其中之一。我们知道Linux系统上有一个叫 auditd 的审计工具。这个工具在大多数Linux操作系统中是默认安装的。那么auditd 是什么？该如何使用呢？下面我们开始介绍。什么是auditd？auditd（或 auditd 守护进程）是Linux审计系统中用户空间的一个组件，其负责将审计记录写入磁盘。安装 auditdUbuntu系统中，我们可以使用 wajig 工具或者 apt-get 工具 安装auditd。按照下面的说明安装auditd，安装完毕后将自动安装以下auditd和相关的工具：auditctl : 即时控制审计守护进程的行为的工具，比如如添加规则等等。/etc/audit/audit.rules : 记录审计规则的文件。aureport : 查看和生成审计报告的工具。ausearch : 查找审计事件的工具auditspd : 转发事件通知给其他应用程序，而不是写入到审计日志文件中。autrace : 一个用于跟踪进程的命令。/etc/audit/auditd.conf : auditd工具的配置文件。首次安装 auditd 后, 审计规则是空的。可以使用以下命令查看：$ sudo auditctl -l 以下我们介绍如何给auditd添加审计规则。如何使用auditdAudit 文件和目录访问审计我们使用审计工具的一个基本的需求是监控文件和目录的更改。使用auditd工具，我们可通过如下命令来配置(注意，以下命令需要root权限)。文件审计$ sudo auditctl -w /etc/passwd -p rwxa 选项 :-w path : 指定要监控的路径，上面的命令指定了监控的文件路径 /etc/passwd-p : 指定触发审计的文件/目录的访问权限rwxa ： 指定的触发条件，r 读取权限，w 写入权限，x 执行权限，a 属性（attr）目录审计使用类似的命令来对目录进行审计，如下：$ sudo auditctl -w /production/ 以上命令将监控对 /production 目录 的所有访问。现在，运行 auditctl -l 命令即可查看所有已配置的规则。下面开始介绍审计日志。查看审计日志添加规则后，我们可以查看 auditd 的日志。使用 ausearch 工具可以查看auditd日志。我们已经添加规则监控 /etc/passwd 文件。现在可以使用 ausearch 工具的以下命令来查看审计日志了。$ sudo ausearch -f /etc/passwd -f 设定ausearch 调出 /etc/passwd文件的审计内容下面是输出 ：time->Mon Dec 22 09:39:16 2014type=PATH msg=audit(1419215956.471:194): item=0 name="/etc/passwd" inode=142512 dev=08:01 mode=0100644 ouid=0 ogid=0 rdev=00:00 nametype=NORMALtype=CWD msg=audit(1419215956.471:194): cwd="/home/pungki"type=SYSCALL msg=audit(1419215956.471:194): arch=40000003 syscall=5 success=yes exit=3 a0=b779694b a1=80000 a2=1b6 a3=b8776aa8 items=1 ppid=2090 pid=2231 auid=4294967295 uid=1000 gid=1000 euid=0 suid=0 fsuid=0 egid=1000 sgid=1000 fsgid=1000 tty=pts0 ses=4294967295 comm="sudo" exe="/usr/bin/sudo" key=(null)下面开始解读输出结果。time : 审计时间。name : 审计对象cwd : 当前路径syscall : 相关的系统调用auid : 审计用户IDuid 和 gid : 访问文件的用户ID和用户组IDcomm : 用户访问文件的命令exe : 上面命令的可执行文件路径以上审计日志显示文件未被改动。以下我们将要添加一个用户，看看auditd如何记录文件 /etc/passwd的改动的。time->Mon Dec 22 11:25:23 2014type=PATH msg=audit(…