蚊章汇 - 数据
type: channel
link: https://linuxcn.bwsl.wang/tag/%E6%95%B0%E6%8D%AE/
items: 硬核观察 #587 苹果准备推出硬件订阅方案
items: 4 个用来擦除数据的 Linux 工具
items: 如何使用 Apache 软件处理实时数据
items: 用这个开源工具让你的数据对老板友好起来
items: 13 个开源备份解决方案
items: Textricator：让数据提取变得简单
items: 如何在使用网吧或公用计算机时保持数据安全
items: Linux系统中使用 DD 命令测试 USB 和 SSD 硬盘的读写速度
items: 安装Ubuntu前三件重要的事情

硬核观察 #587 苹果准备推出硬件订阅方案
type: item
date: 2022-03-27T02:51:00+08:00
description: 苹果准备推出硬件订阅方案类似数字订阅服务，苹果准备推出 硬件订阅方案，硬件订阅与分期付款不同，消费者将允许在新产品推出之后更换到新产品。苹果通常每年更新一次产品线。硬件订阅有可能在 2022 年底或 2023 年推出，但也可能会被取消。这有助于产生更多收入，让消费者更容易采用新设备。iPhone 是苹果最大的收入来源，去年销售收入 1920 亿美元，占总收入的一半以上。老王点评：我觉得和苹果已有的换机计划差不多，也许以后会成为流行模式，但是目前看起来不大会得到接受。DDoS 攻击的规模和复杂性都在增加根据一份新报告，到去年最后一个季度，记录的平均攻击规模超过 21Gbps，是 2020 年初水平的 4 倍多。去年一年还多次打破有史以来最大的攻击记录，其中一次网络攻击的量级为 1.4Tbps，比前一年的纪录大五倍以上。带宽攻击占所有监测到的攻击的 59%，比前一年的 66% 略有下降。金融业是 2021 年最受 DDoS 攻击的行业，占总量的四分之一以上。它和电信、教育分别名列前三，而 2020 年最受攻击的技术行业已经下降到了第四。老王点评：随着互联网的发展，DDoS 规模一直在不断升级，而业界也并没有能根本解决它的方法。美国和欧盟就数据隐私达成初步协议美国和欧盟达成了一项 初步协议，允许将欧洲人的数据储存在美国本土，从而避免对数千家公司的跨大西洋业务造成日益严重的威胁。它也缓解了包括 Meta 和谷歌等公司的担忧，这些公司在数据传输方面面临着越来越多的法律挑战，而数据传输是它们在欧洲的一些业务的基础。之前，我们报道过有欧洲公司因使用 谷歌字体 和 谷歌分析 而被法院裁决向用户赔付。如果达成了这项协议，就能解决这种问题。老王点评：虽然欧盟和美国向来穿一条裤子，不过这个协议也没那么好达成。

4 个用来擦除数据的 Linux 工具
type: item
date: 2021-10-23T19:39:27+08:00
description: 用这些开源工具从你的硬盘驱动器中擦除数据。保持数据安全的最好方法之一是只向加密的硬盘驱动器写入数据。在一个标准的硬盘上，只要把硬盘挂载就可以查看数据，就像 U 盘一样，甚至可以用 Scalpel 和 Testdisk 等工具显示和恢复已删除的数据。但是在一个加密的驱动器上，如果没有解密密钥（通常是你在挂载驱动器时输入的密码），数据是无法被读取的。加密可以在你安装操作系统时建立，有些操作系统甚至可以在安装后的任何时候激活加密功能。但是，当你卖掉一台电脑或更换一个一开始就没有被加密的驱动器时，你该怎么办呢？与从一开始就加密你的数据相比，最好的办法是在你用完硬盘后删除数据。负责任的看管者我经常被要求帮助客户升级一台旧电脑。无一例外，他们更愿意帮助我回收它们，使它们能被别人使用。我很乐意翻新这些旧电脑，用较新的固态驱动器来改装它们，极大地提高性能。然而，把一个旧驱动器扔进垃圾桶并不是一个好主意。它需要被擦除，然后被妥善处理。我没有把硬盘留在原来的电脑里，而是把它们取出来，放在一个硬盘盒里，然后把它们连接到我的 Linux 电脑上。有几个 Linux 工具可以很容易地完成这个任务。其中一个是 Gnu Shred。GNU Shred$ sudo shred -vfz /dev/sdX Shred 有许多选项：-n - 覆盖的次数。默认是三次。-u - 覆盖并删除。-s - 要粉碎的字节数。-v - 显示扩展信息。-f - 必要时强制改变权限以允许写入。-z - 最后用 0 覆盖来隐藏粉碎。使用 shred --help 获取更多信息ShredOSShredOS 是一个 即用 Live Linux 发行版，它的唯一目的是清除驱动器的全部内容。它是在一个名为 DBAN 的类似发行版停止维护后开发的。它使用 nwipe 应用，它是 DBAN 的 dwipe 的一个分叉。你可以通过下载 32 位或 64 位镜像，并在 Linux 和 macOS 上使用 dd 命令将其写入驱动器来制作一个可启动的 USB 驱动器：$ sudo dd if=shredos.img of=/dev/sdX bs=4M status=progress 另外，你可以在 Linux、macOS 和 Windows 上使用 Etcher 工具烧录。dd 命令清除驱动器的一个常见方法是使用 Linux 的 dd 命令。几乎所有的 Linux 安装都安装了 dd 工具。确保该驱动器没有被挂载。$ sudo umount /dev/sdXY -l 如果你想在整个目标磁盘上写零，执行以下命令。这可能需要一个整个通宵。$ sudo dd if=/dev/urandom of=/dev/sdX bs=10M 警告：请确保你知道你在系统中的位置，并以正确的驱动器为目标，这样你就不会意外地删除自己的数据。Nvme-cli如果你的计算机包含一个较新的 NVMe 驱动器，你可以安装 nvme-cli 程序，并使用 sanitize 选项来清除你的驱动器。nvme sanitize help 命令提供了选项列表：--no-dealloc、-d - 净化后不解除分配。--oipbp、-i - 每次覆写后反转模式。--owpass=、-n - 覆写次数。--ause、-u - 允许无限制净化退出。--sanact=、-a - 净化动作。--ovrpat=、-p - 覆写模式。下面是我使用的命令：$ sudo nvme sanitize /dev/nvme0nX 这里的警告与格式化过程相同：首先备份重要的数据，因为这个命令会擦除这些数据！信息管理你保存在计算机上的信息是很重要的。它属于你，也属于其他任何人。当你卖掉一台电脑或处理一个硬盘时，确保你已经用这些很棒的工具之一清除了你的数据。via: https://opensource.com/article/21/10/linux-tools-erase-data作者：Don Watkins 选题：lujun9972 译者：geekpi 校对：wxy本文由 LCTT 原创编译，Linux中国 荣誉推出

如何使用 Apache 软件处理实时数据
type: item
date: 2021-10-17T18:56:45+08:00
description: 开源以丰富的项目画布引领着处理实时事件的方向。在“永不下线”的未来，入网设备规模可能会达到数十亿。存储原始数据，日后再进行分析的方案将不再能满足需求，因为用户需要实时且准确的响应。要对故障等对环境敏感的状况进行预测，实时处理数据也必不可少 —— 数据到达数据库后再处理肯定是来不及的。有人可能会说，“云可扩展性”能够满足实时处理流数据的需求，但一些简单的例子就能表明它永远无法满足对无界数据流进行实时响应的需求。从移动设备到物联网，都需要一种新的范式来满足需求。尽管云计算依赖于对大数据“先存储后分析”的方案，但也迫切需要一种能够处理持续、杂乱和海量数据流的软件框架，并在数据流到达时立即对其进行处理，以保证实时的响应、预测和对数据的洞悉。例如，在加利福尼亚州的帕洛阿尔托市，每天从基础交通设施产生的流数据比 Twitter Firehose 还要多。这是很大的数据量。为 Uber、Lyft 和 FedEx 等消费者预测城市交通需要实时的分析、学习和预测。云处理不可避免地导致每个事件大约会有半秒的延迟。我们需要一个简单而强大的编程范式，让应用程序在类似下面的情况时能够动态处理无界数据流：数据量巨大，或原始数据的移动成本很高。数据由广泛分布的资产（例如移动设备）生成。数据具有转瞬即逝的价值，即时分析迫在眉睫。需要始终洞悉最新数据情况，外推法行不通。发布和订阅事件驱动系统领域中有一个关键架构模式： 发布/订阅 publish/subscribe 消息传递模式。这是一种异步通信方法，其中消息会从 发布者（数据产生方）传递到 订阅者（处理数据的应用程序）。发布/订阅模式可以将消息发送者与消费者分离开来。在发布/订阅模式中，消息源会 发布 针对某个 主题 topic 的 事件 event 至 服务端 broker ，后者按接收顺序存储它们。应用程序可以 订阅 一个或多个 主题，然后 服务端 会转发匹配的事件。 Apache Kafka 和 Pulsar 以及 CNCF NATS 是发布/订阅系统。 发布/订阅的云服务包括 Google Pub/Sub、AWS Kinesis、Azure Service Bus、Confluent Cloud 等。（LCTT 译注：本段部分术语英文名称更为泛用，针对这些术语，采用了中英文标注。）发布/订阅系统不会 运行 订阅者应用程序，它们只是 传递 数据给相应主题的订阅者。流数据通常包含应用程序或基础架构状态更新的事件。在选择架构来处理数据时，发布/订阅框架等数据分发系统的作用是有限的。消费者应用程序的“处理方式”超出了发布/订阅系统的范围。这让开发人员的管理变得极具复杂性。所谓的流处理器是一种特殊的订阅者，可以动态分析数据并将结果返回给同一个服务端。Apache SparkApache Spark 是用于大规模数据处理的统一分析引擎。通常将 Apache Spark Streaming 用作流处理器，例如给机器学习模型提供新数据。Spark Streaming 将数据分成小批量，每个小批量都由 Spark 模型或其他系统独立分析。事件流可以被分组成小批量以进行分析，但流处理器本身必须具有弹性：流处理器必须能够根据数据速率进行扩展，甚至要能够跨越服务器和云，并且还可以跨实例实现负载均衡，以确保弹性和其他应用层的需求。它必须能够分析来自不同来源的数据，这些数据源的报告速率可能相差很大。这意味着它必须是有状态的，或者将状态存储在数据库中。当使用 Spark Streaming 作为流处理器时，通常会使用后一种方法，这种方法在需要超低延迟响应时可能会存在性能问题。相关项目 Apache Samza 也提供了一种处理实时事件流的方法，并使用 Hadoop Yarn 或 Apache Mesos 来管理计算资源，以便进行弹性扩展。解决数据扩展问题需要注意的是，即使是 Samza 也不能完全减轻开发人员的数据处理需求。扩展数据规模意味着处理事件的任务需要跨多个实例进行负载均衡，而使用数据库是实例间共享结果应用层状态的唯一方法。然而，当应用程序任务之间的状态协调转移到数据库时，对性能会产生不可避免的连锁反应。此外，数据库的选择也至关重要。随着系统的扩展，数据库的集群管理会成为下一个潜在的瓶颈。这个问题可以通过有状态、有弹性的替代方案来解决，并且这样的解决方案可以用来代替流处理器。在应用程序级别（容器或实例内），这些解决方案依据流的更新，动态构建并发、互连的“web 代理”的有状态模型。代理是并发的“微服务”，它们消费单一来源的原始数据并维护它们的状态。基于数据中发现的源之间的真实关系（如包含和临近）,代理实现互连以共享状态。代理也因此形成了一个并发服务图，可以分析它们自己的状态和链接到的代理的状态。数据源将原始数据转换为状态，…

用这个开源工具让你的数据对老板友好起来
type: item
date: 2021-04-19T17:26:23+08:00
description: 企业数据分析旨在将数据可视化带给日常商务用户。 企业数据分析 Enterprise Data Analytics （EDA） 是一个网页应用，它可以通过一个简单、清晰的界面来获取信息。在巴塞罗那开源分析公司 Jortilles 工作几年后，我们意识到，现代世界强制性地收集数据，但普通人没有简单的方法来查看或解释这些数据。有一些强大的开源工具可用于此目的，但它们非常复杂。我们找不到一个工具设计成能让没有什么技术能力的普通人轻松使用。我们之所以开发 EDA，是因为我们认为获取信息是现代组织的要求和义务，并希望为每个人提供获取信息的机会。可视化你的数据EDA 使用人们已经理解的商业术语提供了一个数据模型。你可以选择你想要的信息，并可以以你想要的方式查看它。它的目标是对用户友好，同时又功能强大。EDA 通过元数据模型将数据库中的信息可视化和丰富化。它可以从 BigQuery、Postgres、MariaDB、MySQL 和其他一些数据库中读取数据。这就把技术性的数据库模型转化为熟悉的商业概念。它还设计为加快信息传播的速度，因为它可以利用已经存储在数据库中的数据。EDA 可以发现数据库的拓扑结构，并提出业务模型。如果你设计了一个好的数据库模型，你就有了一个好的业务模型。EDA 还可以连接到生产服务器，提供实时分析。这种数据和数据模型的结合意味着你和你组织中的任何人都可以分析其数据。然而，为了保护数据，你可以定义数据安全，可以精确到行，以授予正当的人访问正当的数据。EDA 的一些功能包括：自动生成数据模型一致的数据模型，防止出现不一致的查询高级用户的 SQL 模式数据可视化：标准图表（如柱状图、饼状图、线状图、树状图）地图整合（如 geoJSON shapefile、纬度、经度）电子邮件提醒，可通过关键绩效指标 （KPI） 来定义私人和公共信息控制，以启用私人和公共仪表板，你可以通过链接分享它。数据缓存和程序刷新。如何使用 EDA用 EDA 实现数据可视化的第一步是创建数据模型。创建数据模型首先，在左侧菜单中选择 “New Datasource”。接下来，选择你的数据存储的数据库系统（如 Postgres、MariaDB、MySQL、Vertica、SqlServer、Oracle、Big Query），并提供连接参数。EDA 将自动为你生成数据模型。它读取表和列，并为它们定义名称以及表之间的关系。你还可以通过添加虚拟视图或 geoJSON 图来丰富你的数据模型。制作仪表板现在你已经准备好制作第一个仪表板了。在 EDA 界面的主页面上，你应该会看到一个 “New dashboard” 按钮。点击它，命名你的仪表板，并选择你创建的数据模型。新的仪表板将出现一个面板供你配置。要配置面板，请单击右上角的 “Configuration” 按钮，并选择你要做的事情。在 “Edit query” 中，选择你要显示的数据。这将出现一个新的窗口，你的数据模型由实体和实体的属性表示。选择你要查看的实体和你要使用的属性。例如，对于名为 “Customers” 的实体，你可能会显示 “Customer Name”，对于 “Sales” 实体，你可能希望显示 “Total Sales”。接下来，运行一个查询，并选择你想要的可视化。你可以添加任意数量的面板、过滤器和文本字段，所有这些都有说明。当你保存仪表板后，你可以查看它，与同事分享，甚至发布到互联网上。获取 EDA最快的方法是用 公开演示 来查看 EDA。但如果你想自己试一试，可以用 Docker 获取最新的 EDA 版本：$ docker run -p 80:80 jortilles / eda: latest 我们还有一个 SaaS 选项，适用于任何想要使用 EDA 而无需进行安装、配置和持续更新的用户。你可以在我们的网站上查看 云选项。如果你想看看它的实际运行情况，你可以在 YouTube 上观看一些 演示。EDA 正在持续开发中，你可以在 GitHub 上找到它的 源代码。via: https://opensource.com/article/21/4/visualize-data-eda作者：Juanjo Ortilles 选题：lujun9972 译者：geekpi 校对：wxy本文由 LCTT 原创编译，Linux中国 荣誉推出

13 个开源备份解决方案
type: item
date: 2019-03-26T17:27:46+08:00
description: 读者们推荐了超过一打的他们喜欢的数据保护解决方案。最近，我发起了一个 投票，让读者投票选出他们最喜欢的开源备份解决方案。在我们的 版主社区 上，我们提供了六个推荐的解决方案 —— Cronopete、Deja Dup、Rclone、Rdiff-backup、Restic、和 Rsync，而参与的读者也在评论区分享了一些其它的选择。并且读者提供的这 13 个其它的解决方案，（到目前为止）我们要么是没有想到，要么是没有听说过。到目前为止，最受欢迎的推荐是 BorgBackup。它是一个带有压缩和加密特性以用具有数据去重功能的备份解决方案。它基于 BSD 许可证，支持 Linux、MacOS 和 BSD。第二个是 UrBackup，它可以做镜像和文件的完整和增量备份；你可以保存整个分区或单个目录。它有 Windows、Linux、和 MacOS 客户端，并且采用 GNU Affero 公共许可证。第三个是 LuckyBackup；根据其网站介绍，“它是一个易于使用、快速（只传输变化部分，而不是全部数据）、安全（在做任何数据操作之前，先检查所有需要备份的目录，以确保数据安全）、可靠和完全可定制的备份解决方案。它在 GPL 许可证下发行。Casync 是一个可寻址内容的同步解决方案 —— 它设计用于备份、同步、存储和检索大文件系统的多个相关版本。它使用 GNU Lesser 公共许可证。Syncthing 是用于在两台计算机之间同步文件。它基于 Mozilla 公共许可证使用，根据其网站介绍，它是安全和私密的。它可以工作于 MacOS、Windows、Linux、FreeBSD、Solaris 和 OpenBSD。Duplicati 是一个可工作于 Windows、MacOS 和 Linux 上的、并且支持多种标准协议（比如 FTP、SSH、WebDAV 和云服务）、免费的备份解决方案。它的特性是强大的加密功能，并且它使用 GPL 许可证。Dirvish 是一个基于磁盘的虚拟镜像备份系统，它使用 OSL-3.0 许可证。它要求必须安装有 Rsync、Perl5、SSH。Bacula 的网站上介绍说：”它是允许系统管理员去管理备份、恢复、和跨网络的不同种类计算机上的多种数据的一套计算机程序“，它支持在 Linux、FreeBSD、Windows、MacOS、OpenBSD 和 Solaris 上运行，并且它的大部分源代码都是基于 AGPLv3 许可证的。BackupPC 的网站上介绍说：”它是一个高性能的、企业级的、可以备份 Linux、Windows 和 MacOS 系统的 PC 和笔记本电脑上的数据到服务器磁盘上的备份解决方案“。它是基于 GPLv3 许可证的。Amanda 是一个使用 C 和 Perl 写的备份系统，它允许系统管理员去备份整个网络中的客户端到一台服务器上的磁带、磁盘或基于云的系统。它是由马里兰大学于 1991 年开发并拥有版权，并且它有一个 BSD 式的许可证。Back in Time 是一个为 Linux 设计的简单的备份实用程序。它提供了命令行和图形用户界面，它们都是用 Python 写的。去执行一个备份，只需要指定存储快照的位置、需要备份的文件夹，和备份频率即可。它使用的是 GPLv2 许可证。Timeshift 是一个 Linux 上的备份实用程序，它类似于 Windows 上的系统恢复和 MacOS 上的时间胶囊。它的 GitHub 仓库上介绍说：“Timeshift 通过定期递增的文件系统快照来保护你的系统。这些快照可以在日后用于数据恢复，以撤销某些对文件系统的修改。”Kup 是一个能够帮助用户备份它们的文件到 USB 驱动器上的备份解决方案，但它也可以用于执行网络备份。它的 GitHub 仓库上介绍说：”当插入你的外部硬盘时，Kup 将自动启动并复制你的最新的修改。“感谢大家在我们的投票中分享你们喜爱的开源备份解决方案！如果还有其它的、没有提到的开源备份解决方案，请在下面的评论区分享它们。via: https://opensource.com/article/19/3/backup-solutions作者：Don Watkins 选题：lujun9972 译者：qhwdw 校对：wxy本文由 LCTT 原创编译，Linux中国 荣誉推出

Textricator：让数据提取变得简单
type: item
date: 2018-08-05T04:03:00+08:00
description: 这个新的开源工具可以从 PDF 文档中提取复杂的数据，而无需编程技能。你可能知道这种感觉：你请求得到数据并得到积极的响应，只打开电子邮件并发现一大堆附加的 PDF。数据——中断。我们理解你的挫败感，并为此做了一些事情：让我们介绍下 Textricator，这是我们的第一个开源产品。我们是 “Measures for Justice”（MFJ），一个刑事司法研究和透明度组织。我们的使命是为整个司法系统从逮捕到定罪后提供数据透明度。我们通过制定一系列多达 32 项指标来实现这一目标，涵盖每个县的整个刑事司法系统。我们以多种方式获取数据 —— 当然，所有这些都是合法的 —— 虽然许多州和县机构都掌握数据，可以为我们提供 CSV 格式的高质量格式化数据，但这些数据通常捆绑在软件中，没有简单的方法可以提取。PDF 报告是他们能提供的最佳报告。开发者 Joe Hale 和 Stephen Byrne 在过去两年中一直在开发 Textricator，它用来提取数万页数据供我们内部使用。Textricator 可以处理几乎任何基于文本的 PDF 格式 —— 不仅仅是表格，还包括复杂的报表，其中包含从 Crystal Reports 等工具生成的文本和细节部分。只需告诉 Textricator 你要收集的字段的属性，它就会整理文档，收集并写出你的记录。不是软件工程师？Textricator 不需要编程技巧。相反，用户描述 PDF 的结构，Textricator 处理其余部分。大多数用户通过命令行运行它。但是，你可以使用基于浏览器的 GUI。我们评估了其他很好的开源解决方案，如 Tabula，但它们无法处理我们需要抓取的一些 PDF 的结构。技术总监 Andrew Branch 说：“Textricator 既灵活又强大，缩短了我们花费大量时间处理大型数据集的时间。”在 MFJ，我们致力于透明度和知识共享，其中包括向任何人提供我们的软件，特别是那些试图公开自由共享数据的人。Textricator 可以在 GitHub 上找到，并在 GNU Affero 通用公共许可证第 3 版下发布。你可以在我们的免费在线数据门户上查看我们的工作成果，包括通过 Textricator 处理的数据。Textricator 是我们流程的重要组成部分，我们希望民间技术机构和政府组织都可以使用这个新工具解锁更多数据。如果你使用 Textricator，请告诉我们它如何帮助你解决数据问题。想要改进吗？提交一个拉取请求。via: https://opensource.com/article/18/7/textricator作者：Stephen Byrne 选题：lujun9972 译者：geekpi 校对：wxy本文由 LCTT 原创编译，Linux中国 荣誉推出

如何在使用网吧或公用计算机时保持数据安全
type: item
date: 2017-02-13T16:56:00+08:00
description: 对我们许多人来说，安全最重要的是使我们的个人数据安全。理论上，最好的安全能够承受任何滥用。然而，在现实世界中，你不能覆盖所有可能的滥用情况。因此，最好的策略是使用多种技术来提高安全性。大多数正常人不需要复杂的方案和加密来保持安全，但是可以让入侵者访问你的数据变得很困难。这可能听起来很蠢，但在图书馆，教室或实验室中的计算机 - 或者你的朋友的电话 - 它们不是你的。即使是云或云服务通常也只是别人的计算机。一般来说，将你不拥有的任何设备视为属于坏人所有，换句话说，他们想要你的数据用于邪恶用途。以下是一些简单的方法，可以增加你的数据安全性来应对不法之徒或入侵者。关闭打开的会话当你用完设备后，登出如 Facebook 或其他站点服务。这可以防止作恶者重新打开窗口并访问你的账户。清理浏览器和其他缓存清理你浏览器中所有的历史、密码和 cookie。不要假设这些是登出后默认的动作。这取决于平台，同时检查缓存。如果你使用的是 Linux 系统，删除 ~/.cache 缓存文件夹。清空垃圾箱删除桌面上遗留的任何东西，如果可以，同时清空垃圾箱。使用服务安全选项为你的服务和帐户启用登录通知或登录批准。某些服务有一个选项，当有人从新设备或位置登录你的帐户时通知你。当你登录时，你也会收到通知。但是，知道某些人是否尝试从其他计算机或位置意外地使用你的登录信息还是很有帮助的。一些服务可能允许你通过电子邮件通知来批准任何登录活动。只有通过你收到的电子邮件中的链接进行批准，才能授予访问权限。检查你的服务，看看他们是否提供这些安全选项。限制敏感信息在不属于你的计算机上保持数据安全的最简单的方法是不要处理它。尽量避免或限制需要敏感信息的工作。例如，你可能不想在工作场所访问银行或信用卡帐户或者安全系统。你可能需要考虑使用基于 Live USB 的操作系统来实现这些目的。Live USB 会限制甚至完全避免在运行它的主机系统上的任何数据存储。例如，你可以下载 Live Fedora Workstation 操作系统在 USB 上使用。via: https://fedoramagazine.org/5-security-tips-shared-public-computers/作者：Sylvia Sánchez 译者：geekpi 校对：wxy本文由 LCTT 原创编译，Linux中国 荣誉推出

Linux系统中使用 DD 命令测试 USB 和 SSD 硬盘的读写速度
type: item
date: 2014-08-27T18:00:48+08:00
description: 磁盘驱动器速度磁盘驱动器的速度是以一个单位时间内读写数据量的多少来衡量的。DD 命令是一个简单的命令行工具，它可用对磁盘进行任意数据块的读取和写入，同时可以度量读取写入的速度。在这篇文章中，我们将会使用 DD 命令来测试 USB 和 SSD 磁盘的读取和写入速度。数据传输速度不但取决于驱动盘本身，而且还与连接的接口有关。比如， USB 2.0 端口的最大传输速度是 35 兆字节/秒，所以如果您把一个支持高速传输的 USB 3.0 驱动盘插入 USB 2.0 端口的话，它实际的传输速度将是 2.0 端口的下限。这对于 SSD 也是一样的。 SSD 连接的 SATA 端口有不同的类型。平均是 375 兆字节/秒的 SATA 2.0 端口理论上最大传输速度是 3 Gbit/秒，而 SATA 3.0 是这个速度的两倍。测试方法挂载上驱动盘，从终端进入此盘目录下。然后使用 DD 命令，首先写入固定大小块的一个文件，接着读取这个文件。DD 命令通用语法格式如下：dd if=path/to/input_file of=/path/to/output_file bs=block_size count=number_of_blocks 当写入到驱动盘的时候，我们简单的从无穷无用字节的源 /dev/zero 读取，当从驱动盘读取的时候，我们读取的是刚才的文件，并把输出结果发送到无用的 /dev/null。在整个操作过程中， DD 命令会跟踪数据传输的速度并且报告出结果。固态硬盘我们使用的是一块“三星 Evo 120G” 的固态硬盘。它性价比很高，很适合刚开始用固态硬盘的用户，也是我的第一块固态硬盘，并且也是市场上效果最好的固态硬盘之一。这次实验中，我们把硬盘接在 SATA 2.0 端口上。写入速度首先让我们写入固态硬盘$ dd if=/dev/zero of=./largefile bs=1M count=1024 1024+0 records in 1024+0 records out 1073741824 bytes (1.1 GB) copied, 4.82364 s, 223 MB/s 的大小实际上是相当大的。你可以尝试用更小的尺寸如 64K 甚至是 4K 的。读取速度现在读回这个文件。但是，得首先清除内存的缓存，以确保这个文件确实是从驱动盘读取的。运行下面的命令来清除内存缓存$ sudo sh -c "sync && echo 3 > /proc/sys/vm/drop_caches" 现在读取此文件$ dd if=./largefile of=/dev/null bs=4k 165118+0 records in 165118+0 records out 676323328 bytes (676 MB) copied, 3.0114 s, 225 MB/s 在 Arch Linux 的维基页上有一整页的关于不同的厂商，如英特尔、三星、Sandisk 等提供的各类固态硬盘 读/写速度的信息。点击如下的 url 可以查看相关信息。https://wiki.archlinux.org/index.php/SSD\_BenchmarkingUSB此次实验我们会测量普通的 USB/随身笔的读写速度。驱动盘都是接入标准的 USB 2.0 端口的。首先用的是一个 4GB 大小的 sony USB 驱动盘，随后用的是一个 16GB 大小的 strontium 驱动盘。首先把驱动盘插入端口，并挂载上，使其可读。然后从命令行下面进入挂载的文件目录下。Sony 4GB - 写入这个实验中，用 DD 命令向驱动盘写入一个有 10000 块，每块 8K 字节的文件。# dd if=/dev/zero of=./largefile bs=8k count=10000 10000+0 records in 10000+0 records out 81920000 bytes (82 MB) copied, 11.0626 s, 7.4 MB/s 因此，写入速度约为7.5兆字节/秒。这是一个很低的数字。Sony 4GB - 读取把相同的文件读取回来，测试速度。首先运行如下命令清除内存缓存。$ sudo sh -c "sync && echo 3 > /proc/sys/vm/drop_caches" 现在就可以使用 DD 命令来读取文件了。# dd if=./largefile of=/dev/null bs=8k 8000+0 records in 8000+0 records out 65536000 bytes (66 MB) copied, 2.65218 s, 24.7 MB/s 读取速度出来大约是25兆字节/秒，这大致跟廉价 USB 驱动盘的标准相匹配吧…

安装Ubuntu前三件重要的事情
type: item
date: 2012-04-09T22:57:00+08:00
description: 虽然现在安装ubuntu已经相对简单多了，不需要很多专业的知识，但是在安装前还是需要搞定三件重要的事情。备份数据规划磁盘是否真的需要Ubuntu备份数据记得我最初安装Linux时，常常因为某些错误造成数据丢失。如果你没有完全的把握不犯错，或者说你无法确保安装过程中不出现人力不可抗拒因素的问题（这个比较汗~~），那么安装系统前请做好数据备份。以下为备份数据常用的四种方法：备份到云端。云端这个词是现在才有的，传统的说就是在线备份，备份到互联网上，现在很多的网盘可以给你提供良好的服务，比如Dropbox、Box.net，国内比较好的有115和dbank，你可以根据具体情况选用。备份到移动硬盘。这个方法比第一个方便多了，但也不是你刚好可以有用来备份数据的外设，一般来说本机磁盘存放的东西容量可能是很大的咯。刻录到光盘。这个办法比较老套，现在很多人都不用了，但也不失为一种方法，尤其在条件刚刚适合的时候。备份到其他分区。相对于前面三者，这个可谓是最简单，也是最速效的了，那么你就得规划好的你分区，专门分出一部分硬盘来存放数据。强烈建议大家在安装系统前备份数据，这是个很好的习惯，有良好的数据管理习惯会很有好处的。规划磁盘磁盘规划对于老手来说可能很简单，但是对于新手来说，这一部分是很让人很头疼的。关于Ubuntu的安装，官方提供了详细的指导文档，但是很多人没有阅读官方指导的习惯，光盘拿到手才开始到处问问题，其实很多问题都在官方指导中有详细的说明。当然，官方的指导有很多内容都是很啰嗦的，让人觉得繁琐无味，不过对于真正的新手，还是要有完整阅读参考的良好习惯。言归正传，继续说说规划磁盘问题。一般来说，安装Linux需要以下三个分区：根分区(/)。也叫做root分区，整个系统将被安装到这个分区。用户分区(/home)。用来存放具体每个用户的相关文件。交换分区(swap)。这个怎么说呢，简单的解释就相当于Windows下的虚拟内存，实际内存再大的机器也建议规划有swap分区。再来说说以上三个分区具体需要多大的容量：根分区。这个是用来安装系统的，所以可以参考具体系统的官方说明，一般来说安装完整的Linux桌面系统，4G的容量就绰绰有余了，当然随着以后应用软件的安装还会占更多空间。用户分区。这个是用来存放具体的用户文件，可以根据自己的需求来分配。交换分区。最早的说法是建议为实际内存的两倍，不过随着现在硬件的发展，一般都有了2G的内存，如果swap再来个4G的话，貌似有点浪费，所以建议1G或者2G就行了。说了这么多，那么具体如何来规划磁盘呢？以下有四个图，很明了的表示了四种具体的分区方案：只安装Linux系统 只安装Linux系统，并有独立的数据存放分区 linux与windows双系统共存 Linux于Windows双系统，并有独立的数据存放分区 具体的分区操作，可以在安装系统前进行，使用你所熟悉的一款磁盘管理工具来进行分区，也可以在安装系统时进行分区操作。是否真的需要Ubuntu为什么选择Ubuntu？Ubuntu是众多Linux发行版中比较流行的一个，有着庞大的用户群，良好的社区支持。当然，它不是你的唯一选择，还有其他的Linux发行版也是很不错的，比如Fedora、LinuxMint、OpenSUSE和Archinux等等。。 我现在用的就是Archlinux为什么不选择其他的？当然，你也可以选择其他的Linux发行版。现在很多Linux发行版都提供了LiveCD,可以不用安装到硬盘，直接使用CD来引导就可以体验系统。你可以使用LiveCD来试试多个系统，然后根据自己的体验和具体电脑情况来选择比较合适的。其他原因？如果你现在还使用着一台配置比较低的电脑，那么Ubuntu也可能不是最好的选择。它的最小建议配置如下：显卡512内存4G磁盘剩余空间如果你的”老爷机”无法满足以上条件，那么可以选择以下几个轻量发行版：LubuntuLMDEPubby linuxArchBang以下Ubuntu的三个优点和三个缺点：优点：它是现在众多linux发行版中最流行的一个，你可以找到很多关于它的论坛或者博客。它属于“即装即用”型的系统，你不需要在Termianl下使用各种命令行来配置系统，很多操作都可以通过可视化的程序来完成。网上有很多关于它的使用指南，你可以搜索到很多你在使用中遇到的问题的答案以供参考。缺点：它不是最稳定的Linux发行版。它不是最轻量或者最快的Linux发行版。你可能会被其他的Linux发行版用户“喷”，*^\_^*这是一篇译文，原文在这里http://installubuntu.info/to-do-before-install-ubuntu/相关日志2012 年 4 月 7 日 -- ubuntu下用lxdm替换gdm2012 年 3 月 31 日 …