Jason Baker 发布的文章

跟踪您的库存和需要的材料，用这些供应链管理工具制造产品。

本文最初发表于 2016 年 1 月 14 日，最后的更新日期为 2018 年 3 月 2 日。

如果你正在管理着处理实体货物的业务，供应链管理 是你的业务流程中非常重要的一部分。不论你是经营着一个只有几个客户的小商店，还是在世界各地拥有数以百万计客户和成千上万产品的世界财富 500 强的制造商或零售商，很清楚地知道你的库存和制造产品所需要的零部件，对你来说都是非常重要的事情。

保持对货品、供应商、客户的持续跟踪，而且所有与它们相关的变动部分都会受益于这些用来帮助管理工作流的专门软件，而在某些情况下需要完全依赖这些软件。在本文中，我们将去了解一些自由及开源的供应链管理方面的软件，以及它们的其中一些功能。

供应链管理比单纯的库存管理更为强大。它能帮你去跟踪货物流以降低成本，以及为可能发生的各种糟糕的变化来制定应对计划。它能够帮你对出口合规性进行跟踪，不论是否是出于法律要求、最低品质要求、还是社会和环境责任。它能够帮你计划最低供应量，让你能够在订单数量和交付时间之间做出明智的决策。

由于其本质决定了许多供应链管理软件是与类似的软件捆绑在一起的，比如，客户关系管理（CRM）和 企业资源计划管理 （ERP）。因此，当你选择哪个工具更适合你的组织时，你可能会考虑与其它工具集成作为你的决策依据之一。

Apache OFBiz

Apache OFBiz 是一套帮你管理多种业务流程的相关工具。虽然它能管理多种相关问题，比如，分类、电子商务网站、会计和 POS，它在供应链管理方面的主要功能关注于仓库管理、履行、订单和生产管理。它的可定制性很强，但是，对应的它需要大量的规划去设置和集成到你现有的流程中。这就是它适用于中大型业务的原因之一。项目的功能构建于三个层面：展示层、业务层和数据层，它是一个弹性很好的解决方案，但是，再强调一遍，它也很复杂。

Apache OFBiz 的源代码在其 项目仓库 中可以找到。Apache OFBiz 是用 Java 写的，并且它是按 Apache 2.0 许可证 授权的。

如果你对它感兴趣，你也可以去查看 opentaps，它是在 OFBiz 之上构建的。Opentaps 强化了 OFBiz 的用户界面，并且添加了 ERP 和 CRM 的核心功能，包括仓库管理、采购和计划。它是按 AGPL 3.0 授权使用的，对于不接受开源授权的组织，它也提供了商业授权。

OpenBoxes

OpenBoxes 是一个供应链管理和存货管理项目，最初的主要设计目标是为了医疗行业中的药品跟踪管理，但是，它可以通过修改去跟踪任何类型的货品和相关的业务流。它有一个需求预测工具，可以基于历史订单数量、存储跟踪、支持多种场所、过期日期跟踪、销售点支持等进行预测，并且它还有许多其它功能，这使它成为医疗行业的理想选择，但是，它也可以用于其它行业。

它在 Eclipse 公开许可证 下可用，OpenBoxes 主要是由 Groovy 写的，它的源代码可以在 GitHub 上看到。

OpenLMIS

与 OpenBoxes 类似，OpenLMIS 也是一个医疗行业的供应链管理工具，但是，它专用设计用于在非洲的资源缺乏地区使用，以确保有限的药物和医疗用品能够用到需要的病人上。它是 API 驱动的，这样用户可以去定制和扩展 OpenLMIS，同时还能维护一个与通用基准代码的连接。它是由洛克菲勒基金会开发的，其它的贡献者包括联合国、美国国际开发署、和比尔 & 梅林达·盖茨基金会。

OpenLMIS 是用 Java 和 JavaScript 的 AngularJS 写的。它在 AGPL 3.0 许可证 下使用，它的源代码在 GitHub 上可以找到。

Odoo

你可能在我们以前的 ERP 项目 榜的文章上见到过 Odoo。事实上，根据你的需要，一个全功能的 ERP 对你来说是最适合的。Odoo 的供应链管理工具主要围绕存货和采购管理，同时还与电子商务网站和 POS 连接，但是，它也可以与其它的工具连接，比如，与 frePPLe 连接，它是一个开源的生产计划工具。

Odoo 既有软件即服务（SaaS）的解决方案，也有开源的社区版本。开源的版本是以 LGPL 版本 3 下发行的，源代码在 GitHub 上可以找到。Odoo 主要是用 Python 来写的。

xTuple

xTuple 标称自己是“为成长中的企业提供供应链管理软件”，它专注于已经超越了其传统的小型企业 ERP 和 CRM 解决方案的企业。它的开源版本称为 Postbooks，添加了一些存货、分销、采购、以及供应商报告的功能，它提供的核心功能是会计、CRM、以及 ERP 功能，而它的商业版本扩展了制造和分销的 功能。

xTuple 在 CPAL 下使用，这个项目欢迎开发者去复刻它，为基于存货的制造商去创建其它的业务软件。它的 Web 应用核心是用 JavaScript 写的，它的源代码在 GitHub 上可以找到。

就这些，当然了，还有其它的可以帮你处理供应链管理的开源软件。如果你知道还有更好的软件，请在下面的评论区告诉我们。

via: https://opensource.com/tools/supply-chain-management

作者：Jason Baker 译者：qhwdw 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出

你的下一个 Python 项目需要一个模板引擎来自动生成 HTML 吗？这有几种选择。

在我的日常工作中，我花费大量的时间将各种来源的数据转化为可读的信息。虽然很多时候这只是电子表格或某种类型的图表或其他数据可视化的形式，但也有其他时候，将数据以书面形式呈现是有意义的。

但我的头疼地方就是复制和粘贴。如果你要将数据从源头移动到标准化模板，则不应该复制和粘贴。这很容易出错，说实话，这会浪费你的时间。

因此，对于我定期发送的任何遵循一个共同的模式的信息，我倾向于找到某种方法来自动化至少一部分信息。也许这涉及到在电子表格中创建一些公式，一个快速 shell 脚本或其他解决方案，以便使用从外部源提取的信息自动填充模板。

但最近，我一直在探索 Python 模板来完成从其他数据集创建报告和图表的大部分工作。

Python 模板引擎非常强大。我的简化报告创建的使用案例仅仅触及了它的皮毛。许多开发人员正在利用这些工具来构建完整的 web 应用程序和内容管理系统。但是，你并不需要有一个复杂的 web 应用程序才能使用 Python 模板工具。

为什么选择模板？

每个模板工具都不甚相同，你应该阅读文档以了解其确切的用法。但让我们创建一个假设的例子。假设我想创建一个简短的页面，列出我最近编写的所有 Python 主题。就像这样：

<html>
  <head>
    <title>My Python articles</title>
  </head>
  <body>

    <p>These are some of the things I have written about Python:</p>
    <ul>
      <li>Python GUIs</li>
      <li>Python IDEs</li>
      <li>Python web scrapers</li>
    </ul>

  </body>
</html>

当它仅仅是这三个项目时，维护它是很简单的。但是当我想添加第四个、第五个或第六十七个时会发生什么？我可以从包含我所有页面列表的 CSV 文件或其他数据文件生成它，而不是手动编码此页面吗？我可以轻松地为我写的每个主题创建重复内容吗？我可以以编程方式更改每个页面上的文本标题吗？这就是模板引擎可以发挥作用的地方。

有许多不同的选择，今天我将与你其中分享三个，顺序不分先后：Mako、 Jinja2 和 Genshi。

Mako

Mako 是以 MIT 许可证发布的 Python 模板工具，专为快速展现而设计的（与 Jinja2 不同）。Reddit 已经使用 Mako 来展现他们的网页，它同时也是 Pyramid 和 Pylons 等 web 框架的默认模板语言。它相当简单且易于使用。你可以使用几行代码来设计模板；支持 Python 2.x 和 3.x，它是一个功能强大且功能丰富的工具，具有良好的文档，这一点我认为是必须的。其功能包括过滤器、继承、可调用块和内置缓存系统，这些系统可以被大型或复杂的 web 项目导入。

Jinja2

Jinja2 是另一个快速且功能全面的选项，可用于 Python 2.x 和 3.x，遵循 BSD 许可证。Jinja2 从功能角度与 Mako 有很多重叠，因此对于新手来说，你在两者之间的选择可能会归结为你喜欢的格式化风格。Jinja2 还将模板编译为字节码，并具有 HTML 转义、沙盒、模板继承和模板沙盒部分的功能。其用户包括 Mozilla、 SourceForge、 NPR、 Instagram 等，并且还具有强大的文档。与 Mako 在模板内部使用 Python 逻辑不同的是，Jinja2 使用自己的语法。

Genshi

Genshi 是我会提到的第三个选择。它是一个 XML 工具，具有强大的模板组件，所以如果你使用的数据已经是 XML 格式，或者你需要使用网页以外的格式，Genshi 可能成为你的一个很好的解决方案。HTML 基本上是一种 XML（好吧，不是精确的，但这超出了本文的范围，有点卖弄学问了），因此格式化它们非常相似。由于我通常使用的很多数据都是 XML 或其他类型的数据，因此我非常喜欢使用我可以用于多种事物的工具。

发行版目前仅支持 Python 2.x，尽管 Python 3 支持存在于主干中，但我提醒你，它看起来并没有得到有效的开发。Genshi 遵循 BSD 许可证提供。

示例

因此，在上面的假设示例中，我不会每次写新主题时都更新 HTML 文件，而是通过编程方式对其进行更新。我可以创建一个模板，如下所示：

<html>
  <head>
    <title>My Python articles</title>
  </head>
  <body>

    <p>These are some of the things I have written about Python:</p>
    <ul>
      %for topic in topics:
      <li>${topic}</li>
      %endfor
    </ul>

  </body>
</html>

然后我可以使用我的模板库来迭代每个主题，比如使用 Mako，像这样：

from mako.template import Template

mytemplate = Template(filename='template.txt')
print(mytemplate.render(topics=("Python GUIs","Python IDEs","Python web scrapers")))

当然，在现实世界的用法中，我不会将这些内容手动地列在变量中，而是将它们从外部数据源（如数据库或 API）中提取出来。

这些不是仅有的 Python 模板引擎。如果你正在开始创建一个将大量使用模板的新项目，那么你考虑的可能不仅仅是这三种选择。在 Python 维基上查看更全面的列表，以获得更多值得考虑的项目。

via: https://opensource.com/resources/python/template-libraries

作者：Jason Baker 选题：lujun9972 译者：MjSeven 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出

有时候你很忙。而有时候你只是需要看起来很忙，就像电影中的黑客一样。有一些开源工具就是干这个的。

如果在你在消磨时光时看过谍战片、动作片或犯罪片，那么你就会清晰地在脑海中勾勒出黑客的电脑屏幕的样子。就像是在《黑客帝国》电影中，代码雨 一样的十六进制数字流，又或是一排排快速移动的代码。

也许电影中出现一幅世界地图，其中布满了闪烁的光点和一些快速更新的图表。不可或缺的，也可能有 3D 旋转的几何形状。甚至，这一切都会显示在一些完全不符合人类习惯的数量荒谬的显示屏上。 在《剑鱼行动》电影中黑客就使用了七个显示屏。

当然，我们这些从事计算机行业的人一下子就明白这完全是胡说八道。虽然在我们中，许多人都有双显示器（或更多），但一个闪烁的数据仪表盘、刷新的数据通常和专注工作是相互矛盾的。编写代码、项目管理和系统管理与日常工作不同。我们遇到的大多数情况，为了解决问题，都需要大量的思考，与客户沟通所得到一些研究和组织的资料，然后才是少许的 敲代码。

然而，这与我们想追求电影中的效果并不矛盾，也许，我们只是想要看起来“忙于工作”而已。

注：当然，我仅仅是在此胡诌。如果您公司实际上是根据您繁忙程度来评估您的工作时，无论您是蓝领还是白领，都需要亟待解决这样的工作文化。假装工作很忙是一种有毒的文化，对公司和员工都有害无益。

这就是说，让我们找些乐子，用一些老式的、毫无意义的数据和代码片段填充我们的屏幕。（当然，数据或许有意义，但不是在这种没有上下文的环境中。）当然有一些用于此用途的有趣的图形界面程序，如 hackertyper.net 或是 GEEKtyper.com 网站（LCTT 译注：是在线假装黑客操作的网站），为什么不使用标准的 Linux 终端程序呢？对于更老派的外观，可以考虑使用 酷炫复古终端，这听起来确实如此：一个酷炫的复古终端程序。我将在下面的屏幕截图中使用酷炫复古终端，因为它看起来的确很酷。

Genact

我们来看下第一个工具——Genact。Genact 的原理很简单，就是慢慢地无尽循环播放您选择的一个序列，让您的代码在您外出休息时“编译”。由您来决定播放顺序，但是其中默认包含数字货币挖矿模拟器、Composer PHP 依赖关系管理工具、内核编译器、下载器、内存转储等工具。其中我最喜欢的是其中类似《模拟城市》加载显示。所以只要没有人仔细检查，你可以花一整个下午等待您的电脑完成进度条。

Genact 发布了 支持 Linux、OS X 和 Windows 的版本。并且其 Rust 源代码 在 GitHub 上开源（遵循 MIT 许可证）。

Hollywood

Hollywood 采取更直接的方法。它本质上是在终端中创建一个随机的数量和配置的分屏，并启动那些看起来很繁忙的应用程序，如 htop、目录树、源代码文件等，并每隔几秒将其切换。它被组织成一个 shell 脚本，所以可以非常容易地根据需求进行修改。

Hollywood的 源代码 在 GitHub 上开源（遵循 Apache 2.0 许可证）。

Blessed-contrib

Blessed-contrib 是我个人最喜欢的应用，实际上并不是为了这种表演而专门设计的应用。相反地，它是一个基于 Node.js 的终端仪表盘的构建库的演示文件。与其他两个不同，实际上我已经在工作中使用 Blessed-contrib 的库，而不是用于假装忙于工作。因为它是一个相当有用的库，并且可以使用一组在命令行显示信息的小部件。与此同时填充虚拟数据也很容易，所以可以很容易实现你在计算机上模拟《战争游戏》的想法。

Blessed-contrib 的源代码在 GitHub 上（遵循 MIT 许可证）。

当然，尽管这些工具很容易使用，但也有很多其他的方式使你的屏幕丰富。在你看到电影中最常用的工具之一就是Nmap，这是一个开源的网络安全扫描工具。实际上，它被广泛用作展示好莱坞电影中，黑客电脑屏幕上的工具。因此 Nmap 的开发者创建了一个 页面，列出了它出现在其中的一些电影，从《黑客帝国 2：重装上阵》到《谍影重重3》、《龙纹身的女孩》，甚至《虎胆龙威 4》。

当然，您可以创建自己的组合，使用终端多路复用器（如 screen 或 tmux）启动您希望使用的任何数据切分程序。

那么，您是如何使用您的屏幕的呢？

via: https://opensource.com/article/18/2/command-line-tools-productivity

作者：Jason Baker 译者：wyxplus 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出

用这些开源软件解决方案构建一个更智能的家庭。

物联网 不仅是一个时髦词，在现实中，自 2016 年我们发布了一篇关于家庭自动化工具的评论文章以来，它也在迅速占领着我们的生活。在 2017，26.5% 的美国家庭 已经使用了一些智能家居技术；预计五年内，这一数字还将翻倍。

随着这些数量持续增加的各种设备的使用，可以帮助你实现对家庭的自动化管理、安保、和监视，在家庭自动化方面，从来没有像现在这样容易和更加吸引人过。不论你是要远程控制你的 HVAC 系统，集成一个家庭影院，保护你的家免受盗窃、火灾、或是其它威胁，还是节省能源或只是控制几盏灯，现在都有无数的设备可以帮到你。

但同时，还有许多用户担心安装在他们家庭中的新设备带来的安全和隐私问题 —— 这是一个很现实也很 严肃的问题。他们想要去控制有谁可以接触到这个重要的系统，这个系统管理着他们的应用程序，记录了他们生活中的点点滴滴。这种想法是可以理解的：毕竟在一个连你的冰箱都是智能设备的今天，你不想要一个基本的保证吗？甚至是如果你授权了设备可以与外界通讯，它是否是仅被授权的人访问它呢？

对安全的担心 是为什么开源对我们将来使用的互联设备至关重要的众多理由之一。由于源代码运行在他们自己的设备上，完全可以去搞明白控制你的家庭的程序，也就是说你可以查看它的代码，如果必要的话甚至可以去修改它。

虽然联网设备通常都包含它们专有的组件，但是将开源引入家庭自动化的第一步是确保你的设备和这些设备可以共同工作 —— 它们为你提供一个接口 —— 并且是开源的。幸运的是，现在有许多解决方案可供选择，从 PC 到树莓派，你可以在它们上做任何事情。

这里有几个我比较喜欢的。

Calaos

Calaos 是一个设计为全栈的家庭自动化平台，包含一个服务器应用程序、触摸屏界面、Web 应用程序、支持 iOS 和 Android 的原生移动应用、以及一个运行在底层的预配置好的 Linux 操作系统。Calaos 项目出自一个法国公司，因此它的支持论坛以法语为主，不过大量的介绍资料和文档都已经翻译为英语了。

Calaos 使用的是 GPL v3 的许可证，你可以在 GitHub 上查看它的源代码。

Domoticz

Domoticz 是一个有大量设备库支持的家庭自动化系统，在它的项目网站上有大量的文档，从气象站到远程控制的烟雾探测器，以及大量的第三方 集成软件 。它使用一个 HTML5 前端，可以从桌面浏览器或者大多数现代的智能手机上访问它，它是一个轻量级的应用，可以运行在像树莓派这样的低功耗设备上。

Domoticz 是用 C++ 写的，使用 GPLv3 许可证。它的 源代码 在 GitHub 上。

Home Assistant

Home Assistant 是一个开源的家庭自动化平台，它可以轻松部署在任何能运行 Python 3 的机器上，从树莓派到网络存储（NAS），甚至可以使用 Docker 容器轻松地部署到其它系统上。它集成了大量的开源和商业的产品，允许你去连接它们，比如，IFTTT、天气信息、或者你的 Amazon Echo 设备，去控制从锁到灯的各种硬件。

Home Assistant 以 MIT 许可证 发布，它的源代码可以从 GitHub 上下载。

MisterHouse

从 2016 年起，MisterHouse 取得了很多的进展，我们把它作为一个“可以考虑的另外选择”列在这个清单上。它使用 Perl 脚本去监视任何东西，它可以通过一台计算机来查询或者控制任何可以远程控制的东西。它可以响应语音命令，查询当前时间、天气、位置、以及其它事件，比如去打开灯、唤醒你、记下你喜欢的电视节目、通报呼入的来电、开门报警、记录你儿子上了多长时间的网、如果你女儿汽车超速它也可以告诉你等等。它可以运行在 Linux、macOS、以及 Windows 计算机上，它可以读/写很多的设备，包括安全系统、气象站、来电显示、路由器、机动车位置系统等等。

MisterHouse 使用 GPLv2 许可证，你可以在 GitHub 上查看它的源代码。

OpenHAB

OpenHAB（开放家庭自动化总线的简称）是在开源爱好者中所熟知的家庭自动化工具，它拥有大量用户的社区以及支持和集成了大量的设备。它是用 Java 写的，OpenHAB 非常轻便，可以跨大多数主流操作系统使用，它甚至在树莓派上也运行的很好。支持成百上千的设备，OpenHAB 被设计为与设备无关的，这使开发者在系统中添加他们的设备或者插件很容易。OpenHAB 也支持通过 iOS 和 Android 应用来控制设备以及设计工具，因此，你可以为你的家庭系统创建你自己的 UI。

你可以在 GitHub 上找到 OpenHAB 的 源代码，它使用 Eclipse 公共许可证。

OpenMotics

OpenMotics 是一个开源的硬件和软件家庭自动化系统。它的设计目标是为控制设备提供一个综合的系统，而不是从不同的供应商处将各种设备拼接在一起。不像其它的系统主要是为了方便改装而设计的，OpenMotics 专注于硬件解决方案。更多资料请查阅来自 OpenMotics 的后端开发者 Frederick Ryckbosch的 完整文章 。

OpenMotics 使用 GPLv2 许可证，它的源代码可以从 GitHub 上下载。

当然了，我们的选择不仅有这些。许多家庭自动化爱好者使用不同的解决方案，甚至是他们自己动手做。其它用户选择使用单独的智能家庭设备而无需集成它们到一个单一的综合系统中。

如果上面的解决方案并不能满足你的需求，下面还有一些潜在的替代者可以去考虑：

  • EventGhost 是一个开源的（GPL v2）家庭影院自动化工具，它只能运行在 Microsoft Windows PC 上。它允许用户去控制多媒体电脑和连接的硬件，它通过触发宏指令的插件或者定制的 Python 脚本来使用。
  • ioBroker 是一个基于 JavaScript 的物联网平台，它能够控制灯、锁、空调、多媒体、网络摄像头等等。它可以运行在任何可以运行 Node.js 的硬件上，包括 Windows、Linux、以及 macOS，它使用 MIT 许可证。
  • Jeedom 是一个由开源软件（GPL v2）构成的家庭自动化平台，它可以控制灯、锁、多媒体等等。它包含一个移动应用程序（Android 和 iOS），并且可以运行在 Linux PC 上；该公司也销售 hub，它为配置家庭自动化提供一个现成的解决方案。
  • LinuxMCE 标称它是你的多媒体与电子设备之间的“数字粘合剂”。它运行在 Linux（包括树莓派）上，它基于 Pluto 开源 许可证 发布，它可以用于家庭安全、电话（VoIP 和语音信箱）、A/V 设备、家庭自动化、以及玩视频游戏。
  • OpenNetHome，和这一类中的其它解决方案一样，是一个控制灯、报警、应用程序等等的一个开源软件。它基于 Java 和 Apache Maven，可以运行在 Windows、macOS、以及 Linux —— 包括树莓派，它以 GPLv3 许可证发布。
  • Smarthomatic 是一个专注于硬件设备和软件的开源家庭自动化框架，而不仅是用户界面。它基于 GPLv3 许可证，它可用于控制灯、电器、以及空调、检测温度、提醒给植物浇水。

现在该轮到你了：你已经准备好家庭自动化系统了吗？或者正在研究去设计一个。你对家庭自动化的新手有什么建议，你会推荐什么样的系统？

via: https://opensource.com/life/17/12/home-automation-tools

作者：Jason Baker 译者：qhwdw 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出

运用这些很棒的 Python 爬虫工具来获取你需要的数据。

title=

在一个理想的世界里，你需要的所有数据都将以公开而文档完备的格式清晰地展现，你可以轻松地下载并在任何你需要的地方使用。

然而，在真实世界里，数据是凌乱的，极少被打包成你需要的样子，要么经常是过期的。

你所需要的信息经常是潜藏在一个网站里。相比一些清晰地、有调理地呈现数据的网站，更多的网站则不是这样的。 爬取数据 crawling 、 挖掘数据 scraping 、加工数据、整理数据这些是获取整个网站结构来绘制网站拓扑来收集数据所必须的活动，这些可以是以网站的格式储存的或者是储存在一个专有数据库中。

也许在不久的将来，你需要通过爬取和挖掘来获得一些你需要的数据，当然你几乎肯定需要进行一点点的编程来正确的获取。你要怎么做取决于你自己，但是我发现 Python 社区是一个很好的提供者，它提供了工具、框架以及文档来帮助你从网站上获取数据。

在我们进行之前，这里有一个小小的请求：在你做事情之前请思考，以及请耐心。抓取这件事情并不简单。不要把网站爬下来只是复制一遍，并其它人的工作当成是你自己的东西（当然，没有许可）。要注意版权和许可，以及你所爬行的内容应用哪一个标准。尊重 robots.txt 文件。不要频繁的针对一个网站，这将导致真实的访问者会遇到访问困难的问题。

在知晓这些警告之后，这里有一些很棒的 Python 网站爬虫工具，你可以用来获得你需要的数据。

Pyspider

让我们先从 pyspider 开始介绍。这是一个带有 web 界面的网络爬虫，让与使之容易跟踪多个爬虫。其具有扩展性，支持多个后端数据库和消息队列。它还具有一些方便的特性，从优先级到再次访问抓取失败的页面，此外还有通过时间顺序来爬取和其他的一些特性。Pyspider 同时支持 Python 2 和 Python 3。为了实现一个更快的爬取，你可以在分布式的环境下一次使用多个爬虫进行爬取。

Pyspyder 的基本用法都有良好的 文档说明 ，包括简单的代码片段。你能通过查看一个 在线的样例 来体验用户界面。它在 Apache 2 许可证下开源，Pyspyder 仍然在 GitHub 上积极地开发。

MechanicalSoup

MechanicalSoup 是一个基于极其流行而异常多能的 HTML 解析库 Beautiful Soup 建立的爬虫库。如果你的爬虫需要相当的简单，但是又要求检查一些选择框或者输入一些文字，而你又不想为这个任务单独写一个爬虫，那么这会是一个值得考虑的选择。

MechanicalSoup 在 MIT 许可证下开源。查看 GitHub 上该项目的 example.py 样例文件来获得更多的用法。不幸的是，到目前为止，这个项目还没有一个很好的文档。

Scrapy

Scrapy 是一个有着活跃社区支持的抓取框架，在那里你可以建造自己的抓取工具。除了爬取和解析工具，它还能将它收集的数据以 JSON 或者 CSV 之类的格式轻松输出，并存储在一个你选择的后端数据库。它还有许多内置的任务扩展，例如 cookie 处理、代理欺骗、限制爬取深度等等，同时还可以建立你自己附加的 API。

要了解 Scrapy，你可以查看网上的文档或者是访问它诸多的社区资源，包括一个 IRC 频道、Reddit 子版块以及关注他们的 StackOverflow 标签。Scrapy 的代码在 3 句版 BSD 许可证下开源，你可以在 GitHub 上找到它们。

如果你完全不熟悉编程，Portia 提供了一个易用的可视化的界面。scrapinghub.com 则提供一个托管的版本。

其它

  • Cola 自称它是个“高级的分布式爬取框架”，如果你在寻找一个 Python 2 的方案，这也许会符合你的需要，但是注意它已经有超过两年没有更新了。
  • Demiurge 是另一个可以考虑的潜在候选者，它同时支持 Python 2和 Python 3，虽然这个项目的发展较为缓慢。
  • 如果你要解析一些 RSS 和 Atom 数据，Feedparser 或许是一个有用的项目。
  • Lassie 让从网站检索像说明、标题、关键词或者是图片一类的基本内容变得简单。
  • RoboBrowser 是另一个简单的库，它基于 Python 2 或者 Python 3，它具有按钮点击和表格填充的基本功能。虽然它有一段时间没有更新了，但是它仍然是一个不错的选择。

这远不是一个完整的列表，当然，如果你是一个编程专家，你可以选择采取你自己的方法而不是使用这些框架中的一个。或者你发现一个用其他语言编写的替代品。例如 Python 编程者可能更喜欢 Python 附带的 Selenium，它可以在不使用实际浏览器的情况下进行爬取。如果你有喜欢的爬取和挖掘工具，请在下面评论让我们知道。

（题图：You as a Machine. Modified by Rikki Endsley. CC BY-SA 2.0）

via: https://opensource.com/resources/python/web-scraper-crawler

作者：Jason Baker 译者：ZH1122 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出

想了解更多关于 OpenStack 的内容？这些免费资源可能只是你所需要的。

云基础设施是一个非常需要的技能。如果你正在为你的云基础架构需求寻找开源解决方案，那么 OpenStack 就是其中之一。

OpenStack 是一个巨大的项目集合，为云服务的几乎每一个部分都提供了解决方案和集成。虽然这个巨大范围使得它成为一个强大的工具，但这也意味着可能很难跟上并了解整个项目，了解如何使用它们、如何自定义它们以及如何向其提供代码。

幸运的是，有很多选择可以帮助你。除了官方项目文档、纸质书籍和认证培训计划外，还有大量社区创造的优秀资源。我们每个月可以在 Opensource.com 上查看它在博客和其他网站上最近发布的指南和教程，这会给你启发。我们来看看这次我们发现了什么。

  • 首先在本月的这一批中，我们有一篇来自 Antony Messerli 的指南，介绍如何通过 Ansible 设置 OpenStack 云。Messerli 将引导我们完成实验室环境中的配置以及在集群上运行 OpenStack 所需的 playbook，还有添加镜像、设置网络等的基础知识。如果你正在考虑使用 Ansible 安装 OpenStack 小型本地测试环境，这是一篇很好的文章。
  • 接下来，你有没有想过 Neutron 网络如何在 OpenStack 中的工作的？应用程序中发生的事情如何对应于底层代码？Arie Bregman 在这篇文章中提供了一段 OpenStack Neutron 代码。你需要熟悉一般的网络原理，至少有一点 OpenStack 代码基础才能跟上。
  • Gerrit是 OpenStack 使用的开源代码审查项目，用于管理上传的修补程序，并允许在将更改合并到主 OpenStack 代码库之前进行反馈和测试。对于那些习惯于不同的代码审查系统（或根本没有的），Gerrit 可能会有点混乱，尽管它具有很好的仪表板功能，因此你只能看到对你很重要的信息。Dougal Matthews 在这篇文章中带我们看了他的 Gerrit 仪表板设置，这可能会帮助你设置自己的。
  • 上个月在波士顿举办的 OpenStack 峰会的视频已经发布了，无论你是否参加过上个月的活动，这都包含了技术和非技术专题的宝库。不知道从哪里开始？这有个来自 Julio Villarreal Pelegrino 关于如何规划、构建、运行一个成功的 OpenStack 云计算的演讲。
  • 任何云管理员都应该担心安全问题。但你从哪里开始？Naveen Joy 发布了一个很好的十个安全问题的清单，用于加固你的 OpenStack 网络；你可以在上个月的同一主题演讲中查看这个视频。
  • OpenStack 中的内部消息服务在一个公共库中进行管理，该库存在于一个称为 Oslo 的项目中，自然它被称为 Oslo.Messenging。要了解这个库的基础知识，它在这个分为两个部分的博客中提到。

想要了解更多？可以从这三年来社区说提供的内容中找到我们完整的 OpenStack 指南、如何做和教程，以帮助你学习成为一名高效的 OpenStack 开发人员或管理员。

有很棒教程、指导或者如何做需要我们分享的么？在下面的评论中分享。

作者简介：

Jason Baker - Jason 热衷于使用技术使世界更加开放，从软件开发到阳光政府行动。Linux 桌面爱好者、地图/地理空间爱好者、树莓派工匠、数据分析和可视化极客、偶尔的码农、云本土主义者。在 Twitter 上关注他。

via: https://opensource.com/article/17/6/openstack-guides-and-tutorials

作者：Jason Baker 译者：geekpi 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7