标签 Elasticsearch 下的文章

ElasticSearch 继续对抗亚马逊 AWS 的开源分叉

今年 1 月,ElasticSearch 改变了其许可证以对抗亚马逊 AWS,因为 AWS 将 ElasticSearch 的功能作为一项服务提供,而“没有与之合作”。AWS 随后分叉了 ElasticSearch,在原有的 Apache 2.0 许可证下发布了一个新的 OpenSearch 产品。OpenSearch 与其分叉的 Elasticsearch 7.10.2 兼容,这使得迁移到 OpenSearch 很容易。

虽然 Elastic 对此无能为力,但他们可以对一些常用的开源客户端库进行修改,拒绝连接到 OpenSearch 集群或运行 Elasticsearch 7 开源发行版的集群,只允许连接到 Elastic 的商业产品。面对这种情况,AWS 承诺提供“一套新的开源客户端,使应用程序可以很容易地连接到任何 OpenSearch 或 Elasticsearch 集群”。同时建议用户不要更新到任何 Elastic 维护的客户端的最新版本,以免他们的应用程序可能会停止运行。

一开始我是同情 Elastic 的,但是现在他们要求所有人都必须选一个立场,那这就过分了。

苹果公司即将开始扫描 iPhone 用户的设备,查找被禁止的内容

苹果发布新闻稿,证实它将扫描美国 iPhone 手机上的非法儿童照片,以引入儿童安全保护功能。苹果声称它利用的是设备上的机器学习功能去分析和做出判断,它并不能访问照片。这些功能将包含在今年晚些时候释出,安全专家对这些功能可能成为政府监视工具或被执法部门滥用表达了担忧。

虽然目前的用途是为了保护儿童,但是也为更广泛的监控开了口子。

新勒索团伙 BlackMatter 瞄准曾被勒索的大型公司

据报道,在 DarkSide 被迫解散之后,一个新的勒索团伙已经成立,该组织声称融合了 DarkSide、REvil 和 Lockbit 等著名勒索软件的功能。目前,BlackMatter 正在活跃在各大黑客论坛上,但是它并不是为了出售自己的软件,而是在搜集那些已经被其他黑客攻击的企业。目标主要是已经被黑客入侵的澳大利亚、加拿大、英国和美国的公司网络,并要求这些公司的收入至少 1 亿美元以上,拥有 500-15000 台网络主机。但其声明称,并不会针对医院、关键基础设施、国防工业和政府部门等特定行业发动攻击。

勒索行业都形成了一种新的“行规”了,只求财不要命。

华为将投资 10 亿美元研发汽车技术,称在自动驾驶技术上超过了特斯拉

华为轮值董事长徐直军周一在深圳告诉分析师,华为将与北汽集团、重庆长安汽车和广汽集团合作,生产自动驾驶汽车,将华为的名字作为子品牌。

徐直军说,“今年将在汽车零部件研发上投入超过 10 亿美元。中国每年新增 3000 万辆汽车,而且这个数字还在增长。即使我们不开拓中国以外的市场,如果我们能从中国每卖出一辆汽车平均赚取 1 万元人民币,这对华为来说已经是非常大的生意了。”

徐直军表示,“我的团队说,他们可以让汽车在没有人为干预的情况下自行行驶 1000 公里。这比特斯拉要好得多。”

汽车行业如此多金,引各大厂商纷纷入局。

亚马逊发布 Elasticsearch 分支 OpenSearch

今年 1 月,开发 Elasticsearch 和 Kibana 的公司 Elastic 宣布更改许可证,新版本将不再使用 Apache 2.0 许可证,而是使用 Elastic 许可证和服务器端公共许可证(SSPL),此举是为了禁止类似亚马逊等云服务商使用它的软件作为一种服务提供给客户。但同时,新的许可证不再符合开源许可证的定义,意味着 Elasticsearch 和 Kibana 不再是开源软件了。

然后,亚马逊宣布要创建它的 Elasticsearch 分支 OpenSearch 和 Kibana 分支 OpenSearch Dashboards,并与昨日发布了。源代码托管在 GitHub 上,采用 Apache 2.0 许可证。亚马逊表示以后所有的更新将通过 OpenSearch 项目发布。Red Hat、SAP 等表达了对 OpenSearch 项目的支持。

如果不是 Elastic 等厂商被云厂商吸血到忍无可忍,怎么会有开源的 OpenSearch?如今反过来指责 Elasticsearch 不开源。

合肥本源量子的国产量子芯片生产线即将落地

合肥本源量子计算科技有限责任公司与合肥晶合集成电路股份有限公司日前签订合作协议,双方宣布共同建设国内第一家面向产业化和应用的量子芯片实验室“本源-晶合量子芯片联合实验室”,将在极低温集成电路领域进行工艺合作开发以及工程流片验证,实现从量子芯片设计到封装测试全链条开发。

据本源量子称,该实验室在超导的技术路线上,将对标 IBM、谷歌等国际巨头,在半导体技术线上则对标英特尔的 22nm FinFET 等。本源量子已先后推出了多种超导量子芯片,其保真度、相干时间等多项技术指标达到国内领先、国际一流水准。

虽然不太了解,但是似乎听起来是不错的进展。

Meow 攻击自动删除不安全的 Elasticsearch 数据库

有攻击者使用自动脚本扫描开放的不安全的 Elasticsearch 和 MongoDB 数据库,找到之后直接将其删除,不解释,不留下任何通知。至今已经有大约 4000 个数据库遭到删除。攻击者在日志里留下了 $randomstring-meow 的信息,因此这次攻击被称为 Meow 攻击。

来源:solidot

拍一拍:用户没有安全习惯固然是一个根本原因,但是作为软件产品自身没有默认强制安全措施埋下了祸根。

OpenJDK 项目从 Mercurial 迁移到 GitHub

预计迁移将在 2020 年 9 月完成。OpenJDK 从 2008 年起使用 Mercurial 管理源代码,如今部分 OpenJDK 项目如 Loom、Valhalla 和 JMC 已经迁移到 GitHub,还有部分项目正在迁移中,而到 9 月份 OpenJDK 主线也将正式加入进来。

来源:solidot

拍一拍:看来版本控制系统的巨头化已经不可避免,而这会阻碍版本控制产品和模式的发展。

Zstd 显著提升 Linux 内核镜像压缩效率

Facebook 工程师 Nick Terrell 近日向 Linux 内核提交了使用 Zstd 压缩 Linux 内核镜像的补丁,这些补丁显示了使用 Zstd 对内核、ramdisk 和 initramfs 进行压缩操作具备巨大潜力。在 x86\_64 硬件上,当初始 RAM 文件系统将压缩算法从 XZ 切换到 Zstd 时,解压时间从 12 秒下降到只需 3 秒。此外,这将有助于清理更多的内核代码,因为 Bzip2 和 LZMA 目前并没有在内核树之外的其他地方使用。

来源:开源中国

拍一拍:清理一些不合时宜的算法和惯例才能与时俱进。

获取我们关于安装两者的简化说明。

 title=

如果你渴望学习基于开源 Lucene 库的著名开源搜索引擎 Elasticsearch,那么没有比在本地安装它更好的方法了。这个过程在 Elasticsearch 网站中有详细介绍,但如果你是初学者,官方说明就比必要的信息多得多。本文采用一种简化的方法。

添加 Elasticsearch 仓库

首先,将 Elasticsearch 仓库添加到你的系统,以便你可以根据需要安装它并接收更新。如何做取决于你的发行版。在基于 RPM 的系统上,例如 FedoraCentOSRed Hat Enterprise Linux(RHEL)openSUSE,(本文任何地方引用 Fedora 或 RHEL 的也适用于 CentOS 和 openSUSE)在 /etc/yum.repos.d/ 中创建一个名为 elasticsearch.repo 的仓库描述文件:

$ cat << EOF | sudo tee /etc/yum.repos.d/elasticsearch.repo
[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/oss-7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
EOF

在 Ubuntu 或 Debian 上,不要使用 add-apt-repository 工具。由于它自身默认的和 Elasticsearch 仓库提供的不匹配而导致错误。相反,设置这个:

$ echo "deb https://artifacts.elastic.co/packages/oss-7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list

在你从该仓库安装之前,导入 GPG 公钥,然后更新:

$ sudo apt-key adv --keyserver \
hkp://keyserver.ubuntu.com:80 \
--recv D27D666CD88E42B4
$ sudo apt update

此存储库仅包含 Elasticsearch 的开源功能,在 Apache 许可证下发布,没有提供订阅版本的额外功能。如果你需要仅限订阅的功能(这些功能是并不开源),那么 baseurl 必须设置为:

baseurl=https://artifacts.elastic.co/packages/7.x/yum

安装 Elasticsearch

你需要安装的软件包的名称取决于你使用的是开源版本还是订阅版本。本文使用开源版本,包名最后有 -oss 后缀。如果包名后没有 -oss,那么表示你请求的是仅限订阅版本。

如果你创建了订阅版本的仓库却尝试安装开源版本,那么就会收到“非指定”的错误。如果你创建了一个开源版本仓库却没有将 -oss 添加到包名后,那么你也会收到错误。

使用包管理器安装 Elasticsearch。例如,在 Fedora、CentOS 或 RHEL 上运行以下命令:

$ sudo dnf install elasticsearch-oss

在 Ubuntu 或 Debian 上,运行:

$ sudo apt install elasticsearch-oss

如果你在安装 Elasticsearch 时遇到错误,那么你可能安装的是错误的软件包。如果你想如本文这样使用开源包,那么请确保使用正确的 apt 仓库或在 Yum 配置正确的 baseurl

启动并启用 Elasticsearch

安装 Elasticsearch 后,你必须启动并启用它:

$ sudo systemctl daemon-reload
$ sudo systemctl enable --now elasticsearch.service

要确认 Elasticsearch 在其默认端口 9200 上运行,请在 Web 浏览器中打开 localhost:9200。你可以使用 GUI 浏览器,也可以在终端中执行此操作:

$ curl localhost:9200
{

  "name" : "fedora30",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "OqSbb16NQB2M0ysynnX1hA",
  "version" : {
    "number" : "7.2.0",
    "build_flavor" : "oss",
    "build_type" : "rpm",
    "build_hash" : "508c38a",
    "build_date" : "2019-06-20T15:54:18.811730Z",
    "build_snapshot" : false,
    "lucene_version" : "8.0.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

安装 Kibana

Kibana 是 Elasticsearch 数据可视化的图形界面。它包含在 Elasticsearch 仓库,因此你可以使用包管理器进行安装。与 Elasticsearch 本身一样,如果你使用的是 Elasticsearch 的开源版本,那么必须将 -oss 放到包名最后,订阅版本则不用(两者安装需要匹配):

$ sudo dnf install kibana-oss

在 Ubuntu 或 Debian 上:

$ sudo apt install kibana-oss

Kibana 在端口 5601 上运行,因此打开图形化 Web 浏览器并进入 localhost:5601 来开始使用 Kibana,如下所示:

 title=

故障排除

如果在安装 Elasticsearch 时出现错误,请尝试手动安装 Java 环境。在 Fedora、CentOS 和 RHEL 上:

$ sudo dnf install java-openjdk-devel java-openjdk

在 Ubuntu 上:

$ sudo apt install default-jdk

如果所有其他方法都失败,请尝试直接从 Elasticsearch 服务器安装 Elasticsearch RPM:

$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-oss-7.2.0-x86_64.rpm{,.sha512}
$ shasum -a 512 -c elasticsearch-oss-7.2.0-x86_64.rpm.sha512 && sudo rpm --install elasticsearch-oss-7.2.0-x86_64.rpm

在 Ubuntu 或 Debian 上,请使用 DEB 包。

如果你无法使用 Web 浏览器访问 Elasticsearch 或 Kibana,那么可能是你的防火墙阻止了这些端口。你可以通过调整防火墙设置来允许这些端口上的流量。例如,如果你运行的是 firewalld(Fedora 和 RHEL 上的默认防火墙,并且可以在 Debian 和 Ubuntu 上安装),那么你可以使用 firewall-cmd

$ sudo firewall-cmd --add-port=9200/tcp --permanent
$ sudo firewall-cmd --add-port=5601/tcp --permanent
$ sudo firewall-cmd --reload

设置完成了,你可以关注我们接下来的 Elasticsearch 和 Kibana 安装文章。


via: https://opensource.com/article/19/7/install-elasticsearch-and-kibana-linux

作者:Seth Kenlon 选题:lujun9972 译者:geekpi 校对:wxy

本文由 LCTT 原创编译,Linux中国 荣誉推出

Elasticsearch 安装好了之后,Kibana 插件可以为这个功能强大的搜索工具添加可视化功能。

在我之前的文章中,我向 Mac 用户介绍了安装 Elasticsearch 的步骤,这是世界上最受欢迎的企业级搜索引擎。(这里有一篇针对 Linux 用户的单独文章。)其自然语言处理能力使得 Elasticsearch 在数据集中查找细节方面表现出色。一旦你发现了你需要的数据,如果你已经安装了 Kibana,你可以将它提升到一个新的水平。

Kibana 是 Elasticsearch 的开源的数据可视化插件。当你在 Elasticsearch 中找到了数据,Kibana 就会帮助你将其放入折线图、时间序列查询、地理空间地图等。该工具非常适合于必须展示其研究成果的数据科学家,尤其是那些使用开源数据的人。

安装 Kibana

你需要在 Elasticsearch 之外单独安装 Kibana。因为我安装了 Elasticsearch 7.1.1,所以我将安装 Kibana 1.1。版本的匹配非常重要,Kibana 需要针对相同版本的 Elasticsearch 节点运行。 (Kibana 运行在 node.js 上。)

以下是我为 MacOS 安装 Kibana 7.1.1 时所遵循的步骤:

1、确保 Elasticsearch 已下载并运行。如果需要,请参阅上一篇文章。

注意:你至少需要先安装 Elasticsearch 1.4.4 或更高版本才能使用 Kibana。这是因为你需要向 Kibana 提供要连接的 Elasticsearch 实例的 URL 以及你要搜索的 Elasticsearch 索引。通常,最好安装两者的最新版本。

2、单击此处下载 Kibana。你将看到如下的网页,它会提示你在下载部分的右上角下载 Kibana for Mac:

 title=

3、在你的 Downloads 文件夹中,打开 .tar 文件以展开它。此操作将创建一个具有相同名称的文件夹(例如,kibana-7.1.1-darwin-x86_64)。

4、如果你希望 Kibana 放在另一个文件夹中,请立即移动它。

仔细检查 Elasticsearch 是否正在运行,如果没有,请在继续之前启动它。(如果你需要说明,请参阅上一篇文章。)

打开 Kibana 插件

Elasticsearch 运行起来后,你现在可以启动 Kibana 了。该过程类似于启动 Elasticsearch:

1、从 Mac 的 Downloads 文件夹(或 Kibana 移动到的新文件夹)里,打开 Kibana 文件夹(即 ~Downloads/kibana-7.1.1-darwin-x86_64)。

2、打开 bin 子文件夹。

 title=

3、运行 kibana-plugin。你可能会遇到上一篇文章中出现的相同安全警告:  title=

通常,如果收到此警告,请按照那篇文章中的说明清除警告并打开 Kibana。请注意,如果我在终端中没有运行 Elasticsearch 的情况下打开该插件,我会收到相同的安全警告。要解决此问题,如上一篇文章中所述,打开 Elasticsearch 并在终端中运行它。使用 GUI 启动 Elasticsearch 也应该打开终端。

然后,我右键单击 kibana-plugin 并选择“打开”。这个解决方案对我有用,但你可能需要尝试几次。 我的 Elasticsearch 聚会中的几个人在他们的设备上打开 Kibana 时遇到了一些麻烦。

更改 Kibana 的主机和端口号

Kibana 的默认设置将其配置为在 localhost:5601 上运行。你需要更新文件(在这个例子的情况下)~Downloads/kibana-7.1.1-darwin-x86_64/config/kibana.yml 以在运行 Kibana 之前更改主机或端口号。

 title=

以下是我的 Elasticsearch 聚会组里配置 Kibana 时终端的样子,因此默认为 http://localhost:9200,这是查询 Elasticsearch 实例时使用的 URL:

 title=

从命令行运行 Kibana

打开插件后,可以从命令行或 GUI 运行 Kibana。这是终端连接到 Elasticsearch 后的样子:

 title=

与 Elasticsearch 一样,Kibana 默认在前台运行。你可以按 Ctrl-C 来停止它。

总结

Elasticsearch 和 Kibana 是占用大量存储空间的大型软件包。有这么多人一次下载这两个软件包,当我的Elasticsearch 会员和我下载它们两个时,我平均要下载几分钟。这可能是由于 WiFi 不佳和/或用户数量太多,但如果发生同样的事情,请记住这种可能性。

之后,由于我的笔记本电脑存储空间不足,我无法上传我们正在使用的 JSON 文件。我能够按照讲师的可视化进行操作,但无法实时使用 Kibana。因此,在下载 Elasticsearch 和 Kibana 之前,请确保设备上有足够的空间(至少几千兆字节)来上传和使用这些工具搜索文件。

要了解有关 Kibana 的更多信息,他们的用户指南简介是理想的。(你可以根据你正在使用的 Kibana 版本配置该指南。)他们的演示还向你展示了如何在几分钟内构建仪表板,然后进行首次部署。

玩得开心!


via: https://opensource.com/article/19/7/installing-kibana-macos

作者:Lauren Maffeo 选题:lujun9972 译者:wxy 校对:wxy

本文由 LCTT 原创编译,Linux中国 荣誉推出

安装 Elasticsearch 很复杂!以下是如何在 Mac 上安装。

Elasticsearch 是一个用 Java 开发的开源全文搜索引擎。用户上传 JSON 格式的数据集。然后,Elasticsearch 在向集群索引中的文档添加可搜索的引用之前先保存原始文档。

Elasticsearch 创建还不到九年,但它是最受欢迎的企业搜索引擎。Elastic 在 2019 年 6 月 25 日发布了最新的更新版本 7.2.0。

Kibana 是 Elasticsearch 的开源数据可视化工具。此工具可帮助用户在 Elasticsearch 集群的内容索引之上创建可视化。

Sunbursts地理空间数据地图关系分析和实时数据面板只是其中几个功能。并且由于 Elasticsearch 的机器学习能力,你可以了解哪些属性可能会影响你的数据(如服务器或 IP 地址)并查找异常模式。

在上个月的 DevFest DC 中,Booz Allen Hamilton 的首席数据科学家 Summer Rankin 博士将 TED Talk 的内容数据集上传到了 Elasticsearch,然后使用 Kibana 快速构建了面板。出于好奇,几天后我去了一个 Elasticsearch 聚会。

由于本课程针对的是新手,因此我们从第一步开始:在我们的笔记本上安装 Elastic 和 Kibana。如果没有安装这两个包,我们无法将莎士比亚的文本数据集作为测试 JSON 文件创建可视化了。

接下来,我将分享在 MacOS 上下载、安装和运行 Elasticsearch V7.1.1 的分步说明。这是我在 2019 年 6 月中旬参加 Elasticsearch 聚会时的最新版本。

下载适合 MacOS 的 Elasticsearch

1、进入 https://www.elastic.co/downloads/elasticsearch,你会看到下面的页面:

 title=

2、在下载区,单击 MacOS,将 Elasticsearch TAR 文件(例如,elasticsearch-7.1.1-darwin-x86_64.tar)下载到 Downloads 文件夹。 3、双击此文件并解压到自己的文件夹中(例如,elasticsearch-7.1.1),这其中包含 TAR 中的所有文件。

提示:如果你希望 Elasticsearch 放在另一个文件夹中,现在可以移动它。

在 MacOS 命令行中运行 Elasticsearch

如果你愿意,你可以只用命令行运行 Elasticsearch。只需遵循以下流程:

1、打开终端窗口

2、在终端窗口中,输入你的 Elasticsearch 文件夹。例如(如果你移动了程序,请将 Downloads 更改为正确的路径):

$ cd ~Downloads/elasticsearch-1.1.0

3、切换到 Elasticsearch 的 bin 子文件夹,然后启动该程序。例如:

$ cd bin 
$ ./elasticsearch

这是我启动 Elasticsearch 1.1.0 时命令行终端显示的一些输出:

 title=

注意:默认情况下,Elasticsearch 在前台运行,这可能会导致计算机速度变慢。按 Ctrl-C 可以阻止 Elasticsearch 运行。

使用 GUI 运行 Elasticsearch

如果你更喜欢点击操作,你可以像这样运行 Elasticsearch:

1、打开一个新的 Finder 窗口。

2、在左侧 Finder 栏中选择 Downloads(如果你将 Elasticsearch 移动了另一个文件夹,请进入它)。

3、打开名为 elasticsearch-7.1.1 的文件夹(对于此例)。出现了八个子文件夹。

 title=

4、打开 bin 子文件夹。如上面的截图所示,此子文件夹中有 20 个文件。 5、单击第一个文件,即 elasticsearch

请注意,你可能会收到安全警告,如下所示:

 title=

这时候要打开程序需要:

  1. 在警告对话框中单击 OK
  2. 打开系统偏好
  3. 单击安全和隐私,打开如下窗口:

 title=

  1. 单击永远打开,打开如下所示的确认对话框:

 title=

  1. 单击打开。会打开一个终端窗口并启动 Elasticsearch。

启动过程可能需要一段时间,所以让它继续运行。最终,它将完成,你最后将看到类似这样的输出:

 title=

了解更多

安装 Elasticsearch 之后,就可以开始探索了!

该工具的 Elasticsearch:开始使用指南会根据你的目标指导你。它的介绍视频介绍了在 Elasticsearch Service 上启动托管集群,执行基本搜索查询,通过创建、读取、更新和删除(CRUD)REST API 等方式操作数据的步骤。

本指南还提供文档链接,开发控制台命令,培训订阅以及 Elasticsearch Service 的免费试用版。此试用版允许你在 AWS 和 GCP 上部署 Elastic 和 Kibana 以支持云中的 Elastic 集群。

在本文的后续内容中,我们将介绍在 MacOS 上安装 Kibana 所需的步骤。此过程将通过不同的数据可视化将你的 Elasticsearch 查询带到一个新的水平。 敬请关注!


via: https://opensource.com/article/19/7/installing-elasticsearch-macos

作者:Lauren Maffeo 选题:lujun9972 译者:geekpi 校对:wxy

本文由 LCTT 原创编译,Linux中国 荣誉推出