标签 GPU 下的文章

database analytics platform MapD

麻省理工学院计算机科学与人工智能实验室(CSAIL)的前研究员开发了一款名为 MapD 的数据库分析平台。该平台使用 GPU 而不是 CPU ,可在几毫秒内查询和映射数十亿条数据。

人们通常将 GPU 与图像处理和游戏相关联。然而,现代 GPU 中高效的核心和处理单元也可以用于通用计算应用。以前在 CSAIL 工作的 Todd Mostak 开发了 MapD,它能在毫秒内处理数十亿条数据。

Mostak 声称 他的 MapD 比由 CPU 驱动的传统数据库管理系统的快 100 倍。该平台可以在短时间内处理并可视化大量数据,并且被处理的数据的参数可以很容易地修改。

MapD 将所有数据缓存在多个 GPU 上,而不是存储在某些 CPU 上。每个 GPU 被给予不同的缓冲池以节省时间。通过此过程,系统可以提供比 CPU 驱动的数据库系统快两到三倍的性能。

许多公司客户已经开始使用 Mostak 的 MapD。像 Verizon 这样的电信公司据说也在为其内部研发尝试该数据库分析平台。这家电信公司使用 MapD 分析了 8500 万用户的 SIM 卡更新数据库。

除了 Verizon,MapD 还有如社交媒体公司,金融和广告公司的客户。

由 Mostak 领导的创业公司最近从美国中央情报局的投资部门 In-Q-Tel 筹集了一笔资金。你可以期望在不久的将来在不同的领域中使用 MapD 的各种情况。


via: http://opensourceforu.com/2017/01/gpu-powered-database-analytics-platform-query-billions-data-points/

作者:RAJAT KABADE 译者:geekpi 校对:wxy

本文由 LCTT 原创编译,Linux中国 荣誉推出

Intel 开源技术中心的 Ben Widawsky 发布了一款新的试验性工具,可以在 Linux 下调整 Intel GPU 的主频,名字自然就叫做 intel\_freequency。

Intel HD Graphics 的主频其实已经可以通过 Linux 内核的 sysfs 接口来强制调整,不过使用该工具会更加方便易用。

intel\_frequency 工具支持读取 GPU 的当前/最小/最大主频、设置为不同的主频级别,以及固定最大主频。这个工具并没有提供超出通过 sysfs 所能做到的更高的主频和更多功能。

这个 intel\_frequency 工具可以用于性能测试、检查稳定性问题和调试等等。

目前该工具还没有添加到 Intel GPU 工具包中,不过已经可以通过补丁来得到了。

Image by opensource.com

今年我第一次参加了在加利福尼亚圣琼斯举办的GPU技术大会(就在游戏开发者大会之后的星期里)。在这次由NVIDIA主办的会议上,广泛讨论了包括自动化,动画,游戏,科研,云,系统集成,和新兴公司在内的各个领域的主题。活动议程主要由三大部分组成,500场技术会议,实地编程场所和展示,以及一个展示大厅可以让参与者展示他们最新的工作成果。

第一个活动在第二天,由NVIDIA CEO黄仁勋带来的演讲。他公布了应用于公司的下一代GPGPU产品的全新架构Pascal,以及被称为世界上第一台嵌入式超级电脑的Jetson TK1。Pascal将应用在下一代超级电脑或者工作站上,而Jetson主要针对嵌入式市场,这两个都普遍使用了Linux。活动中还展示了奥迪的应用了Jetson架构的无人驾驶汽车,最后以每位参与者都获赠一部应用了Android系统的NVIDIA Shield的通知结束。

第二个活动重点是Pixar的实时渲染现场演示,展示了动画设计师们如何受益于最新的GPU技术,而更有效地在最终渲染之前获取反馈。最后的活动由Adam Gazzaley博士主持,来自加州大学三藩分校的神经学科学家,他在研究应用视频游戏来帮助增强认知。活动现场展示了使用Occulus Rift游戏头盔做的虚拟现实技术,实时电子测量/反馈数据到游戏中。

我参加这次大会的主要原因之一是想更多地了解一下目前可视化领域的最新开发情况,活动中有很多会议关注这个领域以及GPGPU协同运算和可视化实时反馈。越来越多的超级电脑也开始应用GPGPU加速,例如橡树岭国家实验室的Titan。大部分会议由NVIDIA工程师和开发者主持,不过也有许多会议由研究实际问题的科学家带来(相对于渲染/可视化,大部分关注在GPGPU)。还有一场海报会议,展示大范围的各种应用,还提供了和开发之直接对话的机会。许多项目都是开源的,扩展应用了许多我们熟悉的库。

很明显OpenGL在这个领域很活跃,有大量令人激动的开发。有意思的是,它们之中大多数借助了游戏产业的持续增长,因为需要移植到新的基于Linux的平台比如SteamOS。在OpenGL未来会议上展示了运行在Jetson平台的现场演示,而且在之前游戏开发者大会上的实现零驱动开销的演讲在本次大会中被大量引用。一些二进制驱动的改善被提到,用来更好地支持采用nVidia的Optix平台的场景图形和实时光线跟踪技术,通过大会的一个获奖作品HIV壳体展示,展示了GPU技术在科研领域带来的促进作用。


via: http://opensource.com/life/14/4/gpu-technology-conference-2014

译者:zpl1025 校对:wxy

本文由 LCTT 原创翻译,Linux中国 荣誉推出

Linux内核3.13已经发布了。但是需要注意的是发布的最终版本除了一些小修复和来自rc8的针对ARM,PowerPC,x86,SPARC的结构更新以及对GPU和网卡的驱动更新外,并没有带来什么新的特性。

重要的更新包括:

  • nftables —— iptables的继承者
  • 针对高性能SSD的块层(block layer)的翻新
  • 一个功耗上限(power capping)的框架来限制在Intel RAPL(Running Average Power Limit)设备中的功耗
  • 优化的squashfs性能
  • 默认开启AMD Radeon的电源管理和AMD Radeon GPU的自动切换
  • 优化NUMA和hugepage的性能
  • 默认开启TCP Fast Open(TFO)
  • 支持NFC支付
  • 支持High-availability Seamless Redundancy(HSR)协议
  • 新驱动以及各种小改进。

为高性能SSD储存设计的可伸缩块层(block layer)

这次更新包括了Linux块层(block layer)的新设计,基于两个阶段的队列:第一层是为了提交IO的每个CPU中的队列,在这之后是在硬件层面的提交队列。实验表明这种双层面队列的设计可以实现每秒数百万的IO交换,压榨出了NVM-Express或PCI-E设备在多核CPU支持下的性能,在压榨性能的同时,这种设计仍能够提供块层的大众接口以及一些方便的特性。

nftables,iptables的继承者

有一些新的iptable以及新的iptable工具可以将iptables的规则转换为nftables的字节码,而且添加新的xtable模块也是可能的。当然这些工具还提供了一些不被老的iptables设计所支持的附加的功能:对tables/chains中的改变的提示,更好的递增规则更新支持,还有开启/禁用每个table中的chains这个功能。新的nft工具有优化过的语法。

Radeon:默认开启的电源管理功能,自动GPU切换,R9 290X Hawaii显卡的支持

电源管理提供了更优的电源消耗计划,这对一些通过电池提供电能的设备来说十分重要。而且因为电源管理提供了为GPU以及APU超频的自由,这成为了提供高端性能的要求之一。

限能框架

本次发布包含了针对Intel RAPL(Running Average Power Limit)设计的框架,这使在支持这个功能的设备上限制功耗成为可能。

对Intel MIC(Many Integrated Core Architecture)实现支持

本次更新增加了对Intel MIC的支持,一个多处理器计算机架构,包含了之前的Larrabee多核技术,Teraflops Research Chip多核芯片研究项目还有Intel Single-chip Cloud Computer多核微处理器的成果。

优化性能的NUMA系统

本次更新包含了很多策略可以将处理过程移至其占用内存旁,从而加快处理速度,这些新的策略也可以处理同一分页被不同进程占用以及巨大透明内存分页等情况。新的sysctls命令可以实现NUMA功能的开启/禁用以及调节。

优化在巨大工作量下的内存分页表的伸缩性

本次更新使用细粒度锁(finer grained locking)来优化在线程化的巨大分页工作中获取分页表的可伸缩性。看推荐的LWN文章来获取更多信息。

提升Squashfs的性能

Squashfs,被大量live发行版、安装包以及一些嵌入式Linux发行版采用的只读文件系统,有了一个重要的优化使得它在同步读取的工作中有了巨大的性能提升。

应用可以限制网络传输层的运算速率

本次更新加入了新的套接字选项,SOMAXPACING\_RATE,这可以为应用提供限制传输层运算速率的能力。这项功能被设计为一种bufferbloat机制来避免缓存区域被数据包塞满,它也可以被用来限制应用中的传输率。

默认开启TCP Fast Open(TFO)

对建立TCP连接的优化可以消除特定TCP对话的网络传输往返时间,这可以加速wab页面的显示速度。

NFC支付支持

本次更新实现了对Secure Element的支持。一个网络连接的API可以实现开启,禁用和搜索NFC连接的安全元件(secure element)。通过一些用户空间的帮助,这可以实现NFC用来现金交易的支付。

支持High-availability Seamless Redundancy协议

这个功能对所有需要高可用性以及短反应时间的应用都十分适合。

引用自 http://kernelnewbies.org/Linux_3.13


via: http://www.efytimes.com/e1/fullnews.asp?edid=127445

译者:ThomazL 校对:wxy

本文由 LCTT 原创翻译,Linux中国 荣誉推出