硬核观察 #630 Facebook 开源挑战 GPT-3 的语言模型
Facebook 开源挑战 GPT-3 的语言模型
OpenAI 的文本生成神经网络 GPT-3 是目前最先进的语言模型之一,使用了 1750 亿个参数,但它至今没有开源,只通过其申请及审核程序提供给学术界和商业实体使用。现在 Meta 开源了能挑战 GPT-3 的语言模型开放式预训练变换模型 OPT-175B,使用了能比拟 GPT-3 的 1750 亿个参数。作者们在论文中说,“考虑到计算成本,如果没有大量资金,这些模型很难复制。对于少数通过 API 可调用的模型(暗指 GPT-3),如果不能获得完整的模型权重,就难以进行研究。……因此,我们推出了 OPT(这是一个只有解码器的预训练变换模型)……”
消息来源:ieee
老王点评:在这件事上,Meta 真的很棒,只有开源才能真正推动 AI 的发展。
RTX 30 全系显卡挖矿限制遭破解
去年,为了遏制游戏显卡被用于挖矿,英伟达限制了新上市 RTX 30 系列显卡的算力水平,这批显卡被称之为 LHR(低哈希率)显卡。本周,NiceHash 宣布,继去年 8 月成功解锁 LHR 显卡 70% 的原始算力后,现在几乎 RTX 30 全系 LHR 显卡已经被 100% 破解。只有 RTX 3050 和RTX 3080 12GB,所需要的新算法还没完工。
消息来源:nicehash
老王点评:终究,显卡还是被用于挖矿了。
谷歌正在为 Linux 研究加密休眠支持
谷歌工程师正在研究安全地“在一些新的场景中启用休眠”。除了采取预防措施,确保恶意的用户空间不能利用休眠数据,谷歌安全团队也在强制要求加密休眠。谷歌现在正在研究基于内核的加密,支持使用 TPM 支持的密钥来加密休眠镜像,用 PCR 策略来密封加密密钥,以及其他工作来确保加密的休眠镜像可以被信任。
消息来源:phoronix
老王点评:这个倒是一直以来的一个薄弱点,虽然对于服务器意义不大,但对于桌面设备有意义。