研究发现更大的上下文对大语言模型来说意义不大

在大语言模型中，上下文窗口指的是模型在给定实例中可以处理和响应的文本长度。它可以被视为特定文本分析或聊天机器人对话的工作记忆。许多人都认为，语境窗口变大的趋势将继续提高 大语言模型的性能和在各种应用中的实用性。但根据一项最新研究，大语言模型往往无法访问和使用在较长的上下文窗口中提供给它们的相关信息。当相关信息出现在输入上下文的开头或结尾时，它的性能最佳；而当模型必须在长上下文中间获取相关信息时，性能就会明显下降。此外，随着输入上下文的长度增加，即使是明确的长上下文模型，性能也会大幅下降。

消息来源：Venture Beat

老王点评：可见我们对大语言模型内部到底发生了什么，还是一无所知。

谷歌敦促 Gmail 用户启用 “增强型安全浏览”

这项增强的安全功能已经存在了三年，但谷歌最近开始在 Gmail 收件箱中显示一条信息，建议人们打开 “增强安全浏览” 功能。如果谷歌认为你正在浏览的网站冒充你的银行等，你就会看到一个红色的警告屏幕。一般而言，开启这项安全功能是个好主意，虽然它会收集你的更多信息，但如果你本来就使用了 Gmail 等谷歌服务，其实它已经收集了足够多的信息。如果你开启了该功能，即使你没有登录谷歌账户，谷歌也会对你访问的网站了如指掌。它还会从你访问的网站上收集一些视觉图像，以扫描诈骗网站的特征。

消息来源：MSN

老王点评：你应该自己决定是否愿意放弃部分隐私来换取额外的安全保护，以防止常见的犯罪行为。

五年后，Cython 3.0 发布

Cython 是一种基于 Python 的编程语言和编译器，它可以编译输出原生代码，执行速度可能比 CPython 解释器快得多。它既可用于优化 Python 应用程序，也可用于创建 CPython 可使用的模块，从而在解释器中运行应用程序的主要部分时，编译性能关键的代码。Cython 至今已有 21 年历史。在接近五年的漫长时间后，Cython 3.0 发布，增加了许多新功能，现在支持 Python 3 的所有版本，但放弃了对 Python 2.6 的支持。但 Cython 2.x 和 Cython 3.0 之间的兼容性问题已经造成了一些问题，影响到了包括 AWS CLI 在内的一些重要项目。

消息来源：Dev Class

老王点评：觉得 Python 慢吗？那就编译好了。

Safari 将爆发性地带来 135 项功能

苹果即将发布的 Safari 16.4 及其 WebKit 引擎将带来重大更新，如支持主屏幕 Web 应用的网络推送通知、可构建的 CSS 样式表对象、声明式影子 DOM、iFrame 延迟加载、新的 JavaScript 导入地图功能、WASM SIMD 支持等等。这些都是很大的变化，在一定程度上缓解了开发者对 Safari 成为新 IE 的担忧。为什么苹果现在要在网络技术方面加大投入呢？这可能与欧盟数字市场法案有关，该法案可能要求苹果允许第三方浏览器在 iOS 上使用 WebKit 之外的引擎，以及要求允许从第三方应用商店侧载应用。

消息来源：Dev Class

老王点评：苹果对实施网络技术犹豫不决的可能原因是，它有助于确保 iOS 的应用程序由应用商店提供。现在面临法案管理，才一口气发出这么多的功能。

Meta 发布能运行在单张显卡上的大语言模型

Meta 上周宣布了一个新的大语言模型 LLaMA-13B，称其参数规模更小但性能强于 OpenAI 的 GPT-3 模型，且它能运行在单张显卡上。LLaMA 语言模型的规模从 70 亿到 650 亿参数，而 OpenAI GPT-3 模型有 1750 亿个参数。Meta 使用 Common Crawl、维基百科和 C4 等公开数据集训练其模型。LLaMA-13B 模型在多项基准测试中的性能超过了 GPT-3。GPT-3 等模型需要数据中心规模的计算能力进行处理，而 LLaMA-13B 能运行在单张显卡上。

此外，Nebuly AI 推出了首个基于人类反馈强化学习的 LLaMA AI 聊天机器人开源实现 ChatLLaMA。

消息来源：Facebook

老王点评：在新的 AI 军备竞赛中，AI 技术将得到空前的发展，变化将可能令人目不暇接。

未来的福特汽车可能会自动跑路

福特公司申请了一项专利“收回车辆的系统和方法”。该专利详细描述了几种方法，使那些错过了几次汽车付款的人的生活更加艰难。该系统可以安装在汽车制造商未来任何有数据连接的车辆上，能够禁用“车辆的一个或多个部件的功能”，从发动机到空调等一切。对于具有自主或半自主驾驶能力的车辆，该系统可以 “将车辆从第一地点移动到更便于拖车拖曳的第二地点……诸如收回机构的场所”，或者，如果贷款机构认为 “执行收回程序的财务可行性” 不合理，车辆可以自己开到垃圾场。

消息来源：The Drive

老王点评：从汽车联网支持订阅的那一天起，它就越来越能作妖了。