蚊章汇 - LLaMA
type: channel
link: https://linuxcn.bwsl.wang/tag/LLaMA/
items: 硬核观察 #940 泄露“开源”的大语言模型 LLaMA 爆炸性发展
items: 硬核观察 #934 Meta 的大语言模型 LLaMA 被泄露

硬核观察 #940 泄露“开源”的大语言模型 LLaMA 爆炸性发展
type: item
date: 2023-03-15T02:22:00+08:00
description: 泄露“开源”的大语言模型 LLaMA 爆炸性发展之前，我们在 #934 中报道过，有人通过 BT 种子泄露了 Meta 的大语言模型 LLaMA 的权重，即存储在神经网络中的训练“知识”。随后，围绕着 LLaMA 的发展出现了爆炸性的增长，开源社区迅速对 LLaMA 进行了优化和开发，使其能运行在普通人能使用的硬件上。3 月 11 日，能运行在 M1 Mac 的版本 llama.cpp 出现；随后几天，人们在 Windows、Pixel 6 手机、树莓派 4 上成功运行了它，而且效果令人满意。消息来源：Ars Technica老王点评：这真正体现了开源力量！往往是专有软件开辟方向，开源软件迅速引爆它。WordPress 拥抱去中心化社交网络WordPress 和 Tumblr 等服务的母公司 Automattic 收购了 ActivityPub for WordPress 插件，并招募了该插件的开发者。ActivityPub 是一个开放去中心化社交网络协议，被 Mastodon、PeerTube 等应用使用。该插件允许其他联邦平台的用户订阅 WordPress 博客，在联邦平台上发布的评论会成为博文的评论。除了 ActivityPub 协议，该公司还在测试其它去中心化社交协议，如支持 Nostr 和 Bluesky 的 AT 协议。消息来源：Tech Crunch老王点评：以 WordPress 所占据的 40% 的全球网站份额来说，这对去中心化网络很有推动作用。Meta 停止对 NFT 的支持Meta 发布消息称，该公司将关闭 Instagram 和 Facebook 上的 NFT 功能。这一功能去年 5 月才开始在特定的 Instagram 创作者中测试，6 月又有一些 Facebook 用户参与测试。到 7 月，Instagram 上为 100 个国家的创作者扩大了 NFT 支持。Meta 表示它正在将其投资从 NFT 转向 Meta Pay 等产品，以及使创作者能够直接在 Meta 平台上赚钱的功能。消息来源：Tech Crunch老王点评：除了特定的“文物”价值的 NFT 和功能性的 NFT，其它的小图片几乎没有任何价值。

硬核观察 #934 Meta 的大语言模型 LLaMA 被泄露
type: item
date: 2023-03-09T02:26:37+08:00
description: Meta 的大语言模型 LLaMA 被泄露之前，我们在 #926 中报道过，Meta 发布了能运行在单张显卡上的大语言模型 LLaMA。但 Meta 没有开源 LLaMA，而是通过邀请制的方式将源代码提供给选定的研究人员。不过很快，就有匿名用户通过 BT 种子 公开 了 LLaMA-65B，即有 650 亿个参数的 LLaMA，其容量为 220GB。它已被确认是真实的，已有用户在单张显卡上运行了 LLaMA，结果相当出色。尽管模型被泄露，Meta 公司说它将继续只与选定的研究人员分享 LLaMA。消息来源：The Register老王点评：有一种猜测，LLaMA 模型被泄露是 Meta 故意或预料中的。英特尔完成 1.8nm 和 2nm 生产节点的开发据报道，英特尔已经完成了 18A（1.8 纳米级）和 20A（2 纳米级）制造工艺的开发。这并不意味着生产节点已经准备好用于商业制造，而是意味着英特尔已经确定了这两种技术的所有规格、材料、要求和性能目标。英特尔的 20A 制造技术将依靠全栅极 RibbonFET 晶体管，并将使用背面供电。预计 20A 将使英特尔超越该公司的竞争对手 —— 台积电和三星代工。英特尔计划在 2024 年上半年开始使用这一节点。消息来源：Tom's Hardware老王点评：英特尔果然还是芯片巨人啊。高通推出用来取代 eSIM 的 iSIM高通公司表示，骁龙 8 代已经被认证为 “世界上第一个可商业化部署的 iSIM（集成 SIM）”。iSIM 是不断缩小 SIM 卡尺寸的下一步。eSIM 仍然是一个芯片，要占用你的主板空间，而 iSIM 是直接集成在 SoC 上的一个身份认证模块。SoC（片上系统）集成是使智能手机成为可能的技术，手机 SoC 芯片中集成了诸如 CPU、GPU、RAM、调制解调器和一些其他功能的上千个小芯片。消息来源：Ars Technica老王点评：我连 eSIM 都没用过呢，iSIM 就出来了。