原文作者：Tanya Malhotra
来源：Marktechpost
近年来，大型语言模型（Large Language Models，LLMs）在全世界受到了广泛赞赏，并在自然语言处理领域备受欢迎。这使我们能够使用比以往任何时候都更好、更清晰的语言理解来描述智能系统（Intelligent Systems）。
诸如 GPT-3、T5、PaLM 等 LLMs 的性能有了显着提高，并且这些模型将继续存在，因为它们可以完成从通过学习阅读来模仿人类，到生成文本和总结长段落内容的所有工作。而根据一些深入的研究，如果 LLM 的规模很大，那么它的表现就会很好。通过在大量数据上训练这些模型，它们可以理解人类语言的语法、语义和语用学。
分析：Alameda是WBTC最大铸造者，但不足以构成系统性风险:11月26日消息，最近WBTC/BTC脱锚引发加密社区成员的质疑。推特用户Castaneda指出，根据WBTC生态系统的机制，当商家希望创建新的WBTC时，它必须首先向托管方提供真实的BTC，托管方随后铸造新WBTC并将其提供给商家。当商家希望收回BTC时，他们必须销毁相同数量的WBTC，因此确保其WBTC数量不超过BTC。Alameda至少从2020年9月28日起在Wayback Machine Checkpoint充当商家，但Alameda仅能铸造WBTC，而不能托管BTC。如今Alameda不再被列为商家，审计页面中也无法找到Alameda托管方钱包。Castaneda表示，通过检查其之前托管方的钱包，发现钱包已清空，并且最后的5000枚BTC在11月11日被提走，就在FTX崩溃后不久。
Castaneda强调，“然而，我们不认为这会带来任何系统性风险，因为真正重要的是，托管方仍保留必要的储备，以确保WBTC/BTC之间的1:1比例。虽然人们仍然可以用1枚WBTC换1枚BTC，但有可能在出现折价时套利。根据我们的评估中，WBTC看起来仍然稳健，价格波动似乎更多是由市场恐慌而非资不抵债造成的。”[2022/11/26 20:47:43]
由 OpenAI 开发的流行的大型语言模型 ChatGPT 之所以发展得如此之快，正是因为采用了人类反馈强化学习（RLHF）等先进技术。通过 RLHF，机器学习算法结合并使用人工输入提高了模型的性能。它针对预训练的 LLM 进行了微调，用于开发聊天机器人、虚拟助手等任务。
分析：Curve流动性提供商接收超300万美元v1 yDAI vault被盗资金:DeFi协议Yearn Finance今日报告称，其v1 yDAI vault在2月5日被黑客攻击，损失金额达1100万美元。但是黑客未能从中获得最大收益，Curve流动性提供商从攻击中获得了更多收益。Yearn finance核心开发者banteg随后表示，黑客已经窃取了51.3万枚DAI和170万美元的USDT，其余的以CRV代币的形式存在。Aave创始人Stani Kulechov则表示，这次攻击包含一个复杂的漏洞，涉及多个DeFi平台的160多笔交易，花费了逾5000美元的Gas费用。风投投资者Julien Thevenard指出，从vault被盗的资金中，有超过300万美元被DeFi贷款平台Curve上的流动性提供商接收。Yearn finance核心开发者Banteg也表示，Thevenard分析是准确的。（Cointelegraph）[2021/2/5 18:57:49]
此外，ChatGPT 等 LLMs 所基于的预训练基础模型也得到了明显的改进。这主要是由于三个方面的变化：
分析：技术指标显示ETH或出现回调:尽管以太坊最近几天的价格走势让许多人相信牛市正在酝酿之中，但这一趋势可能会暂时消失。一位名为“Joseph”的交易员指出，他自己使用的一个用于追踪趋势持续的专用指标正在形成三月暴跌前曾出现的迹象。此外，还有其他预期和指标显示，ETH价格有可能出现回调。（Bitcoinist）[2020/7/26]
1.实践证明，模型的扩展性（Scaling）对提高其性能很有帮助。以 Pathways 语言模型（Pathways Language Model，PaLM）为例，该模型通过扩展小样本学习（few-shot learning）大大影响了其性能，小样本学习可以减少根据具体应用调整模型所需的特定任务训练实例的数量。
分析：因疫情短期无法解决 比特币等数字领域可能还会出现剧烈波动:传统股票和比特币之间的相关系数在3月12日大幅上升，因为这两种资产类别都面临大幅下跌。根据Arcane Research的数据，BTC的估值与标准普尔500指数之间的相关性是有史以来最高的，相关系数从0.1上升到0.5。量子经济学创始人Mati Greenspan则表示，考虑到比特币的不稳定性以及之前提到的在新冠病传播过程中的衰退威胁，加密货币是一种值得依赖的风险资产。由于对经济衰退的担忧也在加剧，人们更有可能关注生存，而不是投资。大多数人将需要法定货币来维持他们的生计，而不是购买BTC或任何其他加密资产本身。比特币与标准普尔500指数的关联度也在下跌，此前该指数的负相关系数为- 46.9%。这在很大程度上是由于比特币在3月13日经历了16%的回调。但由于新冠病的情况远未在短期内得到解决，比特币和数字行业的其他领域可能会在短期内出现剧烈的价格波动。（AMBCrypto）[2020/3/15]
通过使用 Pathways 语言模型在 6144 TPU v4 芯片上扩展和训练 5400 亿个参数，PaLM 展示了重复扩展的好处，其表现超过了各种传统模型，并显示出很大的进步。因此，深度和宽度的扩展都是提高基础模型性能的一个重要因素。
2.另一个变化是在预训练时增加标记数量的过程。像 Chinchilla 这样的模型（开源语言模型）已经证明，通过增加预训练数据，大型语言模型的表现会更好。
Chinchilla 是一个计算最优模型。在相同的计算预算下，在 70B 参数和比 Gopher 模型多四倍的数据上进行训练，Chinchilla 的表现一致优于 Gopher，它甚至比 GPT-3、Jurassic-1 和 Megatron-Turing NLG 等 LLMs 效果更好。这清楚地描述了对于每一个计算最优的训练，标记的数量应该相应地缩放——即模型大小的两倍，因此训练标记的数量应该是两倍。
3.第三个变化是使用干净和多样化的预训练数据。Galactica 的性能证明了这一点，它是一种存储、混合和推理科学知识的大型语言模型。经过几篇科学论文文本的训练，Galactica 的表现优于 GPT-3、Chinchilla 等模型。另一个大型语言模型 BioMedLM 是一种针对生物医学文本的特定领域 LLM，在针对特定领域数据进行训练时，它表现出了巨大的性能提升。它清楚地表明，在特定领域的数据上进行的预训练胜过在通用数据上的训练。
LLMs 的成功无疑归功于多种因素的混合，包括 RLHF 的使用和预训练基础模型的发展。这三个变化极大地影响了 LLMs 的性能。此外，GLaM（通用语言模型）通过使用稀疏激活的混合专家架构（Mixture-of-Experts architecture），以更少的训练成本扩展模型的容量，从而显着提高了性能。因此，这些变化为更高级的语言模型开辟了道路，而这些模型将继续让我们的生活变得轻松。
DeFi之道
个人专栏
阅读更多
金色财经 善欧巴
金色早8点
Odaily星球日报
欧科云链
Arcane Labs
深潮TechFlow
MarsBit
BTCStudy
澎湃新闻
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。