来源：量子位
从Meta的LLaMA发展出的羊驼家族一系列大模型，已成为开源AI重要力量。
但LLamA开源了又没全开，只能用于研究用途，还得填申请表格等，也一直被业界诟病。
好消息是，两大对标LLaMA的完全开源项目同时有了新进展。
可商用开源大模型来了，还一下来了俩：
MosaicML推出MPT系列模型，其中70亿参数版在性能测试中与LLaMA打个平手。
Together的RedPajama系列模型，30亿参数版在RTX2070游戏显卡上就能跑。
新加坡WBF交易所内两大币种GOC与GOCP近日大涨:据官方消息显示，近日新加坡WBF交易所内两大币种GOC与GOCP大涨，GOC两周内涨幅高达233%，现报价2.01 U。
GOCP自开盘价0.3U以来，涨幅达18289%，现报价4.874U。
据悉，GOC是基于ETH3.0区块链技术，打造首家去中心化无边界链上数字增益平台，公链运用DPOS共识机制，通过多个超级节点实现算力分发。
GOCP是一条基于区块链底层技术的完全去中心化、高吞吐量、可扩展、高度安全的公有链，原生代币为GOCP，拥有高效共识机制、高性能交易处理能力、强大的智能合约引擎。[2021/3/12 18:40:00]
对于这些进展，特斯拉前AI主管AndrejKarpathy认为，开源大模型生态有了寒武纪大爆发的早期迹象。
EthFans总编：以太坊2.0与现在的以太坊相比有两大区别:金色财经报道，在今日OKEx矿池与以太坊中国社区主办的ETH 2.0 AMA中，EthFans总编阿剑表示，以太坊2.0 是为以太坊生态打造的下一代区块链底层，它跟现在的以太坊相比有两大区别：一是使用 PoS（权益证明）算法来推动区块链的运行；二是使用 “信标链+多分片链” 的架构来提高可扩展性。简单来说，以太坊2.0 不再由运行工作量证明算法的矿工来出块；而是各存储了保证金的验证者用数字签名来表达对区块的认可，由此确定主链并使状态获得终局性（finality）。此外，信标链 + 多分片链的架构实际上是将 PoS 机制内部的状态与普通用户交易的状态分离了开来，信标链不再执行交易，交易的执行都交给分片链（可以理解为多个与当前的以太坊有同样复杂性的区块链），而信标链负责敲定状态并沟通各分片。更多详情见原文链接。[2020/6/17]
MPT，与LLaMA五五开
独家 | 胡继晔：中欧与美国两大货币体系的格局已逐渐显露出来:中国政法大学区块链金融法治研究中心主任胡继晔在对EURO Chain进行分析时表示，美联储对Libra的态度非常暧昧，Libra也向美联储做了大量的说明工作。我认为，Libra就是美联储在全球货币霸权方面的另一个白手套。
中国、欧盟、美国这三大经济体，三大央行对峙，他们对于未来数字经济和数字金融的观点和态度各不相同。如果把这三大经济体分成两大阵营的话，中欧是一个阵营，美国及其Libra是一个阵营。中欧的货币体系能否与美国对抗，还有待观察。但是可以看到的是，一个崭新的两大货币体系的格局已经逐渐显露出来。[2019/12/27]
MPT系列模型，全称MosaicMLPretrainedTransformer，基础版本为70亿参数。
MPT在大量数据上训练，与LLaMA相当，高于StableLM，Pythia等其他开源模型。
声音 | Tom Lee：两大催化剂将推动比特币价格上涨:据ccn报道，整个2018年，比特币的价格一直处于历史低点，目前的主要阻力位分别为1万美元、8000美元和7000美元。汤姆?李(Tom Lee)表示：不管比特币的低点如何，它在6000美元的稳定都是乐观的。比特币在6000美元的稳定性，以及两大催化剂，可能会在未来两个月内大幅推高比特币的价格。两大催化剂指：加密货币交易市场基础设施的加强，以及害怕错过机构投资者(FOMO)。[2018/9/30]
支持84ktokens超长输入，并用FlashAttention和FasterTransformer方法针对训练和推理速度做过优化。
在各类性能评估中，与原版LLaMA不相上下。
除了MPT-7BBase基础模型外还有三个变体。
MPT-7B-Instruct，用于遵循简短指令。
MPT-7B-Chat，用于多轮聊天对话。
MPT-7B-StoryWriter-65k+，用于阅读和编写故事，支持65ktokens的超长上下文，用小说数据集微调。
MosaicML由前英特尔AI芯片项目Nervana负责人NaveenRao创办。
该公司致力于降低训练神经网络的成本，推出的文本和图像生成推理服务成本只有OpenAI的1/15。
RedPajama，2070就能跑
RedPajama系列模型，在5TB的同名开源数据上训练而来。
除70亿参数基础模型外，还有一个30亿参数版本，可以在5年前发售的RTX2070游戏显卡上运行。
目前70亿版本完成了80%的训练，效果已经超过了同规模的Pythia等开源模型，略逊于LLamA。
预计在完成1Ttokens的训练后还能继续改进。
背后公司Together，由苹果前高管VipulVedPrakash，斯坦福大模型研究中心主任PercyLiang，苏黎世联邦理工大学助理教授张策等人联合创办。
开源模型发布后，他们的近期目标是继续扩展开源RedPajama数据集到两倍规模。
OneMoreThing
来自南美洲的无峰驼类动物一共4种，已被各家大模型用完了。
Meta发布LLaMA之后，斯坦福用了Alpaca，伯克利等单位用了Alpaca，JosephCheung等开发者团队用了Guanaco。
以至于后来者已经卷到了其他相近动物，比如IBM的单峰骆驼Dromedary，Databricks的Dolly来自克隆羊多莉。
国人研究团队也热衷于用古代传说中的神兽，如UCSD联合中山大学等推出的白泽。
港中文等推出的凤凰……
最绝的是哈工大基于中文医学知识的LLaMA微调模型，命名为华驼。
参考链接：
https://www.mosaicml.com/blog/mpt-7b
https://www.together.xyz/blog/redpajama-models-v1
https://twitter.com/karpathy/status/1654892810590650376?s=20
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。