ChatGPT引爆的AI热潮也“烧到了”金融圈，彭博社重磅发布为金融界打造的大型语言模型——BloombergGPT。
3月30日，根据彭博社最新发布的报告显示，其构建迄今为止最大的特定领域数据集，并训练了专门用于金融领域的LLM，开发了拥有500亿参数的语言模型——BloombergGPT。
报告显示，该模型依托彭博社的大量金融数据源，构建了一个3630亿个标签的数据集，支持金融行业内的各类任务。该模型在金融任务上的表现远超过现有模型，且在通用场景上的表现与现有模型也能一较高下。
一般来说，在NLP领域，参数数量和复杂程度之间具有正相关性，GPT-3.5模型的参数量为2000亿，GPT-3的参数量为1750亿。
ChatGPT金融业应用首批研究成果可解读美联储声明、预测股价:金色财经报道，Man AHL机器学习在4月发表了两篇新论文——《ChatGPT能否解读美联储表态？》和《ChatGPT可以预测股价走势吗？回报可预测性和大型语言模型》，将这一人工智能聊天机器人应用于市场相关的任务，一项是解读美联储的声明是鹰派还是鸽派，另一项是确定消息面对某只股票而言是利好还是利空。ChatGPT在两项测试中都取得了出色的成绩，暗示该技术在将新闻报道、推文和演讲稿等大量文字转化为交易信号方面，可能迈出了重大一步。（新浪财经）[2023/4/18 14:09:37]
关于BloombergGPT
报告指出，研究人员利用彭博社现有的数据，对资源进行创建、收集和整理，通过构建迄今为止最大的特定领域数据集来完成BloomberGPT，并基于通用和金融业务的场景进行混合模型训练：
动态 | 纽交所为Bakkt测试举行启动仪式 外媒解读此举表明监管机构已为Bakkt开绿灯:据Trustnodes消息，比特币结算期货平台Bakkt将于7月22日开始测试。7月18日，纽约证交所(NYSE)董事会已举行比特币结算期货启动仪式。区块链投资基金Pantera Capital首席执行官Dan Morehead表示在Bakkt数字资产峰会(Bakkt Institutional Digital Asset Summit)上表示:“我们坐在纽约证交所的董事会会议室里——这是比特币的第一次。”Trustnodes评论称，到目前为止，峰会没有取得什么成果，也不清楚是否有媒体受邀，但此次活动的举办表明，经过数月的漫长过程，Bakkt目前正在推进比特币期货的测试工作。Bakkt已经通过自我认证获得了美国商品期货交易委员会(CFTC)的批准，经过长时间的谈判，旧的规章制度得到了政策上的调整。[2019/7/20]
彭博社主要是一家金融数据公司，数据分析师在公司成立的四十年的时间里收集了大量的金融文件，拥有广泛的金融数据档案，涵盖了一系列的主题。
动态 | 加密资产机构加大对软件开发商投入，以通过算法解读市场情绪:据cointelegraph消息，随着近期比特币波动性的加剧，加密资产管理公司和对冲基金正在加大对软件开发商的投入，以通过算法研究解读市场情绪。帮助他们解释和利用市场情绪信号，获得更高的收益。[2019/7/17]
我们将这些数据添加到公共数据集中，以创建一个拥有超过7000亿个标签的大型训练语料库。
使用这个训练语料库的一部分，我们训练了一个具有彭博风格的，达500亿参数的模型，该模型是根据Hoffmann和LeScao等人的指导方针设计，基于通用和金融业务的场景进行混合模型训练。
结果表明，我们的混合训练方法使我们的模型在金融任务上的表现大大超过了现有的模型，而在通用场景上的表现则与之相当甚至优于现有模型。
动态 | 区块链技术助力共建中国人群基因变异解读标准数据库发布:据央广网消息，5月27日，“区块链技术助力共建中国人群基因变异解读标准数据库”在2019数博会“生命大数据高峰论坛”上发布。华大集团大数据中心副主任杨梦表示，数据库的建立必须满足可公开、可溯源、不可篡改、迭代更新、临床信息溯源、符合伦理法规等条件，而利用区块链技术可以实现账本公开、所有历史信息留痕、哈希摘要上链、分布式共识、私有数据存证、细颗粒度权限控制等。[2019/5/28]
1.BloombergGPT优势：特定领域模型仍有其不可替代性且彭博数据来源可靠
赵长鹏解读钓鱼网站运作方式:币安创始人赵长鹏再发推文，剖析了钓鱼网站运作方式，他首先配图指出钓鱼网站的域名中两个字母下方比正确地址多了两个点。他还表示，用户在钓鱼网站登录后跳转到真的币安。此外一旦登录后，用户就不能再进入钓鱼网站，而是自动跳转到币安（即使登出账号后）。[2018/3/8]
在论文中，彭博社指出，现阶段，通用的自然语言处理模型可以涵盖许多领域，但针对特定领域模型仍有其不可替代性，因彭博社的大多数应用均为金融领域，着手构建了一个针对金融领域的模型尤其优势，同时可以在通用LLM基准测试上保持竞争力：
除了构建金融领域的LLM外，本文的经验也为其他研究领域的专用模型提供了参考。我们的方法是在特定领域和一般数据源上训练LLM，以开发在特定领域和通用基准上表现优异的模型。
此外，我们的训练数据不同于传统的网络爬取数据，网络上的数据总有重复和错误，但我们的数据来源可靠。
2.BloombergGPT的训练数据集：
BloombergGPT的训练数据库名为FINPILE，由一系列英文金融信息组成，包括新闻、文件、新闻稿、网络爬取的金融文件以及提取到的社交媒体消息。
为了提高数据质量，FINPILE数据集也使用了公共数据集，例如ThePile、C4和Wikipedia。FINPILE的训练数据集中大约一半是特定领域的文本，一半是通用文本。为了提高数据质量，每个数据集都进行了去重处理。
对金融领域的理解更准
报告指出，在金融领域中的自然语言处理在通用模型中也很常见，但是，针对金融领域，这些任务执行时将面临挑战：
以情感分析为例，一个题为“某公司将裁员1万人”，在一般意义上表达了负面情感，但在金融情感方面，它有时可能被认为是积极的，因为它可能导致公司的股价或投资者信心增加。
报告指出，从测试来看，BloombergGPT在五项任务中的四项表现最佳，在NER中排名第二。因此，BloombergGPT有其优势性。
测试一：ConvFinQA数据集是一个针对金融领域的问答数据集，包括从新闻文章中提取出的问题和答案，旨在测试模型对金融领域相关问题的理解和推理能力。
测试二：FiQASA，第二个情感分析任务，测试英语金融新闻和社交媒体标题中的情感走向。
测试三：标题，数据集包括关于黄金商品领域的英文新闻标题，标注了不同的子集。任务是判断新闻标题是否包含特定信息，例如价格上涨或价格下跌等。
测试四：FPB，金融短语库数据集包括来自金融新闻的句子情绪分类任务。
测试五：NER，命名实体识别任务，针对从提交给SEC的金融协议中收集金融数据，进行信用风险评估。
对于ConvFinQA来说，这个差距尤为显著，因为它需要使用对话式输入来对表格进行推理并生成答案，具有一定挑战性。
ChatGPT为彭博点赞
华尔街见闻就这个问题专门询问了ChatGPT，ChatGPT认为BloombergGPT是一项很有意义的技术进步：
它是专门为金融领域开发的一种语言模型，可以更好地处理金融领域的数据和任务，并且在金融领域的基准测试中表现出色。
这将有助于金融从业者更好地理解和应用自然语言处理技术，促进金融科技的发展。同时，BloombergGPT还可以为其他领域的语言模型的发展提供参考和借鉴。总的来说，BloombergGPT是一个有益的技术创新。
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。