来源丨元宇宙简史
作者丨元宇宙简史编辑Eco
OpenAI最新研究利用GPT-4自动进行大语言模型中神经元行为的解释和评分，并将其应用于另一种语言模型GPT-2，公开了这些GPT-2神经元解释和分数的数据集。这项技术让人们能够利用GPT-4来定义和自动测量AI模型的可解释性，从而更好地理解智能是如何工作的。
大语言模型是基于大量文本数据训练，包含数千亿或更多参数的语言模型。
在大数据时代，这类AI机器学习模型可以在提升产品销售、辅助人类决策过程中起到很大的作用。
但是计算机通常不会解释它们的预测结果，而语言模型想要变得更强大、部署更广泛，就需要研究可解释性，因为人类对模型内部工作原理的理解仍然非常有限，例如可能很难从中检测到有偏见、性内容输出。
金色午报｜12月15日午间重要动态一览:7:00-12:00关键词：Anchorage、华为、泰国央行、印度
1.Anchorage宣布已完成3.5亿美元D轮融资；
2.华为申请元宇宙关联商标；
3.泰国央行将于明年1月发布数字资产监管咨询文件；
4.印度可能不会在议会会议上推出加密法案；
5.Brinc完成由Animoca Brands领投的1.3亿美元融资；
6.美国国税局公布最终版1040表格，包含修改后的加密货币相关提问；
7.美国两党参议员要求财政部长说明如何定义加密货币税收报告的 \"经纪人\"；
8.Acala发布路线图，ACA 代币将在创世的前4周内分发。[2021/12/15 7:40:32]
可解释性就是将模型能用通俗易懂的语言进行表达，把模型的预测过程转化成具备逻辑关系的规则的能力，从而通过查看模型内部来发现更多信息。
金色晨讯 | 12月26日隔夜重要动态一览:21:00-7:00关键词：Ripple、Zilliqa、比特币创新高
1.北京金融科技创新监管试点第三批应用对外公示；
2.Ripple总法律顾问：SEC精心挑选并删减了事实；
3.仅五只美国股票在2020年的表现优于比特币；
4.Bitstamp将暂停所有美国客户的XRP交易及存款；
5.Zilliqa：已引入临时修复程序 网络恢复正常交易；
6.国家邮政局徐婧：邮政业要积极运用区块链等信息技术；
7.欧盟委员会提议设立规模为50亿欧元的脱欧调整储备金；
8.比特币持续上涨，日内最低报23989.26美元，最高报24777.77美元。[2020/12/26 16:33:30]
例如，如果有一个针对“漫威超级英雄”的神经元，当用户向模型提问“哪个超级英雄的能力最强”时，这个神经元就会提高模型在回答中说出漫威英雄的概率。
金色相对论丨林晗：以太坊2.0通过“信标链+多分片链”模式提高网络的可扩展性:在今日举行的金色相对论中，针对“以太坊2.0相对于以太坊1.0主要改进在哪里？”的提问，OKEx矿池运营总监林晗发言指出：以太坊2.0和现有以太坊网络的最大区别之处在于，改用PoS机制代替PoW机制来对交易顺序达成共识。PoS和PoW一个显著的区别在于，PoW机制的网络中，是算力决定话语权；而在PoS机制的网络中，是持币的数量和时间决定话语权。以太坊2.0的目标是提高以太坊的可扩展性、安全性和可编程性。通过“信标链+多分片链”模式，每一条分片链都是一条单独的链，很多条分片链由信标链统一起来，这将有效提高整个网络的可扩展性。所以以太坊2.0之所以转为PoS机制，最重要的一个原因其实是出于本身性能优化的考虑。当然，转为PoS机制的以太坊，相对于PoW机制而言，也会降低参与门槛，让更多的普通用户参与到整个区块链网络的治理中。[2020/6/17]
BTS最大网关Openledger DEX将于5月15日彻底关停:OpenLedger DEX将于2020年5月15日彻底关闭，不再提供服务。
据了解，openledger 是bitsharess上最大的网关，由丹麦公司运营用户充值EOS到openledger网关，openledger给用户同等的OPEN.EOS，可以在bitshares去中心化交易所交易。网关可以实现兑换场内token，实现任意资产在bitshares上交易。（比特股）[2020/5/3]
站在OpenAI的角度看，大模型未来将和人脑一样拥有“神经元”，这些神经元会观察文本中的特定规律，进而影响到模型本身生产的文本。
所以可解释性就是将模型能用通俗易懂的语言进行表达，把模型的预测过程转化成具备逻辑关系的规则的能力，从而通过查看模型内部来发现更多信息。
为了实现这个目标，OpenAI最近发布了一个关于GPT-4语言模型解析神经元的对齐性研究成果，利用自研基于GPT-4技术的开源工具，来尝试计算其他架构、更简单语言模型上神经元的行为并对其进行评分。
动态 | 耶鲁大学Yale openlab获15万美元资助，将使用区块链应对气候变化:据cryptobriefing报道，耶鲁大学的颠覆性新技术孵化器Yale openlab刚刚从Social Alpha Foundation获得了15万美元的资助，以通过区块链应对气候变化。该笔资金将用于开发去中心化碳排放跟踪工具。[2019/3/14]
而且，还可以将其应用于另一种语言模型中的神经元——本次选择4年前发布、包含307200个神经元的大模型GPT-2为实验样本，公开了这些GPT-2神经元解释和分数的数据集。
“我们迈出了使用AI进行自动化对齐研究的重要一步。”OpenAI联合创始人GregBrockman表示。
具体来说，OpenAI开发了一套包含自动化工具和测试方法的评估流程：
首先，研究人员让GPT-2运行文本序列，等待某个特定神经元被频繁“激活”；
然后，让GPT-4针对一段文本生成解释，例如通过GPT-4接收到文本和激活情况判断漫威是否与电影、角色和娱乐有关；
随后用GPT-4模拟GPT-2的神经元接下来会做什么，预测行为；
最后评估打分，对比GPT-4模拟神经元和GPT-2真实神经元的结果的准确度，在下图这个例子中，GPT-4的得分为0.34。
使用上述评分方法，OpenAI开始衡量他们的技术对网络不同部分的效果，并尝试针对目前解释不清楚的部分改进技术。例如，他们发现以下方式有助于提高分数：
-迭代解释。他们可以通过让GPT-4想出可能的反例，在根据其激活情况修改解释来提高分数；
-使用更大的模型来进行解释。随着解释模型能力的提升，平均得分也会上升。然而，即使是GPT-4给出的解释也比人类差，这表明还有改进的余地；
-改变被解释模型的架构。用不同的激活函数训练模型提高了解释分数。
OpenAI表示，他们正在将GPT-4编写的对GPT-2中的所有307,200个神经元的解释的数据集和可视化工具开源，同时还提供了OpenAIAPI公开可用的模型进行解释和评分的代码，从而希望学术界能开发出新的技术来提升GPT模型解释分数。
OpenAI还发现，有超过1000个神经元的解释得分至少为0.8分，这意味着GPT-4模型可以解释大部分人类神经元，同时目前GPT理解的概念似乎和人类不太一样。例如，他们发现了一些有趣但GPT-4并不理解的神经元。
这些神经元似乎对文本中的某些特征或模式有敏感度，但是GPT-4无法用简单的语言描述它们。OpenAI希望随着技术和研究方法的改进，进一步提高AI模型可解释性能力，从而更好地理解这些神经元的行为和意义。
对于本研究局限性，OpenAI表示，目前GPT-4生成的解释还不完美，尤其要解释比GPT-2更大的模型时，表现效果很差。
神经元复杂行为无法用简短的自然语言描述，OpenAI解释了神经元的这种行为，却没有试图解释产生这种行为的机制，而且整个过程算力消耗极大等。
OpenAI希望在未来的工作中可以解决上述这些问题，最终OpenAI希望使用模型来形成、测试和迭代完全一般的假设，从而比肩人类大脑的想法和行为，以及将其大模型解释为一种在部署前后检测对齐和安全问题的方法。
然而在这之前，OpenAI还有很长的路要走。
“我们希望这将开辟一条有前途的途径。”JeffWu表示，这一技术可以让其他人可以在此基础上构建并做出贡献的自动化方案，从而解决AI模型可解释性问题，很好地解释这些模型行为，比如AI如何影响人类大脑中的神经元等。
严正声明：本文为元宇宙简史原创，未经授权禁止转载！内容仅供参考交流，不构成任何投资建议。任何读者若据此进行投资决策，风险自担。
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。