来源:钛媒体,作者|林志佳
图片来源:由无界AI工具生成
当ChatGPT引发中美科技行业狂热之后,它的缔造者美国OpenAI公司如今又在人工智能可解释性研究领域获得重大突破。
钛媒体App5月10日消息,OpenAI今晨发布一个关于GPT-4语言模型解析神经元的对齐性研究成果,利用自研基于GPT-4技术的开源工具,来尝试计算其他架构、更简单语言模型上神经元的行为并对其进行评分,而且可以将其应用于另一种语言模型中的神经元——本次选择4年前发布、包含307200个神经元的大模型GPT-2为实验样本,公开了这些GPT-2神经元解释和分数的数据集。
Open Campus DAO正式成立,EDU持有者将可参与社区治理:6月16日消息,Web3教育协议Open Campus宣布成立Open Campus DAO。EDU持有者可通过提案流程参与DAO的治理。
此外,Open Campus DAO内设理事会,Animoca Brands创始人Yat Siu等5人担任理事会成员,负责审查和验证EDU持有人提交给理事会的提案是否符合DAO治理框架下标准所要求的标准,以及管理和监督EDU代币持有人成功批准的提案的实施等。[2023/6/16 21:42:00]
“我们的目标是使用Al来帮助我们理解Al”,OpenAI的这一研究对AI行业意味着,利用GPT-4和机器学习技术就能定义、测量AI可解释性,未来在神经元层将会产生“大模型比人脑更会思考”技术趋势。
数据:2月OpenSea在以太坊和Polygon上的交易量大幅下滑:2 月 26 日,Dune Analytics数据显示,2月份OpenSea在以太坊和Polygon区块链上的交易量增长趋势出现明显放缓,尤其是自2月14日以来,日均交易量一直呈现下跌趋势。业内人士分析这种情况可能与OpenSea出现网络钓鱼攻击和全球市场动荡形势有关。
截至目前,2月份OpenSea在Polygon区块链上总计出售了1748233枚NFT,而1月份这一数字是2685757枚。此外,1月份OpenSea在Polygon区块链上的交易金额为79249550.72美元,而2月迄今这一数字仅为64845510.12美元,减少约1400万美元。
与此同时,2月份OpenSea在以太坊区块链上总计出售了1957451枚NFT,而1月份这一数字是2465115枚。此外,1月份OpenSea在以太坊区块链上的交易金额为4954858223.88美元,而2月迄今这一数字仅为3366122009.9美元,减少约15亿美元。(ZellaNews)[2022/2/26 10:18:05]
OpenAI联合创始人GregBrockman则表示:我们迈出了使用AI进行自动化对齐研究的重要一步。
币高CtopEX即将上线XCH:据官方公告,币高Ctop EX将上线XCH,开通XCH/USDT交易对,充提开放时间待定。
据悉,Chia Network由传奇程序员Bram Cohen创立,可以借助廉价且冗余的未使用硬盘存储空间来验证其区块链。CHIA依赖于文件存储空间来验证,再将它与时间证明相结合,即可消除大量攻击的顾虑。[2021/4/27 21:02:31]
与此同时,OpenAI对此依然是一如既往的谦虚,文章称目前GPT-4生成的可解释实验还不完美,当比GPT-2更大模型时解释表现效果很差。OpenAI可拓展对齐团队的JeffWu直言,本次研究中大多数解释的得分很低,GPT-4或无法解释实际神经元那么多的行为,未来仍有技术改进空间。
美联社在OpenSea拍卖其首个NFT,以纪念美联社通过区块链发布2020年选举数据:3月4日,据Everipedia官方消息,美联社(AP)联合Everipedia与著名数字艺术家MarkoStanojevic合作,创作一件纪念首次在区块链上报道美国大选的NFT艺术品《AViewfromOuterSpace》。该作品在世界上最大的NFT市场OpenSea上拍卖。拍卖将于2021年3月3日(周三)开始,为期7天,所有投标价均以以太坊标价。据了解,该艺术作品由国际知名数字艺术家MarkoStanojevic设计,他曾为艾维奇(Avicii)、艾伦·沃克(AlanWalker)、阿莱索(Alesso)、Axwell&Ingrosso以及百事(Pepsi)和麦当劳(mcdonald)等全球化品牌创作过音乐视频、现场视觉效果和艺术作品。AViewfromOuterSpace是美联社为历史性事件制作的一系列绝版NFTs的第一个[2021/3/4 18:13:24]
比特币前核心开发者:OpenDEX为中心化交易提供了出色的存款模型:Linux基金会成员、比特币前核心开发者、Bloq CEO Jeff Garzik发布推特称,闪电网络最佳用途是交易,为中心化交易存款提供了出色的模型。非托管、高速和跨链交易都非常重要。理想的交易体验是以BTC和其他代币进行兑换。虽然封装BTC对以太坊和DeFi非常有用,但无法替代直接将BTC兑换为LTC、或将BTC兑换为ERC20代币,例如LINK。[2020/9/15]
据悉,自去年11月底至今,人工智能聊天机器人大模型ChatGPT风靡全球。根据Similarweb公布的最新数据,截至今年4月,ChatGPT平台访问量达到17.6亿次,比3月份增长了12.6%,同时已达到谷歌的2%。
ChatGPT背后的大型语言模型,是基于大量文本数据训练、包含数千亿参数的语言模型。在大数据时代,这类AI机器学习模型可以在提升产品销售、辅助人类决策过程中能够起到很大的作用,但是计算机通常不会解释它们的预测结果,而语言模型想要变得更强大,部署更广泛,就需要研究可解释性,因为人类对模型内部工作原理的理解仍然非常有限,例如可能很难从中检测到有偏见、性内容输出。
站在OpenAI的角度看,大模型未来将和人脑一样拥有“神经元”,这些神经元会观察文本中的特定规律,进而影响到模型本身生产的文本。所以可解释性就是将模型能用通俗易懂的语言进行表达,把模型的预测过程转化成具备逻辑关系的规则的能力,从而通过查看模型内部来发现更多信息。
例如,如果有一个针对“漫威超级英雄”的神经元,当用户向模型提问“哪个超级英雄的能力最强”时,这个神经元就会提高模型在回答中说出漫威英雄的概率,或者是弄清楚为什么人类神经元,可以决定进行某些搜索引擎查询或访问特定网站,即逐步转化一种有数据可解释性的“无监督学习”模式。
OpenAI这次使用GPT-4来解决可解释性的问题,就是希望能够使用自动化的方式,让机器提高AI数据准确性,文章称这是其对齐研究的第三支柱的一部分。据悉,“第三支柱”是公司2022年发布的《我们做对齐研究的方法》,具体对齐研究将由三大支柱支撑:利用人工反馈训练AI;训练AI系统协助人类评估;训练AI系统进行对齐研究。
具体到本次研究成果上,OpenAI开发了一套包含自动化工具和测试方法的评估流程:
首先,研究人员让GPT-2运行文本序列,等待某个特定神经元被频繁“激活”;
然后让GPT-4针对一段文本生成解释,例如通过GPT-4接收到文本和激活情况判断漫威是否与电影、角色和娱乐有关;
随后用GPT-4模拟GPT-2的神经元接下来会做什么,预测行为;
最后评估打分,对比GPT-4模拟神经元和GPT-2真实神经元的结果的准确度,在下图这个例子中,GPT-4的得分为0.34。
使用上述评分方法,OpenAI开始衡量他们的技术对网络不同部分的效果,并尝试针对目前解释不清楚的部分改进技术。OpenAI表示,他们正在将GPT-4编写的对GPT-2中的所有307,200个神经元的解释的数据集和可视化工具开源,同时还提供了OpenAIAPI公开可用的模型进行解释和评分的代码,从而希望学术界能开发出新的技术来提升GPT模型解释分数。
OpenAI还发现,有超过1000个神经元的解释得分至少为0.8分,这意味着GPT-4模型可以解释大部分人类神经元,同时目前GPT理解的概念似乎和人类不太一样。该团队称,希望随着技术和研究方法的改进,进一步提高AI模型可解释性能力:如通过迭代解释,可以让GPT-4想出可能的反例在根据激活情况修改解释;使用更大的模型作出解释;以及调整已解释模型结构等,用不同的激活函数训练模型有助于提高解释评分。
对于本研究局限性,OpenAI表示,目前GPT-4生成的解释还不完美,尤其要解释比GPT-2更大的模型时,表现效果很差;神经元复杂行为无法用简短的自然语言描述;OpenAI解释了神经元的这种行为,却没有试图解释产生这种行为的机制;而且整个过程算力消耗极大等。OpenAI希望在未来的工作中可以解决上述这些问题。
最终,OpenAI希望使用模型来形成、测试和迭代完全一般的假设,从而比肩人类大脑的想法和行为,以及将其大模型解释为一种在部署前后检测对齐和安全问题的方法。然而在这之前,OpenAI还有很长的路要走。
“我们希望这将开辟一条有前途的途径。”JeffWu表示,这一技术可以让其他人可以在此基础上构建并做出贡献的自动化方案,从而解决AI模型可解释性问题,很好地解释这些模型行为,比如AI如何影响人类大脑中的神经元等。
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。