LAI:高中教师养出40亿美元超级独角兽 Stable Diffusion背后数据集创建者_NEURALAI

他本是一位普普通通的高中教师,却活生生养出一个估值40亿美元独角兽。

而且方法也是非常的独特——

打造了世界最大的免费开源数据集,却从未从中收取过一分钱,也婉拒了各类工作的邀请。

他叫舒曼,在德国汉堡市的高中教物理和计算机科学。

两年前他创立了LAION,如今被用于各种生成模型,包括谷歌Imagen、Parti,以及惊艳全球的StableDiffusion。

就连StableDiffuision背后公司StabilityAI的创始人曾亲自来送钱时,他都表现出嗤之以鼻的样子,认定“这个人一定是疯了”。

或许他怎么也没想到,只不过两年前灵机一动,就带来了生成式AI的剧变。

受DALL-E启发

2021年新年之际,OpenAI重磅推出DALL-E,GPT-3首次成功实现跨界:

金色晚报 | 5月30日晚间重要动态一览:12:00-21:00关键词:CFTC、Bakkt、EOS、暗网

1. CFTC前主席:预计创建数字美元需5至10年;

2. 分析:交易所BTC余额下跌为多种因素共同作用的结果;

3. 多个国家超8万张信用卡数据在暗网上以加密货币支付方式出售;

4. Roger Ver称香港自动售卖机支持BCH而不是BTC 遭到网友质疑;

5. Kraken业务开发总监:一些机构进入加密领域是担心在技术进步中错失良机;

6. BB:初轮投票注重BP对EOS生态贡献,后续将生成更多标准;

7. 分析:Bakkt正在扮演衍生品和实物比特币市场间的接口角色;

8. 美国CFTC前主席:数字美元不可能一蹴而就;

9. 巨鲸转移逾1亿美元BTC,仅支付0.45美元的费用。[2020/5/31]

只需对着它说上一段话,就能生成对应图片。

一时间风光无两,吴恩达在内的科技大佬们都激动了,网友们都称其为甲方克星。

但在德国汉堡市郊区的一间房屋内,这位高中教师舒曼却产生了对数据私有化的担忧:

如果这一切都集中在一家、两家或三家公司,那将对社会产生非常糟糕的影响。

金色晨讯 | 5月20日隔夜重要动态一览:21:00-7:00关键词:BitMEX、花旗银行、产业区块链、期权市场

1.天津市:推动区块链等细分产业发展。

2.伊朗或将根据货币走私法限制加密货币交易所。

3.BitMEX官方宣布平台已重新上线。

4.CME比特币期货5月合约收跌0.67%。

5.花旗银行:央行数字货币和Libra不会使用工作量证明。

6.政协委员程静:产业区块链是未来国内区块链最大的落地方向。

7.周延礼:保险业应将区块链等应用于长期护理保险业务。

8.半数期权市场预计比特币今年将超过1万美元。

9.Visa董事长:法币支持的数字货币是有潜力的新兴支付技术。[2020/5/20]

当时,OpenAI发表了背后关键模型CLIP的论文。论文中显示,CLIP在4亿个图像-文本对上进行了预训练,在没有精细调整的情况下,最终在各种多模态基准中实现高性能。

由此可见数据集对于CLIP的重要性,但OpenAI并没有进行公开,它只开源了CLIP的代码和模型权重。

分析 | 金色盘面:PAI短线下挫 布林下轨获得支撑:金色盘面综合分析:PAI短线下挫,在布林轨道下轨得到短暂支撑,若跌破此位置则可能再次探底。[2018/8/10]

于是乎,舒曼就开始在Discord网罗了一群同为AI爱好者的朋友,尝试复制OpenAI同等水平的「文本-图像对」数据集。

没想到这一搞就搞了大半年,直到2021年8月他们首次发布了LAION-400M数据集,里面包含了4.13亿图像-文本对。

回顾整个创建过程,舒曼对彭博社这样形容:

就像是用数百万张抽认卡来教一个人一门外语。

他们用一个非盈利组织CommonCrawl在2014年到2021年期间,抓取的随机HTML代码来定位网络上的图像,并将这些图像与描述性文本联系起来,最后还得根据一定规则来过滤掉不适合的样本。

比如,删除了所有文本长度少于五个字符;图像小于5KB的的样本;关键字带有NSFW的……几周之内,他们就拥有了300万对图文对。

数据集发布之后就收到了各种反响,被用于诸多论文和实验。其中最具代表性的,就是GoogleBrain去年发布的Imagen——文本生成图像的扩散模型。

金色财经独家分析 交易所:监管同时应“有效自律”:此前的Upbit事件受到韩国最高金融监管机构的调查,同时韩国100多家交易所实名认证的问题也引起人们注意,在中心化交易所主导的加密货币交易情况下,行业自律和监管的问题再受关注。除了监管、调查之外的手段,自律也不可缺少。不过自律流于形式也是目前的一种现象,自律组织,行业协会在日韩兴起,不禁让人觉得向官方示好的成分多于实质性的自律,在政府监管之前自己先做出一种姿态,也表现出日韩交易所对于政策、监管风险的担忧,也有业内有关人士认为“行业自律”除了在少数一些国家发挥作用之外,大多数不太奏效。交易所要建立信任,实现长久发展,应该主动、高标准地实施向公众披露AML/KYC等相关举措。当然,鉴于中心化交易所的本质,无论如何人们还是需要考虑“是否值得信任”的问题,要想真正“去信任化”,需要多中心化交易所、钱包等共同营造良好的生态。[2018/5/14]

与此同时,更多机构开始关注到这个非盈利组织并给予资金支持。2021年他们就收到了HuggingFace的一次性捐赠。

金色财经独家分析 委内瑞拉在争议声中拓展石油币应用:金色财经独家分析,据Bitcoin.com报道,委内瑞拉唯一一家七星级酒店Humboldt酒店,接受委内瑞拉国家加密货币石油币进行付款。委内瑞拉推出石油币之后,就一直在努力拓展其应用场景,例如在石油销售中,委内瑞拉近期向印度提供采购石油七折优惠,唯一条件是使用委内瑞数字货币“石油币”进行支付。在这样的大力度推广下,似乎石油币逐渐变得受欢迎,然而石油币仍然受到很大争议,美国拥有百年历史的布鲁金斯学会在其网站上发表的一篇文章中警告称,委内瑞拉的石油币并不会拯救委内瑞拉陷入困境的经济,而是会伤害“合法的”加密货币,而且会削弱加密货币的完整性。经济学人刊文称委内瑞拉石油币不能达到其预期效果。认为委内瑞拉政府已经破坏了大众对石油币的信任。目前来看,虽然石油币备受质疑,然而,它仍然在质疑声中一步步努力发展,这一由首个由国家背书的加密货币未来发展如何,整个加密货币市场拭目以待。[2018/5/7]

但印象最深的一次,还要属一个对冲基金经理来到Discord聊天室。

当时他二话不说直接送钱,大概意思是:我给你们支付算力费用,没有任何附加条件。

舒曼团队对这个行为嗤之以鼻,甚至觉得他是个疯子:

一开始我们非常怀疑,但大概一个月后,我们获得了价值近1万美元的云计算服务。

后来,这个所谓的“疯子”创办了StabilityAI,使用LAION数据集推出了StableDiffusion,引领了生成式AI的浪潮,顺便还拐走了LAION组织的两个研究人员。

如今StabilityAI正在寻求40亿美元估值,这主要归功于LAION提供的数据。

据彭博社消息,舒曼却并没有从LAION中获利,原因很简单:不感兴趣,希望保持这份工作的独立性。

因此他还婉拒了各类工作邀请,依旧选择在德国汉堡当一名普普通通的高中老师。

本人:数据集不应该被监控

即便如此,随着LAION知名度打响,他还是避免不了地卷入到各种纷扰之中。

目前,LAION已经发布了10项数据集,最具代表性的就是去年3月发布的LAION-5B,由58.5亿个图像文本组成,是当前最大的免费开源数据集。

作为LAION-400M的继任者,它收到了来自HuggingFace、StabilityAI以及Doodlebot资助。

结果一发布就遭到了不小的争议,网友们纷纷质疑其数据未经整理,导致充斥大量的非法内容,对此LAION工程师RomainBeaumont回应:

非标注数据集是自我监督学习的基础,这是机器学习的未来。没有人工标注的图像/文本是一项功能,而非错误。

早在Imagen发布时,也专门针对LAION-400M做出警示:因为依赖于这种未经整理的网络数据,集成了大模型的社会偏见和限制,因此不适合公开使用。

据彭博社消息,为了打造LAION,舒曼团队从亚马逊网络服务、Shopify等公司获取视觉数据,还有包括YouTube缩略图、各类新闻网站上的内容。

对此舒曼表示,任何在网上免费提供的东西都是公平竞争,欧盟也没有人工智能法规。

更何况,也没有人知道OpenAI实际上用什么样的数据集训练AI的。

目前,LAION被迫卷入两场诉讼之中,一起是StabilityAI与Midjourney等集体诉讼,被指使用艺术家的版权图片来训练他们的模型;

另一起是GettyImages起诉StabilityAI,称其1200万张照片被LAION取走,并用来训练StableDiffusion。

而舒曼将LAION比作大信息技术海啸之上一艘“小型研究船”,采取海下的样本向世界展示。

其实早在构建数据库时,他们就在运行一个自动化过滤工具,不过舒曼感兴趣的不是清理,而是从这些资产中学习。

我们本可以从公布的数据中过滤掉暴力,但我们决定不这样做,因为这将加快暴力检测软件的开发。

现在更多关于监管的建议在推动,各个科技大厂也在采取相应的措施,比如英伟达就开源了护栏工具,来防止大模型来胡说八道。

但在舒曼看来,数据集不应该被监控。这也正是当时创建LAION时候的初心。

他还警告,如果我们试图放慢速度、过度监管,就会有很大的危险,最终只有少数大公司能负担得起所有的正式要求。

前段时间,在LAION与全球志愿者的合力之下,他们完成了ChatGPT最大开源平替OpenAssistant的发布。

60万余条训练数据全部由人工生成,涵盖了广泛的话题和语言风格,一时间引发众人关注,HuggingFace也直接拿来用来构建它自己的聊天软件HuggingChat。

拿着德国铁饭碗

不可否认的是,他已经在用开源数据集,加剧了生成式AI的浪潮。

但在舒曼的个人网站上,看到的只是一位两个孩子的父亲,在德国当着终身制公务员,游走于中学校之间讲授物理和计算机科学。

舒曼拥有维也纳大学计算机科学与物理学学位。在学习这两个专业之前,他还学了心理学。。

除此之外,他还在学习表演,制作了一部关于孩子学习的纪录片「SchoolsofTrust」。

最近,这位高中教师也没闲着,他还将作为2023年智源大会嘉宾参与邀请报告与线上论坛环节。

参考链接:https://laion.ai/blog/laion-400-open-dataset/https://www.bloomberg.com/news/features/2023-04-24/a-high-school-teacher-s-free-image-database-powers-ai-unicornshttp://christoph-schuhmann.de/https://www.infoq.com/news/2022/05/laion-5b-image-text-dataset/https://laion.ai/projects/

来源:元宇宙之心

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

区块博客

中币交易所WEB3:四月 是属于香港Web3的_WEB

去年十月,香港官宣拥抱Web3,此政策一出,便点燃了众人希望。今年四月,香港Web3活动异常火爆,短短一个月时间,有超过100场与Web3相关的会议和活动在香港举办,Web3从业者直言“香港的会.

[0:15ms0-6:205ms