作 者丨白杨。
编 辑丨林曦。
图 源丨视觉中国。
与正式亮相时隔4个月之后，创新工场董事长兼ceo李开复创办的ai公司“零一万物”有了新进展。
11月6日，零一万物正式发布了开源大模型“yi”。目前，yi系列模型已在 hugging face、modelscope、github 三大全球开源社区平台上线，并对外开放了商用申请。
李开复说，开源对推动世界技术革命的发展有着非常重要的意义，从linux开始，到各种ai技术，再到今天ai 2.0，一直有开源的力量在不断地推动一波波的技术浪潮。
这也是零一万物选择做开源大模型的原因。“零一万物的发展受益于此前开源社区的一些集体智慧，这也让我们有义务去做一些贡献”，李开复表示，“很多人觉得大模型需要超级多的资源，只有openai、微软、谷歌、阿里、、腾讯这样的公司才能做，但是任何技术都是需要全球化的参与，而开源的方向是让大家都有机会能够接触到大模型。”
“烧钱”
今年3月，李开复在社交平台正式宣布要创办一家ai公司。到了7月，新公司正式定名为“零一万物”，并已有数十名核心成员，主要集中在大模型技术、人工智能算法、自然语言处理、系统架构、算力架构、数据安全、产品研发等领域。
据当时介绍，零一万物的联创团队成员包含前阿里巴巴副总裁、前副总裁、前滴滴/首席算法负责人、前谷歌中国高管、前微软/sap/cisco/副总裁，算法和产品团队背景均来自国内外大厂。
在发布yi系列模型的同时，零一万物的部分团队成员也首度亮相。比如零一万物技术副总裁及 pretrain 负责人黄文灏曾先后任职于微软亚洲研究院和智源研究院，非常早就介入了ai 2.0工作。
零一万物技术副总裁及ai infra负责人戴宗宏此前曾担任过华为云ai cto及技术创新部长、阿里达摩院ai infra总监。他管理的infra团队核心成员主要来自于阿里、华为、微软、商汤，这些人曾经参与支持了4个千亿参数大模型规模化训练，管理过数万张gpu卡。
有了丰富的人才储备之后，零一万物还需要解决数据和算力等问题。据李开复介绍，零一万物想尽了各种办法和渠道解决数据问题。“我们在外购买了很多数据，也动用网络爬虫，去合法获取允许的**内容，同时也用了很多网上已经开源分享的数据。不过在拿到这些数据后，其中有很多重复，质量也参差不齐，所以我们对这些数据做了非常系统化的筛选，最终是从100多t的数据中挑选出3t”。
在算力方面，李开复则提到，“在零一万物初创阶段，就判断gpu比**重要，所以很早就在规划各种资源，现在零一万物的算力资源足够用到18个月之后”。
而对于一家ai公司尤其是做大模型的公司来说，无论是招募人才，还是购置数据和算力资源，都是一笔不菲的投入。李开复也透露称，在没有完成新一轮融资之前，零一万物已经负债几千万美元。
不过，零一万物也已得到资本的青睐。据记者了解，零一万物已完成新一轮融资，由阿里云领投，估值超过了10亿美元。这也意味着，李开复只用了8个月的时间，就创造出一个独角兽公司。
成绩
据李开复介绍，零一万物从今年月份才开始写下第一行**，在短短四个月的时间内，零一万物却交出一份亮眼的成绩单。
此次发布的yi系列模型包含34b和6b两个版本。其中，截至11月5日的数据，yi-34b在hugging face 英文测试公开榜单pretrained 预训练开源模型排名中，以70.72的分数位列全球第一，超过了llama2-70b和falcon-180b等众多大尺寸模型。
在中文方面，yi-34b在c-eval中文权威榜单排行榜上也超越了全球所有开源模型。其中在cmmlu、e-eval、gaokao 三个主要的中文指标上，yi-34b的表现也已超越gpt-4。
另外值得注意的是，yi-34b将发布可支持200k上下文窗口（context window）版本，可以处理约40万汉字超长文本输入。相比之下，openai的gpt-4上下文窗口只有32k，文字处理量约2.5万字。
在语言模型中，上下文窗口是大模型综合运算能力的金指标之一，对于理解和生成与特定上下文相关的文本至关重要，拥有更长窗口的语言模型可以处理更丰富的知识库信息。而零一万物，也成为第一家将超长上下文窗口在开源社区开放的大模型公司。
除了此次发布的大模型产品之外，李开复还重点介绍了背后的一些研发能力。其表示，凭借 ai infra的支撑，yi-34b模型训练成本下降了40%，“也就是说别的公司如果需要2000台gpu训练这样一个模型，而我们可能只要1200张”。
同时，经过几个月大量的建模和实验，零一万物自研出一套“规模化训练实验平台”，用来指导模型的设计和优化。现在，数据配比、超参搜索、模型结构实验等都可以在小规模实验平台上进行，小尺寸模型成功后，再应用到大尺寸模型当中，在训练34b模型时，零一万物已经验证了该平台的有效性，并且每个节点的**误差都控制在了0.5%以内。
基于这样的模型**能力，可大大减少训练误差对于计算资源的浪费，同时也让以往的大模型训练碰运气的“炼丹”过程变得极度细致和科学化。李开复宣布，在完成 yi-34b预训练的同时，零一万物已经启动下一个千亿参数模型的训练。
未来
在谈到大模型的未来前景时，李开复再次强调，大模型时代不仅是人类跨向agi的重要一步，同时也是一个巨大的平台机会，这个平台可以比肩pc时代、移动互联网时代。
而在这样一个时代，最大的商机是创造出超级应用（ super app）。在李开复看来，super app是大部分人需要花大量时间，每天必须有它才能得到自己的价值体现。比如pc时代的微软office，移动互联网时代的微信等，都是super app。
所以，做出一款super app也是零一万物在努力的目标。“我们的super app雏形很快就会跟大家见面”，李开复表示，“在这个阶段，我们也不认为我们自己就能把super app做出来，但super app一定都是简单的开始，然后用精益创业的方法不断迭代，最终迭代成超级应用”。
这是零一万物做super app的方**，李开复认为这也将是未来十万甚至上百万开发者去尝试的方**。ai 2.0充满着机会，零一万物希望自己能够开发出一个super app，同样，任何一个创业者如果找对了方向，并进行快速迭代，那也有可能打造出ai 2.0时代的super app。
另外从企业发展角度，李开复也表示，在ai 2.0时代，商业化非常重要。在ai 1.0时代，很多ai公司没有做好商业化，很早就被淘汰，而那些做出收入的，在持续性上也做的不够好，所以ai 1.0的公司交出的成绩单并不理想。
这也为ai 2.0时代的创业公司敲响了警钟。“我们做app就是朝着能够快速有收入，并且能够产生非常好的利润，让收入变得可持续。现在那些发展成功的公司，都是因为他们的收入有质量，在零一万物看来，应用的收入质量要高于做tob，所以我们也选择坚定不移地走toc路径。”李开复说。
sfc
本期编辑 刘雪莹 实习生 谭雅涵。
21君荐读
王小川：llama作为开源模型的时代已过。
萎缩加剧！ai芯片商第三季度收入跌超66%
国内首个教育大模型落地，将带来颠覆性影响？
“独角兽”豪华商务MPV，合创V09指导价31 88万元起
合创汽车发布了他们首款高端纯电mpv车型 合创v，该车已经正式上市。合创v基于v纯电架构打造，既注重电动性能，又兼顾了驾驶体验和舒适性。新车共有五款不同配置可供选择，从.万元到.万元不等，消费者可以根据自己的需求和预算做出选择。为了回馈消费者的支持，合创汽车官方还推出了多重上市权益和礼包。包括限时内...
纯电MPV的一匹黑马！独角兽豪华座驾合创V09正式上市
合创v是合创汽车在造型 研发 制造 质量 服务 生态等全价值链方面的集大成者，凭借四大 独角兽 产品实力，再次引领高端豪华mpv进化方向，同时，更为消费者带来时尚 新潮的出行生活方式。月日，合创汽车首款高端纯电mpv 合创v正式上市，这是一台基于v纯电架构打造的豪华商务车，官方对其定义是 独角兽豪华...
李淳风创造了多个世界第一，一个算命的，怎么这么厉害？
李淳风，这个在历史上留下 第一 印记的名字，或许你我都不陌生。他被后人冠以 命理先生 的美名，流传至今的 推背图 也与他有关。然而，关于他的传说远多于史实。这位古代大师，真实的才华是什么？公元年，李淳风诞生在一个典型的儒家世家。他的父亲李弘範是隋朝遗老，一心想做个清静隐逸的学者。李父常对李淳风说 为...