meta开源最新的llama模型,扎克伯格系统阐述了自己为什么开源,并特意强调,这是对付中国威胁的最好方式。
全文主旨:
1、Meta的商业模式是为人们构建最佳体验和服务。为了做到这一点,我们必须确保我们始终能够获得最佳技术,并且我们不会锁定在竞争对手的封闭生态系统中,在那里他们可以限制我们构建的内容。
2、我预计AI开发将继续非常具有竞争力,这意味着开源任何给定模型并不是在当时放弃巨大优势。Llama成为行业标准的道路是通过一代又一代地保持竞争力,效率和开放性。
3、Meta与封闭模型提供者的一个关键区别是,销售对AI模型的访问并不是我们的商业模式。这意味着公开发布Llama并不会削弱我们的收入,可持续性或投资研究的能力,就像它对封闭提供者所做的那样。(这是几个封闭提供者一贯游说政府反对开源的一个原因)。
关于中国威胁论:
下一个问题是,美国和民主国家应该如何处理像中国这样拥有大量资源的国家构成的威胁。美国的优势是分散和开放的创新。一些人认为,我们必须关闭我们的模型,以防止中国获得它们,但我认为这不会奏效,只会使美国及其盟友处于不利地位。我们的对手擅长间谍活动,偷取适合放在U盘中的模型相对容易,大多数科技公司还远远没有以使这更加困难的方式运作。
可见,meta开源大模型也是顶着国内巨大压力而为的。
在高性能计算的早期,当时的大型科技公司都大力投资开发自己的Unix闭源版本。当时很难想象还有其他方法可以开发出如此先进的软件。然而,开源Linux最终流行起来——最初是因为它允许开发者随意修改其代码,并且成本更低,随着时间的推移,它变得更加先进、更安全,并且拥有更广泛的生态系统,支持比任何闭源Unix更多的功能。今天,Linux是云计算和运行大多数移动设备的操作系统的行业标准基础——我们所有人都因为有了更优质的产品而受益。
我相信AI的发展也会以类似的方式发展。今天,几家科技公司正在开发领先的闭源模型。但开源正在迅速缩小差距。去年,Llama 2只能与落后一代的模型相媲美。今年,Llama 3与最先进的模型竞争,并在某些领域领先。从明年开始,我们预计未来的Llama模型将成为行业的最先进。但即便在那之前,Llama已经在开放性、可修改性和成本效益方面处于领先地位。
今天,我们正在朝着开源AI成为行业标准迈出下一步。我们发布了Llama3.1 405B,这是第一个前沿级的开源AI模型,以及新的和改进的Llama 3.1 70B和8B模型。除了与闭源模型相比具有显著更好的成本/性能比之外,405B模型的开放性将使其成为微调和蒸馏较小模型的最佳选择。
除了发布这些模型外,我们正在与一系列公司合作,以发展更广泛的生态系统。亚马逊、Databricks和NVIDIA正在推出全套服务,支持开发者微调和蒸馏自己的模型。像Groq这样的创新者已经为所有新模型构建了低延迟、低成本的推理服务。这些模型将在包括AWS、Azure、Google、Oracle等所有主要云平台上提供。像Scale.AI、Dell、德勤等公司都准备好帮助企业采用Llama并用自己的数据训练定制模型。随着社区的发展和更多公司开发新服务,我们可以共同使Llama成为行业标准,并将AI的好处带给每个人。
Meta致力于开源AI。我将概述为什么我认为开源是您的最佳开发堆栈,为什么开源Llama对Meta有好处,以及为什么开源AI对世界有好处,因此是一个将长期存在的平台。
为什么开源AI对开发者有好处当我与世界各地的开发者、首席执行官和政府官员交谈时,我通常会听到几个主题:
我们需要训练、微调和蒸馏我们自己的模型。每个组织都有不同的需求,最好用不同大小的模型来满足,这些模型是用它们的特定数据训练或微调的。设备上的任务和分类任务需要小模型,而更复杂的任务需要更大的模型。现在,你可以使用最先进的Llama模型,用自己的数据继续训练它们,然后把它们蒸馏成你最优大小的模型——无需我们或任何其他人查看你的数据。我们需要控制自己的命运,不被封闭的供应商锁定。许多组织不想依赖他们无法运行和控制的模型。他们不希望封闭模型提供者能够改变他们的模型,改变他们的使用条款,甚至完全停止服务。他们也不想被锁定在拥有模型独家权利的单一云中。开源使广泛的公司生态系统成为可能,这些公司拥有兼容的工具链,你可以轻松地在它们之间移动。我们需要保护我们的数据。许多组织处理敏感数据,他们需要保护这些数据,不能将其发送到封闭模型的云API。其他组织根本不敢相信封闭模型提供者的数据。开源通过使你能够在任何地方运行模型来解决这些问题。人们普遍认为,开源软件往往更安全,因为它的开发更加透明。我们需要一个运行效率高且负担得起的模型。开发者可以在自己的基础设施上以大约使用封闭模型如GPT-4o成本的50%运行Llama 3.1 405B的推理,无论是面向用户的还是离线推理任务。我们希望投资于将成为长期标准的生态系统。很多人看到开源的发展速度比封闭模型快,他们希望建立自己的系统,以获得长期最大的优势。
为什么开源AI对Meta有好处? Meta的商业模式是为人们构建最佳体验和服务。为了做到这一点,我们必须确保我们始终能够获得最佳技术,并且我们不会锁定在竞争对手的封闭生态系统中,在那里他们可以限制我们构建的内容。
我形成的一个重要经验是,在苹果将允许我们在他们的平台上构建什么的限制下构建我们的服务。从他们对开发者征税的方式,他们应用的武断规则,以及他们阻止发货的所有产品创新来看,很明显,如果我们可以构建我们产品的最佳版本,竞争对手不能限制我们构建什么,Meta和其他许多公司将能够为人们构建更好的服务。从哲学层面上讲,这是我如此坚信在AI和AR/VR中为下一代计算构建开放生态系统的主要原因。
人们经常问我,我是否担心通过开源Llama放弃技术优势,但我认为这忽略了大局,原因有几个:
首先,为了确保我们能够获得最佳技术,并且长期不会被封闭生态系统锁定,Llama需要发展成为一个完整的工具生态系统,效率提升,硅优化和其他集成。如果我们是唯一使用Llama的公司,这个生态系统就不会发展,我们将不会比Unix的封闭变体更好。
其次,我预计AI开发将继续非常具有竞争力,这意味着开源任何给定模型并不是在当时放弃巨大优势。Llama成为行业标准的道路是通过一代又一代地保持竞争力,效率和开放性。
第三,Meta与封闭模型提供者的一个关键区别是,销售对AI模型的访问并不是我们的商业模式。这意味着公开发布Llama并不会削弱我们的收入,可持续性或投资研究的能力,就像它对封闭提供者所做的那样。(这是几个封闭提供者一贯游说政府反对开源的一个原因。)
最后,Meta有长期的开源项目和成功经验。我们通过发布我们的服务器、网络和数据中心设计,并通过开放计算项目使供应链标准化我们的设计,节省了数十亿美元。我们通过开源领先的工具,如PyTorch、React等,从生态系统的创新中受益。当我们长期坚持这种方法时,这种方法一直对我们有效。
为什么开源AI对世界有好处我相信开源对于积极的AI未来是必要的。AI比其他任何现代技术都有更大的潜力,可以提高人类的生产力、创造力和生活质量——并加速经济增长,同时在医学和科学研究方面取得进展。开源将确保世界上更多的人能够获得AI的好处和机会,权力不会集中在少数公司手中,技术可以更均匀、更安全地部署在社会中。
关于开源AI模型的安全性正在进行持续的辩论,我的看法是,开源AI将比替代方案更安全。我认为政府将得出结论,支持开源将使世界更加繁荣和安全。
我理解安全性的框架是,我们需要防范两类伤害:无意的和故意的。无意的伤害是当AI系统可能会造成伤害,即使运行它的人没有意图这样做。例如,现代AI模型可能会无意中提供不良的健康建议。或者,在更未来的场景中,一些人担心模型可能会无意中自我复制或过度优化目标,从而损害人类。故意的伤害是当不良行为者使用AI模型以达到造成伤害的目的。
值得注意的是,无意的伤害涵盖了人们对AI的大多数担忧——从AI系统将对数十亿使用它们的人产生什么影响,到对人类来说真正灾难性的科幻场景的大部分。在这方面,开源应该更安全,因为系统更透明,可以广泛审查。从历史上看,开源软件因此更安全。同样,使用具有其安全系统(如Llama Guard)的Llama,可能比封闭模型更安全、更可靠。因此,关于开源AI安全性的大多数讨论都集中在故意伤害上。
我们的安全流程包括严格的测试和红队演练,以评估我们的模型是否有能力造成实质性伤害,目标是在发布前降低风险。由于模型是开放的,任何人都可以自己测试。我们必须记住,这些模型是由已经在网络上的信息训练的,所以当考虑伤害时,起点应该是模型是否可以比可以从Google或其他搜索结果中快速检索到的信息造成更多的伤害。
当推理故意伤害时,区分个人或小规模行为者可能做什么与大规模行为者如拥有大量资源的国家可能做什么是有帮助的。
在未来的某个时候,个人不良行为者可能能够利用AI模型的智能,从互联网上可用的信息中制造全新的伤害。在这一点上,权力平衡将对AI安全至关重要。我认为生活在AI广泛部署的世界中会更好,这样更大的行为者就可以制衡较小的不良行为者的权力。这就是我们如何在社交网络上管理安全性的方式——我们更强大的AI系统识别并阻止不那么成熟的使用较小规模AI系统的威胁行为者。更广泛地说,大规模机构在规模上部署AI将促进整个社会的安全和稳定。只要每个人都能获得类似一代的模型——这是开源促进的——那么拥有更多计算资源的政府和机构就能够制衡计算较少的不良行为者。
下一个问题是,美国和民主国家应该如何处理像中国这样拥有大量资源的国家构成的威胁。美国的优势是分散和开放的创新。一些人认为,我们必须关闭我们的模型,以防止中国获得它们,但我认为这不会奏效,只会使美国及其盟友处于不利地位。我们的对手擅长间谍活动,偷取适合放在U盘中的模型相对容易,大多数科技公司还远远没有以使这更加困难的方式运作。看起来,一个只有封闭模型的世界最有可能的结果是少数大公司加上我们的地缘政治对手拥有获得领先模型的途径,而初创公司、大学和小企业错过了机会。此外,将美国创新限制在封闭开发上增加了我们根本不领先的风险。相反,我认为我们的最佳策略是构建一个强大的开放生态系统,并让我们领先的公司与我们的政府和盟友密切合作,以确保他们能够最好地利用最新的进展,并在长期内实现可持续的先发优势。
当您考虑未来的机遇时,请记住,当今大多数领先的科技公司和科学研究都是建立在开源软件之上的。如果我们一起投资,下一代公司和研究将会使用开源AI。这包括刚刚起步的初创公司,以及那些可能没有资源从头开始开发自己的最先进AI的大学和国家。
底线是,开源AI代表着世界利用这项技术为每个人创造最大经济机会和安全的最佳机会。
让我们一起构建这个未来。对于以往的Llama模型,Meta为自己开发了它们,然后发布了它们,但没有专注于构建更广泛的生态系统。我们这次发布采取了不同的方法。我们正在内部建立团队,以使尽可能多的开发者和合作伙伴能够使用Llama,我们正在积极建立合作伙伴关系,以便生态系统中的更多公司也能为客户提供独特的功能。
我相信Llama 3.1的发布将成为行业的一个转折点,大多数开发者将开始主要使用开源,我预计这种方法只会从此增长。我希望你能加入我们的旅程,将AI的好处带给世界上的每个人。