导读
随着生成式人工智能和大型语言模型(LLMs)的出现，你一定在思考，这些技术如何应用于物联网边缘？毕竟，在边缘运行LLMs有许多好处——从网络带宽效率、离线处理、更低延迟和数据主权，到成本节省、安全性和差异化。在本次讨论中，了解如何使用亚马逊云科技 IoT服务和边缘LLMs来提升你的解决方案，实现可操作的成果和创新功能，如手势识别、用于语音控制的自然语言处理、实时预测性维护、能源优化、异常检测等。
演讲精华
以下是小编为您整理的本次演讲的精华。
2024年亚马逊云科技 re:Invent的夜晚，与会者齐聚一堂，期待着关于“Amazon IoT用于边缘LLM部署和执行”这一前沿主题的讨论。亚马逊云科技 IoT和汽车主管的首席产品经理Nikit Pednikar登台亮相，对即将展示的主题洋溢着热情。
Nikit首先为接下来的一小时设定了议程，他打算深入探讨行业趋势、边缘LLM部署的优势和挑战，以及亚马逊云科技服务如何为各个行业带来价值。此外，本次会议还将关注汽车架构的现代化，以及客户Aptiv如何推动车辆架构的演进。最重要的是，将揭示亚马逊云科技针对汽车用例的参考架构，并现场演示这些技术在现实世界中的应用。
Nikit巧妙地通过分享一个贴近生活的小故事抓住了观众的注意力。他讲述了一个炎热的夏日回到家中，一打开门就被热浪迎面扑来的情景。他解释说，合乎逻辑的下一步就是调节恒温器，但在多层住宅中，这可能成为一项小小的锻炼。然而，智能恒温器、语音控制和自动气候控制等技术的进步使这一过程变得轻而易举，适应我们的需求并提供实时见解。
转而谈及行业趋势，Nikit透露，到2026年底，边缘AI生态系统市场预计将增长到惊人的380亿美元。他将这一增长归因于由芯片供应商、硬件OEM、系统集成商、软件服务提供商、一体化解决方案提供商和亚马逊云科技等云服务组成的多元生态系统，共同努力提高能效、标准化硬件、整合开源技术、开发强大的部署工具，并加强边缘到云端的产品组合。
虽然目前大多数AI工作负载都在云端运行，但Nikit强调了连接性、数据治理、数据隐私和低延迟需求等因素推动了边缘AI采用的加速。他进一步强调了边缘AI采用的行业垂直化趋势，智能家居、零售、制造、汽车和医疗保健等行业正处于领先地位。
Nikit随后介绍了技术方法，对比了构建DIY解决方案(可能需要大量资源)和从SaaS服务提供商购买一体化解决方案(可简化扩展但可能缺乏开源技术的灵活性)两种选择。他倡导结合这两种方法，利用开源和专有技术的优势。
转而讨论LLM(大型语言模型)日益重要的原因，Nikit强调了五个关键要点:
1. 减少LLM延迟:就近处理数据可最小化延迟，提高与技术实时交互的体验，就像与语音助手对话时不会出现令人分心的延迟一样。
2. 带宽效率:LLM通过在边缘处理数据，减少了向云端传输所有数据的需求，从而降低了成本并延长了IoT传感器和可穿戴设备的电池寿命。
3. 增强隐私和安全性:通过在边缘处理敏感数据，LLM提高了隐私性，并降低了安全风险，这在处理个性化数据的医疗和金融等行业尤为重要。
4. 提高可靠性:即使连接中断或无连接，边缘设备也能正常运行，确保汽车和销售点等关键应用在中断期间保持运行。
5. 定制和个性化:LLM通过就近处理数据，实现了实时定制和个性化，例如语音助手可根据个人偏好播放个性化的播放列表。
虽然承认边缘LLM处理带来诸多好处，但Nikit也坦率地指出了这一领域所面临的挑战。系统集成和互操作性带来了技术障碍，这一问题由于需要协调运行的设备、系统和平台种类繁多而加剧。性能优化、降低延迟和确保边缘模型的准确性需要精心平衡，尤其是对于可穿戴设备和IoT传感器等电池供电设备，能源优化至关重要。
可扩展性也是一大挑战，边缘部署需要大量资源，并需要大规模基础设施投资。模型部署和更新带来了后勤复杂性，尤其是在部署到一整个设备群时，以及需要重新训练模型以适应现实世界的变化时，这一过程被称为“大循环”。数据隐私和安全性仍然是一个关键问题，因为在边缘处理的敏感数据需要采取强有力的安全措施来防止被滥用。
接下来，Nikit将亚马逊云科技服务与这些挑战相映射，展示了“大循环”架构如何克服这些挑战。他将亚马逊云科技的价值主张分为四个关键领域:边缘、控制和数据平面、云集成以及安全和隐私。
在边缘层面，亚马逊云科技提供了一系列合作伙伴集成、工具和连接器，实现了边缘部署的开发、部署、管理和监控，优化性能并减少延迟。Amazon Greengrass和Amazon IoT Core等服务在这方面发挥着关键作用。
在控制和数据平面方面，亚马逊云科技服务通过集成、转换、组织和控制机制，确保数据管道的最佳运行。
云集成通过无服务器计算、网络解决方案和存储服务得以实现，实现了本地设备与云端之间的无缝连接。
最后，亚马逊云科技提供了一套专门的数据隐私和安全服务，确保在整个“大循环”架构中对敏感信息的保护。
为了说明边缘LLM采用的现实应用，Nikit分享了各个行业令人信服的实例。在语音助手领域，LLM通过提供个性化的输入和实时见解，增强了用户体验，甚至延伸到通过分析摄像头画面检测盗窃来提高家庭安全。智能厨房电器可以根据现有食材提供实时烹饪建议和指导。
在零售领域，LLM通过实时欺诈检测和库存管理，简化了结账流程，确保货架保持充足存货。
制造业受益于LLM驱动的质量控制，实现了生产线上实时缺陷检测，并为管理生产线和促进机器人与人类劳动力之间的协调合作提供了数据见解。
医疗保健应用包括改善临床数据分析和应急响应，LLM为急救人员提供实时数据，实现更好的病患管理。
作为本次会议的重点，汽车行业见证了LLM增强了驾驶辅助功能，如实时物体检测、车道保持辅助和针对驾驶员偏好的车载语音助手。预测性维护功能使LLM能够监控车辆健康状况并预测潜在问题，而智能导航系统则可规划行程并提供离线路线规划，即使在连接有限的区域也能发挥作用，这对于不断增长的电动车市场来说是一大利好。
在观众被这些真实用例深深吸引之际，Nikit自然过渡到介绍来自Aptiv的Joey Lauric，他是合作伙伴工程和支持的负责人，将阐明Aptiv在推动车辆架构演进方面的作用。
Joey Lauric登台亮相，他在IoT领域拥有超过10年的经验，致力于构建连接系统并帮助客户设计解决方案，因此散发着自信和专业的气息。他承认过去曾面临过挑战，但强调这些经历让他找到了正确的方法。
Joey解释说，Aptiv的使命是为更智能、更绿色、更安全和更互联的未来出行做出贡献。该公司与主要汽车OEM密切合作，提供系统以改善安全性、电动化和车辆、基础设施与云端之间的智能互联。
Aptiv的软件业务Wind River Systems的座右铭是“如果它很重要，就运行在Wind River上”，彰显了它在汽车行业之外的关键行业中的重要地位。他们的解决方案为航空航天和国防系统、医疗保健和工业制造等领域提供支持，确保在高风险环境中可靠、安全地运行。
Joey强调了Aptiv的独特地位，利用现代技术提升用户体验并推动生产力提高，同时又要在高度监管和定制化的关键行业生态系统(如汽车)中运作。他提出了一个发人深思的问题:“如果我们将一个系统的几百个不同用户需求的要求，以及生死攸关的现实情况，以及我们希望将LLM引入这一领域，那么边缘设备会是什么样子呢?”
传统上，汽车系统的设计采用了关注点分离的方法，每个单独的服务都通过消息总线相连，形成了一个复杂的微服务图，存在着众多依赖关系。然而，Joey挑战观众想象为每个服务构建一个单独定制的硬件，并用超过一英里长的电缆将它们物理连接起来——这在任何现代云解决方案中都会被视为疯狂的场景，但却是传统汽车架构的现实。
Joey的这个类比引起了共鸣，突出了汽车行业转型的必要性。他分享了一个好消息，即汽车行业确实正在经历一场革命，这种革命是由计算能力的整合和软件定义车辆(SDV)的采用所推动的。这种整合使得从软件世界中借鉴模式和实践成为可能，例如领域驱动设计，将服务集中在商用硬件上，利用虚拟机管理程序在单一平台上高效可靠地运行多个服务。
Joey带领观众回顾了汽车行业中软件的历史，从平均每辆汽车中超过100个电子控制单元(ECU)的功能设置开始——这虽然功能正常，但存在风险，例如由于缺少一个看似微不足道的部件(如座椅加热器)的芯片而导致生产线停止。随后，行业转向了更加以领域为驱动的模型，将组件整合到更强大的硬件上，并使用虚拟机管理程序分离工作负载，实现了安全认证和重用。
Joey解释说，当前的趋势是采用区域架构，进一步简化车辆内部的硬件。这不仅通过最小化布线和使用光纤减少了成本，而且还通过促进重用和采用商用工具和技术来促进开发。
根据Joey的愿景，未来将是软件定义车辆，车辆的架构将主要由软件服务定义，利用虚拟机管理程序、容器和现代工具和技术。这种方法使得集成先进功能成为可能，如强大的车载信息娱乐系统、连接性、自动驾驶辅助、车与万物(V2X)通信以及AI/ML功能，包括在边缘运行的大型语言模型(LLM)。
接下来，Joey深入探讨了Aptiv在汽车领域标准化采用Wind River的VxWorks for Linux发行版的方法，实现了云原生开发和测试。他介绍了Elixir，一个专门为关键任务边缘AI/ML用例设计的基于Debian的Linux发行版，简化了部署并缩短了上市时间。
Joey解释说，Elixir在嵌入式领域是一个游戏规则改变者，因为它是首批将新的嵌入式操作系统作为云优先选项推出的倡议之一。开发人员可以从云中的Elixir开始，利用亚马逊云科技的可扩展性和敏捷性，然后将应用程序移植到物理硬件上，从而扰乱了传统的开发工作流程。
Joey带领观众了解了使用Elixir的开发者之旅，从裸机部署或开发环境开始，利用虚拟机管理程序将安全关键工作负载与云连接组件分离。车队管理是一个关键方面，Amazon Greengrass提供了一个强大的解决方案，用于管理边缘上的分布式工作负载，包括容器。
Amazon IoT Core促进了边缘设备与云之间的安全通信，实现了设备管理、工作负载分发和数据流传输。这使得开发人员能够使用熟悉的云原生架构和容器化部署构建健壮的边缘服务，同时受益于亚马逊云科技生态系统的可扩展性和灵活性。
Elixir方法的一个关键优势是能够在云中启动亚马逊云科技 Graviton实例，运行与目标嵌入式设备相同的操作系统。这使得在部署到物理硬件之前，就可以在云中进行经济高效的测试和验证，简化了开发和测试流程，尤其是对于资源受限或昂贵的测试环境，如航空航天和国防行业中的那些。
舞台已经就绪，亚马逊云科技软件定义车辆的技术领导者Stefano接手讨论了汽车行业向SDV转型以及AI定义车辆的角色。他重申了整合的必要性，因为传统电子架构的复杂性使得实现真正的软件定义能力成为不可能。
Stefano概述了SDV之旅的三个步骤:虚拟化、平台工程以及用于功能工程、开发和测试的AI加速器。
虚拟化步骤至关重要，因为它使得在云中对各种汽车领域(如信息娱乐系统、仪表板和高级驾驶员辅助系统(ADAS))进行建模和执行成为可能。Stefano强调，至少在初始阶段，高达90%的信息娱乐系统开发和测试过程都可以在云中完成，无需物理硬件。
从技术角度来看，信息娱乐系统被认为是一个“已解决的问题”，对虚拟化没有限制，尽管在组织和供应链方面仍存在挑战。ADAS系统更加复杂，因为它们依赖于特定的硬件(如NVIDIA、高通或其他供应商的SoC和ASIC)在边缘进行推理。然而，亚马逊云科技通过将这些硬件加速器集成到云实例中，实现了在云和嵌入式环境中无缝执行推理模型。
平台工程步骤涉及将虚拟化目标与OEM日常使用的各种工具和工作流程(如需求管理、集成开发环境(IDE)和测试框架)集成。Stefano强调了现代化这些工具架构的重要性，引入API和模块化，以实现云原生集成和高效工作流程。
第三步，用于功能工程以及开发和测试的AI加速器，代表了生成式AI在汽车行业的重大影响。Stefano展示了一个演示，其中从需求管理到验证和验证新的Qt用户界面(UI)功能的过渡时间从数周缩短到仅4小时，这要归功于应用了生成式AI加速器。像宝马这样的客户已经在虚拟化领域大规模采用了这些技术，并取得了类似的成果。
接下来，Stefano介绍了第四个也是最令人兴奋的步骤:从云到车载边缘的LLM编排。他揭示了一个参考架构，将前三个步骤与从云到边缘的AI代理编排相结合，利用亚马逊云科技服务提供的连接、数据管道和安全功能。
该架构从基于云的车辆目标开始，Amazon SageMaker用于定制LLM模型。然后，该模型在ARM虚拟硬件上进行测试，以高保真度和性能模拟NXP i.MX8 Plus SoC，这要归功于ARM-on-ARM虚拟化。最后，使用Amazon Greengrass将模型部署到物理硬件上。
Stefano强调了分阶段SDV开发的重要性，第一步完全是云优先的，利用Elixir作为亚马逊云科技上的Amazon Machine Image (AMI)。这种方法实现了敏捷迭代、可扩展性和全球协作，因为开发人员可以在团队之间共享和测试AMI，而不受物理硬件可用性的限制。
第二阶段引入了ARM虚拟硬件，允许进行系统集成测试，并研究LLM应用程序与其他进程、安全岛和硬件组件之间的交互，进一步向左移动了测试和验证工作。
第三阶段涉及部署到真实硬件，评估物理特性和性能，设置性能基准以准确反映真实世界体验。
最后一个阶段收集了驾驶员与LLM交互的使用数据，从而能够根据真实世界场景和边缘案例持续改进和重新训练模型。
接下来，Stefano进行了现场演示，展示了使用Amazon SageMaker对一个小型LLM模型进行专门化，将其部署到Elixir AMI上，在ARM虚拟硬件上进行测试，最后使用Amazon Greengrass部署到物理NXP i.MX8 Plus硬件上。
演示突出了通过Amazon Marketplace访问Elixir的简易性，将其作为常规AMI启动，并运行带有量化模型的LLM聊天服务器。Stefano演示了实时问答功能，LLM提供了关于发动机指示灯和潜在问题的响应，展示了在云和虚拟环境中实现的亚秒级性能。
然而，当部署到物理硬件时，性能下降到每个响应6.7秒，这是一个令人惊讶的结果，归因于训练和执行环境的异构性。小型LLM模型是在NVIDIA CUDA上训练的，而NXP i.MX8 Plus则采用了一个MPU，不适合运行该特定模型，这突出了一个行业范围内的挑战，Aptiv和亚马逊云科技正在积极解决这一问题。
随着会议接近尾声，Stefano总结了关键要点:
1. LLM市场正在快速增长，边缘处理提供了诸多好处。
2. 人工监督和强大的防护措施是必要的，尤其是在处理敏感用例时。
3. 性能评估和管理至关重要，在可能的情况下，简化性能条件是可取的，因为并不总是需要实现高保真度。
4. 不同硬件平台上的训练和执行环境的异构性是整个行业面临的问题，需要协作解决方案。
5. 亚马逊云科技提供了一套全面的解决方案，以应对边缘LLM部署和执行的挑战。
6. 对于汽车行业的新项目，建议采用虚拟化、平台工程、AI加速器和云到车辆边缘LLM编排的四步方法。
7. Elixir采用创新的云优先方法引入新的嵌入式操作系统，具有颠覆性，为未来的开发工作流奠定了基础。
Nikit、Joey和Stefano表示可以进一步回答问题和讨论，邀请与会者与他们互动，探索利用亚马逊云科技的边缘LLM部署和执行的可能性。以下是详细叙述性总结的延续:
随着会议进入问答环节，与会者抓住机会深入探讨边缘LLM部署和执行的复杂性。一连串好奇的手举了起来，每一只手都代表着一个渴望揭开这项尖端技术神秘面纱的思维。
一位资深汽车工程师提出了一个相关问题，关于所提出解决方案的可扩展性。随着数百万辆车辆上路，每辆车的配置和要求都不尽相同，云到边缘编排架构如何有效管理和维护如此庞大且多样化的车队?Stefano承认了这一挑战，强调了软件定义车辆方法中标准化和模块化的重要性。通过解耦硬件依赖并采用云原生架构，更新和修改可以无缝推出，最大限度减少物理干预的需求，并实现前所未有的大规模空中(OTA)更新。
另一位与会者是一名数据隐私权益人，他对边缘处理敏感数据的方式表示担忧。虽然降低延迟和带宽效率的好处是不可否认的，但行业如何确保个人信息和专有数据在自动驾驶汽车和连接汽车生态系统的背景下保持安全?Joey应声解答了这一疑虑，强调亚马逊云科技和Aptiv采用了多层安全方法。利用Amazon IoT Greengrass和Amazon IoT Core等服务，数据可以在传输和静态时加密，并具有细粒度的访问控制和审计功能。此外，Elixir的加固安全态势和定期更新提供了额外的保护层，确保边缘设备能够抵御不断演进的网络威胁。
一家领先芯片组制造商的代表提出了一个思考性问题，关于行业是否准备好拥抱异构硬件环境。随着专门的AI加速器的激增和边缘计算设备不断发展，所提出的解决方案如何适应并在不同硬件平台上保持性能?Nikit承认了这一挑战，强调云服务提供商、硬件供应商和软件开发商之间密切合作的重要性。他强调亚马逊云科技致力于支持广泛的硬件平台，包括基于ARM的处理器和定制AI加速器，通过Amazon Inferentia和亚马逊云科技 Neuron等服务。此外，Nikit强调了开放标准和框架在实现可移植性和互操作性方面的作用，确保LLM模型和应用程序可以无缝地在不同硬件环境之间过渡。
随着问答环节临近尾声，一个反复出现的主题浮现出来:跨行业合作和开放对话的需求。边缘LLM部署和执行所面临的挑战是多方面的，跨越技术、监管和道德领域。任何单一实体都无法独自应对这些挑战;相反，需要云服务提供商、硬件制造商、软件开发商、汽车OEM和监管机构的通力合作。
Nikit、Joey和Stefano认可了这一现实，表达了他们培育开放和包容性生态系统的决心。他们鼓励与会者参与行业论坛、为开源项目做出贡献，并积极参与塑造边缘计算和AI驱动移动解决方案的未来。
随着观众散去，一种令人兴奋和期待的氛围在空气中徘徊。这次会议不仅揭示了推动边缘LLM革命的尖端技术和架构，还点燃了好奇心和合作的火花。通往智能、个性化和安全的边缘计算解决方案无缝融入我们日常生活的未来之旅已经开始，亚马逊云科技 re:Invent 2024的与会者正准备站在这场变革运动的最前沿。
我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。