极速交易系统为高频交易提供全流程超低时延保障，然而，与一般业务系统相比，低延时系统在基础设施架构上有着更为严苛的要求。如何对基础设施进行系统调优和架构升级，以实现高性能、低延时、高可靠性的交易系统运行环境，成为金融机构亟待解决的关键问题。本文系统梳理了证券极速交易场景的服务器调优路径，从BIOS固件到内核参数的垂直优化思路具有行业参考价值，为量化交易团队提供了硬件调优的实战指南，尤其在NUMA亲和性与中断平衡方面体现了专业深度。
某证券公司架构师，主要负责基础设施架构，操作系统运维，极速交易基础设施等。
一、引言
在资本市场日益激烈的竞争中，程序化交易和算法交易已成为金融机构获取市场优势的重要手段。极速交易系统为高频交易提供全流程超低时延保障，一般通过分层架构实现性能突破：硬件层、系统层、网络层，全栈协同设计使系统在行情解析、交易决策到订单执行的全链路中维持极致速度与稳定性，精准捕捉瞬态市场机会。这类交易模式高度依赖于数字基础设施的性能，尤其是交易系统的速度和延时。低延时系统能够优先获取市场数据并迅速执行交易指令，从而在价格波动前完成操作，这对于提升交易效率和盈利能力至关重要。然而，与一般业务系统相比，低延时系统在基础设施架构上有着更为严苛的要求。因此，如何对基础设施进行系统调优和架构升级，以实现高性能、低延时、高可靠性的交易系统运行环境，成为金融机构亟待解决的关键问题。
二、关键组件与优化方向
各维度对低延时系统的影响权重如下(由高到低)：
网络基础设施：端到端传输路径优化空间最大，直接影响全局延迟;
服务器及网卡：硬件性能决定处理效率上限;
应用系统：逻辑优化可显著减少非必要延迟;
操作系统：协议栈和调度优化提升局部效率;
机房：环境稳定性是基础保障。
整体优化需结合多维度协同设计，例如通过网络架构优化可以减少网络跳数，同时采用高性能硬件和低延迟协议栈降低系统时延，综合提升系统响应速度。
1. 高性能服务器
高性能服务器是低延时系统的核心支撑，它通过算力加速、协同网络优化和稳定性增强三大路径，实现从数据接收到交易执行的全链路毫秒级响应。
1.1 处理器性能
选择高性能处理器是构建低延时系统的关键。核心指标包括CPU型号、基频、运行频率和浮点性能。推荐采用高性能处理器，并确保CPU稳定运行在可支持的最高频率。使用Linpack、PTS、UnixBench等工具进行性能测试，以选择最适合业务需求的服务器。
1.2 内存性能
内存性能同样对低延时系统至关重要。核心指标包括内存大小、速度、带宽和时延。应选择具有足够内存容量和高速DDR4内存的服务器。使用MLC和Stream工具测试内存性能，并在极速交易场景中，尽量将程序进程、线程及交互网卡绑定在同一NUMA节点上，以避免跨节点数据交互带来的时延。提升内存频率可显著降低延时。
2. 高性能网卡
高性能网卡是低延时系统的另一核心组件，其技术特性对降低网络延迟、提升系统响应能力具有决定性作用。
2.1 Kernel Bypass技术
该技术通过绕过操作系统内核的数据处理路径，为低延时系统提供底层架构革新。其优势在于避免数据包在Linux内核中的传输过程，减少内核态的切入切出，从而提升效率，降低传输时延。实现方案包括采用Solarflare onload、Mellanox VMA、Cisco Exasock等解决方案，以绕过内核，实现低延时数据传输。
2.2 网卡中断绑定NUMA节点
测试数据显示，应用与网卡在不同NUMA节点的传输延时高于在同一NUMA节点，时延差别在3-5微秒之间。因此，建议确保网卡PCIe插槽对应的NUMA节点与应用绑定的NUMA节点相同，以减少跨节点通信带来的时延。
三、操作系统优化
操作系统作为低延时系统的底层支撑平台，其配置调优对降低延迟、提升系统响应能力同样具有重要影响。以下从多个维度提出操作系统优化方案。
1. CPU隔离与绑定
1.1 isolcpu
将指定CPU从内核SMP平衡和调度算法中剔除，以减少上下文切换，降低调度延迟。通过GRUB配置文件的isolcpus参数实现。
1.2 nohz_full
使指定CPU进入无滴答状态，当CPU上只运行一个任务或实时任务时，关闭周期tick，以减少系统开销。通过GRUB配置文件的nohz_full参数实现。
1.3 rcu_nocbs
指定某些CPU为无回调CPU，以减轻这些CPU的负载，优化回调机制的性能。通过GRUB配置文件的rcu_nocbs参数实现。
2. 内存管理模式
2.1 大页内存
使用大页内存可以减少TLB(Translation Lookaside Buffer)的使用，加快虚拟内存到物理内存的映射速度，从而降低内存访问延迟。通过配置vm.nr_hugepages参数实现。
2.2 透明大页
关闭透明大页功能，以避免透明大页带来的额外开销，确保内存访问效率。通过设置/sys/kernel/mm/transparent_hugepage/enabled为never实现。
3. 中断亲缘性设置
将网卡中断亲和性设置到非核心CPU，并将中断限制在一个NUMA节点上，以减少中断引起的响应延迟，提高系统响应速度。通过/proc/irq//smp_affinity文件设置中断亲和性。
4. 操作系统版本与安装模式
4.1 版本选择
采用稳定的Linux操作系统版本作为基础，以确保系统稳定性和兼容性。
4.2 最小化安装
通过最小化安装减少不必要组件对系统性能的影响，降低系统开销。
5. 内核参数调优
5.1 skew_tick
设置为1以减少内核锁的争用，降低调度延迟。
5.2 idle
设置为poll以从根本上禁用休眠功能，提高系统响应速度。
5.3 nosoftlookup
禁止内核进行软死锁检测，以减少系统开销。
5.4 mce
设置为ignore_ce以忽略machine check errors(MCE)，避免MCE处理带来的延迟。
5.5 intel_idle.max_cstate和processor.max_cstate
设置为0以不进入C-state低功耗状态，确保CPU随时响应，降低唤醒延迟。
5.6 nmi_watchdog
设置为0以禁用NMI看门狗，减少系统监控带来的开销。
6. 系统服务调优
禁用不必要服务以减少系统开销和提高系统稳定性。通过systemctl stop/disable命令禁用如auditd、sysstat、irqbalance、firewalld、crond、kdump等不必要服务。
7. NUMA绑定
确保低延时网卡、业务网卡和主要进程在同一个NUMA节点上，避免跨NUMA节点的内存访问延迟。使用numactl -cpunodebind=X -membind=X命令将有内存交互的进程、线程绑定在同一NUMA节点上。
8. 系统调优工具
将系统tuned调优模式调整为网络低延时模式(tuned-adm profile network-latency)，以适应低延时内存性能优化的需求。
四、瓶颈观测与根因分析：精准定位性能瓶颈
在低延时系统中，尽管通过硬件升级、网络优化和操作系统调优可以显著降低系统延迟，但在复杂的高频交易场景中，性能瓶颈仍可能隐藏在系统架构的各个层级。因此，如何精准定位并解决这些瓶颈，成为优化低延时基础设施的关键挑战。
1. 瓶颈观测的核心逻辑
在低延时系统中，性能瓶颈可能来源于硬件资源争用、网络传输拥塞、操作系统调度延迟或应用逻辑缺陷。有效观测与定位瓶颈需遵循以下逻辑：
全链路覆盖：从数据接收、策略计算到订单发送，每个环节的时延需被精确测量;
分层定位：区分硬件层、网络层、操作系统层和应用层的潜在问题;
动态追踪：实时捕捉系统行为，避免静态分析的局限性。
2. 全链路监控：皮秒级时延测量
2.1 超高精度监测工具
数据采集模式：
旁路镜像：通过交换机端口镜像复制流量，在不影响主链路的情况下采集网络数据包。
抓包探针：在关键节点部署专用探针(如FPGA加速的抓包设备)，支持纳秒级时间戳标记。
时延分解：将交易全链路分解为多个节点(如行情接收→解码→策略触发→订单生成→网络传输)，逐段测量时延。例如，某订单生成环节耗时超过10微秒，可能暴露策略算法的计算效率问题。
2.2 零侵入监控设计
旁路化采集：避免在业务服务器上部署监控代理，防止监控工具自身引入性能抖动。
3. PTP校时：消除跨节点时间偏差
3.1 时钟同步的必要性
时间偏差影响：若服务器、网卡、交换机的时钟未对齐，时延测量结果将包含系统性误差。例如，1毫秒的时钟偏差可能导致网络传输时延的误判。
PTP协议优势：相比NTP(精度约毫秒级),PTP(Precision Time Protocol)可实现亚微秒级时钟同步，适用于金融交易场景。
3.2 校时配置要点
硬件支持：选择支持PTP的网卡和交换机，确保硬件时钟源的稳定性。
4. 动态追踪技术：实时定位性能根因
4.1 动态追踪技术的应用
动态追踪：通过在内核或用户空间动态插入探针(如kprobes/uprobes)或利用预置跟踪点(tracepoints)，捕获函数调用、系统调用、内存分配等事件，无需修改代码即可获取运行时信息。
内核态：通过eBPF程序动态注入Linux内核，实时捕获系统调用、中断处理、内存分配等事件。
用户态分析：结合uprobe工具监控应用程序的函数调用链，定位策略计算中的性能瓶颈。
动态追踪技术的引入会对系统性能有轻微影响，可以在开发测试环境中测试优化点，并在生产环境中做验证。
4.2 火焰图与性能剖析
数据可视化：通过perf或BCC工具生成火焰图，直观展示CPU时间消耗分布。例如，对于某程序使用perf收集火焰图，发现20%的audit系统调用，将audit关闭后就可以提高时延。
五、结论与展望
低延时基础设施的优化是一个系统工程，需要从硬件选择、网卡性能优化、操作系统配置和瓶颈观测与根因分析等多个方面进行综合考虑和优化。随着技术的不断发展，低延时交易系统的优化将更加注重全链路的性能监控和动态调整，以实现更高效的交易执行和更稳定的系统运行。金融机构应持续关注新技术的发展，不断优化和升级其基础设施，以保持在激烈的市场竞争中的优势地位。