Ssis performance

1       硬件

Ssis 只是个中间件,优化的基础取决于硬件设备.

影响 ssis 性能的因素主要分为4大块

CPU

Memory

Network

Disk Io

Ssis 从 source 读取速度取决于Source System 数据库能提供的速度.着就是为什么ETL一般会在业务不繁忙的时间段读取.或者采取从logshipping 和 mirror+snapshot 作为 source system.

Ssis 写入 target system 的速度主要取决于 target system 的disk io 中间的运算取决于 cpu 和 memory 传输取决于 network .

那怎样来评估ETL过程中的瓶颈在那一方呢？

下面我们来做个实验.

500 w数据的一个表的拷贝

先打开windows下的性能计数器

添加如下性能计数器

比如从异地服务器拷贝个表到本地

Target system performance

从本地performance 上图可以看出瓶颈在写入上面  cpu 和 Memory 都没到瓶颈 瓶颈在disk io 上面

Source system performance 

从 resource performance 可以看出 瓶颈在 网络传输 和 磁盘传输上面

buffers spooled >0 意味着ssis 不在进行数据转换 在执行写入

avg.disk sec/transfer <=10 可以接受

总结：