MySQL5.7 InnoDB Page Compression

  • yzs87

    2017-12-10 20:57:38
  • MySQL
  • 原创

1、介绍

mysql5.7中，innodb页结构增加了一个类型FIL_PAGE_COMPRESSED，用来完成Transparent page compression 特性

2、说明

1）压缩内容包括：除去FIL_PAGE_DATA外所有数据，包括tail
2）压缩后的内容+FIL_PAGE_DATA会以block_size对齐，并将空洞清0。意味着将16K压缩到9K，也需要12KB的数据，因此将block_size设小点，这样的场景将受益，可以
   减少空间浪费。
3）FIL_PAGE_VERSION内容存1；FIL_PAGE_ALGORITHM_V1指哪个压缩算法：ZLIB、LZ4
   FIL_PAGE_ORIGINAL_TYPE_V1：原始页类型；
   FIL_PAGE_ORIGINAL_SIZE_V1：原始页需要压缩的内容大小
   FIL_PAGE_COMPRESS_SIZE_V1：内容压缩后大小
4）目前支持2种压缩算法：zlib和lz4，可以方便扩展新的算法
5）压缩只是在持久化磁盘的时候压缩，内存中的页仍然是原始的样子

3、用法

表定义：
可以通过CREATE TABLE、ALTER TABLE来定义压缩表：
  create table t1(i int,b blob) compression='zlib';
也可以选择compression='lz4'来指定lz4压缩算法，注意compression属性的ALTER是立即生效，在做完ALTER COMPRESSION属性操作后，需要做一次表的rebuild，例如optimize table操作，才能对已有的数据做punch hole。compression属性存储在frm文件中，以2个字节存储字符串长度，随后存储compression属性定义字符串，这也是一个操作系统降级的风险点。

4、代码分析

点击(此处)折叠或打开

  1. static
  2. byte*
  3. os_file_compress_page(
  4.     Compression    compression,
  5.     ulint        block_size,//文件系统block大小。通常4K
  6.     byte*        src,//需要压缩页的指针
  7.     ulint        src_len,//页大小
  8.     byte*        dst,//压缩后，存入目标
  9.     ulint*        dst_len)//压缩内存长度
  10. {
  11.     ulint        len = 0;
  12.     ulint        compression_level = page_zip_level;
  13.     ulint        page_type = mach_read_from_2(src + FIL_PAGE_TYPE);

  15.     //如果要节省空间，页大小至少是文件系统block的2倍。压缩的页不包括R-tree页
  16.     if (page_type == FIL_PAGE_RTREE
  17.      || block_size == ULINT_UNDEFINED
  18.      || compression.m_type == Compression::NONE
  19.      || src_len < block_size * 2) {

  21.         *dst_len = src_len;

  23.         return(src);
  24.     }

  26.     /* Must compress to <= N-1 FS blocks. */
  27.     ulint        out_len = src_len - (FIL_PAGE_DATA + block_size);

  29.     /* This is the original data page size - the page header. */
  30.     ulint        content_len = src_len - FIL_PAGE_DATA;

  32.     /* Only compress the data + trailer, leave the header alone */

  34.     switch (compression.m_type) {
  35.     case Compression::NONE:
  36.         ut_error;

  38.     case Compression::ZLIB: {

  40.         uLongf    zlen = static_cast<uLongf>(out_len);

  42.         if (compress2(
  43.             dst + FIL_PAGE_DATA,
  44.             &zlen,
  45.             src + FIL_PAGE_DATA,
  46.             static_cast<uLong>(content_len),
  47.             static_cast<int>(compression_level)) != Z_OK) {

  49.             *dst_len = src_len;

  51.             return(src);
  52.         }

  54.         len = static_cast<ulint>(zlen);

  56.         break;
  57.     }

  59.     case Compression::LZ4:

  61.         len = LZ4_compress_default(
  62.             reinterpret_cast<char*>(src) + FIL_PAGE_DATA,
  63.             reinterpret_cast<char*>(dst) + FIL_PAGE_DATA,
  64.             static_cast<int>(content_len),
  65.             static_cast<int>(out_len));

  67.         if (len == 0 || len >= out_len) {

  69.             *dst_len = src_len;

  71.             return(src);
  72.         }

  74.         break;

  76.     default:
  77.         *dst_len = src_len;
  78.         return(src);
  79.     }

  81.     /* Copy the header as is. */
  82.     memmove(dst, src, FIL_PAGE_DATA);

  84.     /* Add compression control information. Required for decompressing. */
  85.     mach_write_to_2(dst + FIL_PAGE_TYPE, FIL_PAGE_COMPRESSED);

  87.     mach_write_to_1(dst + FIL_PAGE_VERSION, 1);

  89.     mach_write_to_1(dst + FIL_PAGE_ALGORITHM_V1, compression.m_type);

  91.     mach_write_to_2(dst + FIL_PAGE_ORIGINAL_TYPE_V1, page_type);

  93.     mach_write_to_2(dst + FIL_PAGE_ORIGINAL_SIZE_V1, content_len);

  95.     mach_write_to_2(dst + FIL_PAGE_COMPRESS_SIZE_V1, len);

  97.     /* Round to the next full block size */

  99.     len += FIL_PAGE_DATA;

  101.     *dst_len = ut_calc_align(len, block_size);

  103.     /* Clear out the unused portion of the page. */
  104.     if (len % block_size) {
  105.         memset(dst + len, 0x0, block_size - (len % block_size));
  106.     }

  108.     return(dst);
  109. }

5、参考


http://mysql.taobao.org/monthly/2015/08/01/
http://mysqlserverteam.com/innodb-transparent-page-compression/


请使用浏览器的分享功能分享到微信等