Fast-Retry高性能百万级任务重试框架


1.前言

1.1简介

Fast-Retry是什么?
Fast-Retry是一个高性能任务重试框架,支持百万级别任务的并发重试处理。与主流的Spring-Retry, Guava-Retry等同步重试框架不同,Fast-Retry是一个支持异步重试框架,支持异步任务的重试、超时等待、回调。Spring-Retry, Guava-Retry均无法支持大批量任务的重试,因为会占用过多线程资源导致大量任务在等待处理,随着任务数的增加,系统吞吐量大大降低,性能指数级降低,Fast-Retry的性能是前者的指数倍。


1.2项目地址

https://github.com/burukeYou/fast-retry


1.3 分布式重试服务平台 Easy-Retry

下面是我之前分享的一篇文章,该篇文章被官方收录至优秀文章页面
https://mp.weixin.qq.com/s/Rr1oR4ieoYSoU_jLjxybow
https://blog.csdn.net/qq_34905631/article/details/131187901?spm=1001.2014.3001.5501
Easy-Retry官网优秀文章推荐
https://www.easyretry.com/pages/db78e2/
easy-retry改名为:Snail Job,代码仓库还在爱祖搭
https://snailjob.opensnail.com/


2.原理

利用springBoot的自动装配解析自定义注解等能力,在加上使用了aspectj的动态代理,为指定注解解析生成动态代理类,然后在方法调用时候进行拦截,如果拦截到异常,就利用线程池、多线程、CompletableFuture、队列、生产者+消费者模式提交一个重试任务到线程池中重试执行,然后返回结果,我翻看了Fast-Retry的源码,感兴趣的可以去把它的项目源码拉下来翻一翻,欣赏一下还是会发现一些新大陆的,基本的思路就是这种。


3.使用

3.1引入依赖

<dependency>
 <groupId>io.github.burukeyougroupId>
 <artifactId>fast-retry-allartifactId>
 <version>0.2.0version>
dependency>


3.2编程式

3.2.1使用重试队列

        ExecutorService executorService = Executors.newFixedThreadPool(8);        RetryQueue queue = new FastRetryQueue(executorService);        RetryTask task = new RetryTask() {            int result = 0 ;            @Override            public long waitRetryTime() {                return 2000;            }
@Override public boolean retry() { return ++result < 5; }
@Override public String getResult() { return result + ""; } }; CompletableFuture future = queue.submit(task); log.info("任务结束 结果:{}",future.get());


3.2.2使用FastRetryBuilder

        RetryResultPolicy<String> resultPolicy = result -> result.equals("444");        FastRetryer<String> retryer = FastRetryBuilder.<String>builder()                .attemptMaxTimes(3)                .waitRetryTime(3, TimeUnit.SECONDS)                .retryIfException(true)                .retryIfExceptionOfType(TimeoutException.class)                .exceptionRecover(true)                .resultPolicy(resultPolicy)                .build();
CompletableFuture<String> future = retryer.submit(() -> { log.info("重试"); //throw new Exception("test"); //int i = 1/0; if (0 < 10){ throw new TimeoutException("test"); } return "444"; });
String o = future.get(); log.info("结果{}", o);


3.3注解式

  • 依赖Spring环境,所以需要在配置上加上@EnableFastRetry注解启用配置才生效

  • 如果将结果类型使用CompletableFuture包装,自动进行异步轮询返回,否则同步阻塞等待重试结果。

下面定义等价于 FastRetryer.execute方法

    @FastRetry(retryWait = @RetryWait(delay = 2))    public String retryTask(){        return "success";    }

下面定义等价于 FastRetryer.submit方法,支持异步轮询

    @FastRetry(retryWait = @RetryWait(delay = 2))    public CompletableFuture<String> retryTask(){        return CompletableFuture.completedFuture("success");    }


4.FastRetry、Spring-Retry和Guava-Retry的性能测试对比

下图是三者的性能对比

  • 测试线程池: 8个固定线程

  • 单个任务逻辑: 轮询5次,隔2秒重试一次,总耗时10秒

  • 未测预计公式:当我们使用线程池的时候, 一般线程池中 总任务处理耗时 = 任务数/并发度 x 单个任务重试耗时

可以看到即使是处理100万个任务,Fast-Retry的性能也比Spring-Retry和Guava-Retry处理在50个任务时的性能还要快的多的多, 这么快的秘密在于除了是异步,更重要是当别人在重试间隔里休息的时候,Fast-Retry还在不停忙命的工作着。上面这个是官方gitHub上给出的性能测试表格,从他的描述上有一些估计的成份,有一些吹水的成份,测试需要用数据说话,而不是估计大概,用严谨的测试报告才能说明各自性能,所以我觉得这个表格是不严谨的。


5.总结

Easy-Retry虽然没有分布式重试的能力,也没有重试监控和可视化展示管理的能力,但是它的实现思路还是值得我们的学习和借鉴的,实现代码写的也是很优雅很耐思的,可以运用在项目上让重试的姿势更加优雅、干净、整洁和美观、性能也有所提升,让你写出帅气的code,保持良好的编码风格和习惯可以避免一些bug的产生,本次分享到此结束,希望我的分享能对你有所启发和帮助,请一键三连,么么么哒!

请使用浏览器的分享功能分享到微信等