重试组件使用与原理分析(一)-spring-retry
一、背景
在日常开发中,我们很多时候都需要调用二方或者三方服务和接口,外部服务对于调用者来说一般都是不可靠的，尤其是在网络环境比较差的情况下，网络抖动很容易导致请求超时等异常情况，这时候就需要使用失败重试策略重新调用 API 接口来获取。
当然如果对于重试的依赖比较轻,或者说对于一次调用的结果无关紧要(查询),那么可以不使用重试,或者在业务代码里边写简单的重试规则(比如某个接口调用,如果失败就循环调用若干次直到成功或者到达最大重试次数),但是目前整个行业都在推崇微服务,那么就算是在公司内部环境,一个非底层基础应用也会有很多二方服务依赖,也就是前边所说的外部服务调用,在网络抖动或者二方服务重启的时候也会失败,这个时候重试就显得特别重要,特别是一些不可复现的操作,比如收到逆向物流的取件成功消息,我们会基于消息做一部分业务逻辑,那么如果内部调用失败,消息不会重新投递,就会导致包裹实际物流状态和工单状态节点不一致的情况,会极大影响用户体验和后续业务流程。
所以,这个时候我们就需要一个框架或者封装好的组件,来帮我们提供重试能力。
二、重试组件介绍
目前市面上比较成熟并且可以商用的重试组件有两个,分别是spring-retry和guava-retrying,这里我们对两者简单做一下对比。
spring-retry
- spring家族的组件,和spring无缝融合
- 支持注解,开箱即用,降低开发人员学习和开发成本
- 不支持自定义返回类型重试,必须通过抛异常方式
- 不支持方法粒度recover
guava-retrying
- 重试策略友好,支持自定义返回类型重试
- 不支持注解
三、spring-retry小试牛刀
spring-retry的使用特别简单,引入依赖之后,使用注解开启重试能力,然后就可以在需要重试的方法或者类上使用注解重试。
1：引入依赖&开启重试
引入pom依赖:
<dependency>
<groupId>org.springframework.retry</groupId>
<artifactId>spring-retry</artifactId>
<version>1.2.2.RELEASE</version>
</dependency>开启注解重试能力:
@SpringBootApplication
@EnableRetry
public class Application {
public static void main(String[] args) {
SpringApplication.run(Application.class, args);
}
}2：业务中使用重试
编写服务并使用重试注解:
@Service
@Slf4j
public class TestService {
@Retryable
public void sayHello() {
log.info("hello everyone!");
throw new RuntimeException("rpc occur error");
}
}编写单元测试:
@Slf4j
public class RetryTest extends BaseTest {
@Autowired
private TestService testService;
@Test
public void testRetry() {
try {
this.testService.sayHello();
} catch (Exception e) {
log.error("retry occur error");
}
}
}运行单元测试:
我们看到接口被调用了三次,也就是说我们加上@Retryable注解后发生异常后默认重试了三次(包含第一次)。
四、源码&原理分析
1：源码分析
上一节中我们有描述到,要使用重试要在启动类上启动重试能力,也就是增加@EnableRetry注解,先看下源码:
EnableRetry
@Target(ElementType.TYPE)
@Retention(RetentionPolicy.RUNTIME)
@EnableAspectJAutoProxy(proxyTargetClass = false)
@Import(RetryConfiguration.class)
@Documented
public @interface EnableRetry {
/**
* Indicate whether subclass-based (CGLIB) proxies are to be created as opposed
* to standard Java interface-based proxies. The default is {@code false}.
*
* @return whether to proxy or not to proxy the class
*/
boolean proxyTargetClass() default false;
}该注解其实一个复合注解,其实它就是组合了@EnableAspectJAutoProxy注解和RetryConfiguration配置的能力,对于@EnableAspectJAutoProxy注解无非是开启AOP能力,关于AOP这里不做过多讲解,重试的核心在于RetryConfiguration这个配置类,我们看一下源码核心部分:
RetryConfiguration
@Configuration
public class RetryConfiguration extends AbstractPointcutAdvisor
implements IntroductionAdvisor,BeanFactoryAware {
/** 省略 **/
@PostConstruct
public void init() {
Set<Class<? extends Annotation>> retryableAnnotationTypes = new LinkedHashSet<Class<? extends Annotation>>(1);
retryableAnnotationTypes.add(Retryable.class);
this.pointcut = buildPointcut(retryableAnnotationTypes);
this.advice = buildAdvice();
if (this.advice instanceof BeanFactoryAware) {
((BeanFactoryAware) this.advice).setBeanFactory(beanFactory);
}
}
@Override
public void setBeanFactory(BeanFactory beanFactory) {
this.beanFactory = beanFactory;
}
} 该类继承了AbstractPointcutAdvisor,最顶层是Advisor,其实该类拥有了AOP能力。这里我们贴了两个比较核心的方法,setBeanFactory是BeanFactoryAware中定义的方法,这里是为了注入beanFactory便于后续使用spring容器管理的bean;init方法会在实例化后调用做了两件事,构建切入点和通知,分别看一下构建切入点和通知的逻辑。
构建切入点
protected Pointcut buildPointcut(Set<Class<? extends Annotation>> retryAnnotationTypes) {
ComposablePointcut result = null;
for (Class<? extends Annotation> retryAnnotationType : retryAnnotationTypes) {
Pointcut filter = new AnnotationClassOrMethodPointcut(retryAnnotationType);
if (result == null) {
result = new ComposablePointcut(filter);
}
else {
result.union(filter);
}
}
return result;
}这里构建了一个切入点,用于执行AOP拦截的时候过来类和方法。
构建通知
protected Advice buildAdvice() {
AnnotationAwareRetryOperationsInterceptor interceptor = new AnnotationAwareRetryOperationsInterceptor();
if (retryContextCache != null) {
interceptor.setRetryContextCache(retryContextCache);
}
if (retryListeners != null) {
interceptor.setListeners(retryListeners);
}
if (methodArgumentsKeyGenerator != null) {
interceptor.setKeyGenerator(methodArgumentsKeyGenerator);
}
if (newMethodArgumentsIdentifier != null) {
interceptor.setNewItemIdentifier(newMethodArgumentsIdentifier);
}
if (sleeper != null) {
interceptor.setSleeper(sleeper);
}
return interceptor;
}该方法的核心是实例化AnnotationAwareRetryOperationsInterceptor并返回,该拦截器实现了MethodInterceptor接口并且顶层实现了Advice接口,也即是拥有方法拦截的能力。
接着我们看一下AnnotationAwareRetryOperationsInterceptor的实现:
public class AnnotationAwareRetryOperationsInterceptor implements IntroductionInterceptor, BeanFactoryAware {
/** 省略 **/
@Override
public Object invoke(MethodInvocation invocation) throws Throwable {
MethodInterceptor delegate = getDelegate(invocation.getThis(), invocation.getMethod());
if (delegate != null) {
return delegate.invoke(invocation);
}
else {
return invocation.proceed();
}
}
}该类间接实现了MethodInterceptor接口,并实现了invoke方法,这里invoke方法的作用是现根据拦截到的调用信息(类信息,方法签名,入参等)计算出具体的方法拦截器,如果有可用的方法拦截器则执行方法拦截器的invoke调用,否则执行常规调用(不走重试逻辑)。我们接着看getDelegate方法:
private MethodInterceptor getDelegate(Object target, Method method) {
if (!this.delegates.containsKey(target) || !this.delegates.get(target).containsKey(method)) {
synchronized (this.delegates) {
if (!this.delegates.containsKey(target)) {
this.delegates.put(target, new HashMap<Method, MethodInterceptor>());
}
Map<Method, MethodInterceptor> delegatesForTarget = this.delegates.get(target);
if (!delegatesForTarget.containsKey(method)) {
Retryable retryable = AnnotationUtils.findAnnotation(method, Retryable.class);
if (retryable == null) {
retryable = AnnotationUtils.findAnnotation(method.getDeclaringClass(), Retryable.class);
}
if (retryable == null) {
retryable = findAnnotationOnTarget(target, method);
}
if (retryable == null) {
return delegatesForTarget.put(method, null);
}
MethodInterceptor delegate;
if (StringUtils.hasText(retryable.interceptor())) {
delegate = this.beanFactory.getBean(retryable.interceptor(), MethodInterceptor.class);
}
else if (retryable.stateful()) {
delegate = getStatefulInterceptor(target, method, retryable);
}
else {
delegate = getStatelessInterceptor(target, method, retryable);
}
delegatesForTarget.put(method, delegate);
}
}
}
return this.delegates.get(target).get(method);
}该方法中逻辑比较多并且特别值得我们借鉴,首先delegates是一个jvm缓存,如果缓存中有目标调用方对应的方法拦截器直接获取并返回,如果delegates中没有缓存目标类或者没有缓存目标中方法的拦截器映射,则进入同步逻辑,如果delegates尚未缓存目标类则先将目标类放入缓存,然后如果目标类映射中仍旧没有方法对应拦截器,则进入计算方法拦截器逻辑,先检查方法或者类上是否有Retryable注解,如果都没有说明不需要拦截重试,返回空映射供上层调用,然后检查如果Retryable注解中有自定义interceptor,那么从beanFactory中过去该拦截器并返回,如果Retryable注解中stateful为true,则构建有状态的拦截器并返回,否则构建无状态的拦截器作为兜底逻辑,接着把方法和对应拦截器映射放入缓存供下次调用使用。
接着我们看一下构建有状态和无状态拦截器逻辑:
构建有状态拦截器
private MethodInterceptor getStatefulInterceptor(Object target, Method method, Retryable retryable) {
RetryTemplate template = createTemplate();
template.setRetryContextCache(this.retryContextCache);
CircuitBreaker circuit = AnnotationUtils.findAnnotation(method, CircuitBreaker.class);
if (circuit!=null) {
RetryPolicy policy = getRetryPolicy(circuit);
CircuitBreakerRetryPolicy breaker = new CircuitBreakerRetryPolicy(policy);
breaker.setOpenTimeout(circuit.openTimeout());
breaker.setResetTimeout(circuit.resetTimeout());
template.setRetryPolicy(breaker);
template.setBackOffPolicy(new NoBackOffPolicy());
String label = circuit.label();
if (!StringUtils.hasText(label)) {
label = method.toGenericString();
}
return RetryInterceptorBuilder.circuitBreaker()
.keyGenerator(new FixedKeyGenerator("circuit"))
.retryOperations(template)
.recoverer(getRecoverer(target, method))
.label(label)
.build();
}
RetryPolicy policy = getRetryPolicy(retryable);
template.setRetryPolicy(policy);
template.setBackOffPolicy(getBackoffPolicy(retryable.backoff()));
String label = retryable.label();
return RetryInterceptorBuilder.stateful()
.keyGenerator(this.methodArgumentsKeyGenerator)
.newMethodArgumentsIdentifier(this.newMethodArgumentsIdentifier)
.retryOperations(template)
.label(label)
.recoverer(getRecoverer(target, method))
.build();
}该方法首先判断目标方法是否有CircuitBreaker断路器注解(和Retryable配合使用),如果有则创建断路器重试策略并设置重试策略、退避策略、重试模板以及恢复操作等,然后返回熔断拦截器,如果目标方法没有CircuitBreaker注解,则构建有状态拦截器并返回。
构建无状态拦截器
private MethodInterceptor getStatelessInterceptor(Object target, Method method, Retryable retryable) {
RetryTemplate template = createTemplate();
template.setRetryPolicy(getRetryPolicy(retryable));
template.setBackOffPolicy(getBackoffPolicy(retryable.backoff()));
return RetryInterceptorBuilder.stateless()
.retryOperations(template)
.label(retryable.label())
.recoverer(getRecoverer(target, method))
.build();
}构建无状态拦截器,设置重试模板、重试策略、退避策略和恢复操作并返回。
然后再看无状态和无状态(熔断器拦截归并到有状态)的方法拦截器实现:
StatelessRetryInterceptorBuilder
public static class StatelessRetryInterceptorBuilder
extends RetryInterceptorBuilder<RetryOperationsInterceptor> {
private final RetryOperationsInterceptor interceptor = new RetryOperationsInterceptor();
@Override
public RetryOperationsInterceptor build() {
if (this.recoverer != null) {
this.interceptor.setRecoverer(this.recoverer);
}
if (this.retryOperations != null) {
this.interceptor.setRetryOperations(this.retryOperations);
}
else {
this.interceptor.setRetryOperations(this.retryTemplate);
}
if (this.label != null) {
this.interceptor.setLabel(this.label);
}
return this.interceptor;
}
private StatelessRetryInterceptorBuilder() {
}
}可以看出最终返回的是RetryOperationsInterceptor,直接看其invoke实现:
public Object invoke(final MethodInvocation invocation) throws Throwable {
String name;
if (StringUtils.hasText(label)) {
name = label;
} else {
name = invocation.getMethod().toGenericString();
}
final String label = name;
RetryCallback<Object, Throwable> retryCallback = new RetryCallback<Object, Throwable>() {
public Object doWithRetry(RetryContext context) throws Exception {
context.setAttribute(RetryContext.NAME, label);
if (invocation instanceof ProxyMethodInvocation) {
try {
return ((ProxyMethodInvocation) invocation).invocableClone().proceed();
}
catch (Exception e) {
throw e;
}
catch (Error e) {
throw e;
}
catch (Throwable e) {
throw new IllegalStateException(e);
}
}
else {
throw new IllegalStateException(
"MethodInvocation of the wrong type detected - this should not happen with Spring AOP, " +
"so please raise an issue if you see this exception");
}
}
};
if (recoverer != null) {
ItemRecovererCallback recoveryCallback = new ItemRecovererCallback(
invocation.getArguments(), recoverer);
return this.retryOperations.execute(retryCallback, recoveryCallback);
}
return this.retryOperations.execute(retryCallback);
}先创建一个重试回调,然后调用retryOperations的execute方法。对于重试的具体操作稍后讲述。
StatefulRetryInterceptorBuilder和CircuitBreakerInterceptorBuilder
public static class StatefulRetryInterceptorBuilder
extends RetryInterceptorBuilder<StatefulRetryOperationsInterceptor> {
private final StatefulRetryOperationsInterceptor interceptor = new StatefulRetryOperationsInterceptor();
//省略
}
public static class CircuitBreakerInterceptorBuilder
extends RetryInterceptorBuilder<StatefulRetryOperationsInterceptor> {
private final StatefulRetryOperationsInterceptor interceptor = new StatefulRetryOperationsInterceptor();
//省略
}有状态拦截器和断路器拦截器builder最终都返回了StatefulRetryOperationsInterceptor,看下其invoke方法:
@Override
public Object invoke(final MethodInvocation invocation) throws Throwable {
if (this.logger.isDebugEnabled()) {
this.logger.debug("Executing proxied method in stateful retry: "
+ invocation.getStaticPart() + "("
+ ObjectUtils.getIdentityHexString(invocation) + ")");
}
Object[] args = invocation.getArguments();
Object defaultKey = Arrays.asList(args);
if (args.length == 1) {
defaultKey = args[0];
}
Object key = createKey(invocation, defaultKey);
RetryState retryState = new DefaultRetryState(key,
this.newMethodArgumentsIdentifier != null
&& this.newMethodArgumentsIdentifier.isNew(args),
this.rollbackClassifier);
Object result = this.retryOperations
.execute(new MethodInvocationRetryCallback(invocation, label),
this.recoverer != null
? new ItemRecovererCallback(args, this.recoverer) : null,
retryState);
if (this.logger.isDebugEnabled()) {
this.logger.debug("Exiting proxied method in stateful retry with result: ("
+ result + ")");
}
return result;
}和前边无状态拦截器的最大区别就是调用this.retryOperations.execute的时候传入了retryState。
然后到了最终执行重试逻辑的重试模板RetryTemplate,他实现了RetryOperations接口,我们直接看RetryTemplate最终调用的doExecute方法:
protected <T, E extends Throwable> T doExecute(RetryCallback<T, E> retryCallback,
RecoveryCallback<T> recoveryCallback, RetryState state)
throws E, ExhaustedRetryException {
RetryPolicy retryPolicy = this.retryPolicy;
BackOffPolicy backOffPolicy = this.backOffPolicy;
// Allow the retry policy to initialise itself...
RetryContext context = open(retryPolicy, state);
if (this.logger.isTraceEnabled()) {
this.logger.trace("RetryContext retrieved: " + context);
}
RetrySynchronizationManager.register(context);
Throwable lastException = null;
boolean exhausted = false;
try {
// Give clients a chance to enhance the context...
boolean running = doOpenInterceptors(retryCallback, context);
if (!running) {
throw new TerminatedRetryException(
"Retry terminated abnormally by interceptor before first attempt");
}
BackOffContext backOffContext = null;
Object resource = context.getAttribute("backOffContext");
if (resource instanceof BackOffContext) {
backOffContext = (BackOffContext) resource;
}
if (backOffContext == null) {
backOffContext = backOffPolicy.start(context);
if (backOffContext != null) {
context.setAttribute("backOffContext", backOffContext);
}
}
while (canRetry(retryPolicy, context) && !context.isExhaustedOnly()) {
try {
if (this.logger.isDebugEnabled()) {
this.logger.debug("Retry: count=" + context.getRetryCount());
}
lastException = null;
return retryCallback.doWithRetry(context);
}
catch (Throwable e) {
lastException = e;
try {
registerThrowable(retryPolicy, state, context, e);
}
catch (Exception ex) {
throw new TerminatedRetryException("Could not register throwable",
ex);
}
finally {
doOnErrorInterceptors(retryCallback, context, e);
}
if (canRetry(retryPolicy, context) && !context.isExhaustedOnly()) {
try {
backOffPolicy.backOff(backOffContext);
}
catch (BackOffInterruptedException ex) {
lastException = e;
// back off was prevented by another thread - fail the retry
if (this.logger.isDebugEnabled()) {
this.logger
.debug("Abort retry because interrupted: count="
+ context.getRetryCount());
}
throw ex;
}
}
if (this.logger.isDebugEnabled()) {
this.logger.debug(
"Checking for rethrow: count=" + context.getRetryCount());
}
if (shouldRethrow(retryPolicy, context, state)) {
if (this.logger.isDebugEnabled()) {
this.logger.debug("Rethrow in retry for policy: count="
+ context.getRetryCount());
}
throw RetryTemplate.<E>wrapIfNecessary(e);
}
}
if (state != null && context.hasAttribute(GLOBAL_STATE)) {
break;
}
}
if (state == null && this.logger.isDebugEnabled()) {
this.logger.debug(
"Retry failed last attempt: count=" + context.getRetryCount());
}
exhausted = true;
return handleRetryExhausted(recoveryCallback, context, state);
}
catch (Throwable e) {
throw RetryTemplate.<E>wrapIfNecessary(e);
}
finally {
close(retryPolicy, context, state, lastException == null || exhausted);
doCloseInterceptors(retryCallback, context, lastException);
RetrySynchronizationManager.clear();
}
}
方法虽然长,但是逻辑比较清晰,首先在循环中调用拦截到的目标方法,前提是要满足执行条件(满足重试条件并且重试资格没有耗尽),如果发生异常,在上下文中记录异常,然后通知监听器发生异常,如果发生异常后仍旧满足重试条件,则执行退避策略(比如到下次重试之前休眠一段时间),接着检查是否需要重新抛出异常中断重试逻辑(有状态并且遇到需要回滚异常),如果是则中断重试流程,然后重试执行完毕后执行恢复操作,如果没有恢复操作则重新抛出异常到主线程,最后清楚缓存并关闭上下文、关闭监听器和清理线程缓存。
接着我们看一下重试入口Retryable的源码:
Retryable
@Target({ ElementType.METHOD, ElementType.TYPE })
@Retention(RetentionPolicy.RUNTIME)
@Documented
public @interface Retryable {
String interceptor() default "";//1
Class<? extends Throwable>[] value() default {};//2
Class<? extends Throwable>[] include() default {};//3
Class<? extends Throwable>[] exclude() default {};//4
String label() default "";//5
boolean stateful() default false;//6
int maxAttempts() default 3;//7
String maxAttemptsExpression() default "";//8
Backoff backoff() default @Backoff();//9
String exceptionExpression() default "";//10
}该注解能够作用于类和方法上,作用于类上表示所有方法都需要重试,作用于方法则粒度更细。interceptor方法表示重试使用的拦截器,支持自定义,方法value表示需要重试的异常,include方法是哪些异常需要重试,exclude表示哪些异常不需要重试,label方法是重试标签,用于统计,stateful方法表示是否有状态(是否可以重新抛异常),maxAttempts表示最大重试次数(默认是3次),maxAttemptsExpression表示最大重试次数表达式,backoff则是退避策略,exceptionExpression是支持重试的异常表达式。
2：原理分析
前边洋洋洒洒讲了一大坨源代码,没有研究过这块代码的人可能看起来一脸嫌弃,既然分析了源码,那么我们接下来基于源码分析把流程串起来,详细讲述一下spring-retry实现重试能力的原理。
应用启动准备
- 应用启动扫描EnableRetry注解
- 开启代理能力,并且初始化RetryConfiguration配置,定义Pointcut和Advice
RetryConfiguration继承了AbstractPointcutAdvisor,其本身也是一个Advisor,spring AOP的作用原理就是将Advisor作为一个整合Pointcut和Advice的工具,通过Pointcut过滤类和方法,将Advice逻辑作用到拦截到的类或方法上。我们看到最终返回的Advice是AnnotationAwareRetryOperationsInterceptor,也就是说重试逻辑的核心逻辑就在AnnotationAwareRetryOperationsInterceptor中。
重试原理时序图
- 首先,consumer调用服务会被RetryConfiguration中配置的PointCut过滤,拦截需要重试的调用
- 然后,RetryConfiguration中配置的AnnotationAwareRetryOperationsInterceptor拦截并执行invoke
- 接着,AnnotationAwareRetryOperationsInterceptor会根据Retryable注解计算需要使用的拦截器代理(此处我们只分析无状态拦截器),然后调用代理拦截器的invoke方法
- RetryOperationsInterceptor组装方法回调RetryCallback和恢复回调ItemRecovererCallback,然后调用RetryOperations的execute方法(RetryTemplate)
- RetryOperations的execute方法调用最终会调到其实现类RetryTemplate的doExecute方法,该方法会在while循环中执行上一步的回调方法,如果执行成功并且没有出现异常,直接返回调用,如果出现异常则判断是否可以继续执行,如果可以继续执行则执行回避策略(比如下次重试前休眠1秒钟),如果执行资格耗尽则终止重试,如果配置了恢复方法则执行恢复方法,并返回结果,最后清楚上下文缓存、关闭监听器和移除线程上下文。
五、站在巨人的肩膀上
1：优缺点
经过上边的使用案例和源码原理分析,我们应该能够切实感受到spring体系的强大,以及各种开箱即用组件的魅力,但是凡事皆有利弊,在这里我们分析列举一下spring-retry的优缺点:
优点
- 和spring体系无缝融合
- 使用简单,开箱即用
- 基于注解,对业务代码零侵入(弱侵入,在方法上加注解)
缺点
- 重试必须基于异常,无法支持自定义返回类型
- 重试恢复是类级别,不支持方法粒度
- 重试策略不够友好和丰富
2：如何更好的实现
分析了spring-retry的优缺点,再结合我们的具体业务场景,目前很多公司内部都实现了服务化,各个应用之间的服务调用也都约定俗成的通过code来判定服务是否调用成功(当然也要兼容框架层的TimeOutException),也要在重试失败后做自定义的恢复或者打点记录,那么一个更好的或者说一个更适用的retry框架应该拥用哪些能力,支持哪些特性呢？
- 注解和编码:注解是解决大部分场景的重试问题,但是有些特定的场景使用注解无法实现或者说过于繁杂,那么我们可以支持编码的方式来提供重试能力,更加灵活和自定义。
- 支持自定义重试类型:除了支持异常重试,应该也要支持自定义数据类型重试,而不是所有的重试都要转换成特定异常才能实现重试,比如调用rpc服务返回code不等于0就认为失败,需要重试。
- 方法级恢复:方法加上重试能力后,重试后仍可能失败,但是每一个方法有不同的业务含义,不可能笼统的通过一种恢复策略实现,可用于差异化日志记录和重试汇总和归档。
- spring支持:就目前而言,国内绝大多数应用都基于spring作为底层基础框架来架构,那么一个好的框架不是一直独秀和特立独行,而是基于成熟的平台利用更好的平台服务,所以设计一个重试框架一定要支持与spring兼容。
总结
通过这边文章,相信大家对于重试框架有了比较深刻的体会,对于spring-retry框架的实现原理也有了大致的理解,通过分析其优缺点我们也学习了spring-retry框架帮我们解决了什么问题,带来了什么好处,有哪些处理不太友好的地方,如果让我们自己开发和设计一款重试框架要考虑哪些因素等等。同样也希望通过这篇文章能够给大家带来或多或少的帮助。
