Java接口幂等性设计场景解决方案v1。0
1-面试&实际开发场景1-1面试场景题目
分布式服务接口的幂等性如何设计(比如不能重复扣款)? 1-2 题目分析
一个分布式系统中的某个接口,要保证幂等性,如何保证?这个事,其实是你做分布式系统的时候必须要考虑的一个生产环境的技术问题,为什么呢?
实际案例1:
假如你有个服务提供一个付款业务的接口,而这个服务分别部署在5台服务器上,然后用户在前端操作时,不知道为啥,一个订单不小心发起了两次支付请求,然后这俩请求分散在了这个服务部署的不同的服务器上,这下好了,一个订单扣款扣了两次。
实际案例2:
订单系统调用支付系统进行支付,结果不消息网络,然后订单系统走了前面我们看到的重试retry机制,那就给你重试一次吧,那么支付系统收到了一个支付请求两次,而且因为负载均衡算法落在了不同的机器上。
小结:
所以你必须得知道这事,否则你做出来的分布式系统恐怕很容易埋坑! 2-幂等性介绍2-1-概念:
用户对于同一操作发起的一次请求或者多次请求的结果是一致的,不会因为多次点击而产生了副作用。
举个简单的例子:那就是支付,用户购买商品后支付,支付扣款成功,但是返回结果的时候网络异常了,此时钱已经扣了,用户再次点击按钮,此时会进行第二次扣款,返回结果成功,用户查询余额发现多扣钱了,流水记录也变成了两条。在以前的单应用系统中,我们只需要对数据操作加入事务即可,发生错误的时候立即回滚,但是再响应客户端的时候也有可能网络中断或者异常等等情况。 2-2- 产生幂等性问题的原因:网络问题/用户误操作/恶意操作,用户点击了多次 网络问题,微服务重试retry 网络问题很常见,100次请求,都ok;1万次请求可能1次超时会重试;10万次可能10次超时会重试,100万次可能100次超时会重试;如果100个请求重复了,你没处理,导致订单扣款2次,100个订单都扣错了,每天被100个用户投诉,一个月被3000个用户投诉。 2-3- 使用幂等性的场景前端重复提交:前端瞬时点击多次造成表单重复提交 接口超时重试:接口可能会因为某些原因而调用失败,处于容错性考虑会加上失败重试的机制。如果接口调用一半,再次调用就会因为脏数据的存在而产生异常 消息重复消费:在使用消息中间件来处理消息队列,且手动ack确认消息被正常消费时。如果消费者突然断开链接,那么已经执行了一半的消息会重新放回队列。被其他消费者重新消费时就会导致结果异常,如数据库重复数据, 数据库数据冲突,资源重复等 请求重发:网络抖动引发的nginx重发请求,造成重复调用。 3-幂等性的解决方案3-1- Insert接口幂等性1.使用分布式锁保证幂等性
秒杀场景下,一个用户只能购买同一商品一次的解决方法:采用用户ID+商品ID,存储到redis中,使用redis中的setNX操作,等待自然过期。 2.使用token机制保证幂等性
用户注册时,用户点击注册按钮多次,是不是会注册多个用户?我们可以在用户进入注册页面后由后台生成一个token,传给前端页面,用户在点击提交时,将token带给后台,后台使用该token作为分布式锁,setNX操作,执行成功后不释放锁,等待自然过期。 3.使用mysql unique key 保证幂等性
用户注册时,用户点击注册按钮多次,是不是会注册多个用户? 我们可以使用手机号作为mysql用户表唯一key。也就是一个手机号只能注册一次。 3-2- Update接口幂等性
update操作可能存在幂等性的问题:
1.用户更改个人信息,疯狂点击按钮,不会发生幂等性问题,因为数据始终为修改后的数据。
2.用户购买商品,用户在点击后,网络出现问题,可能再次点击,这样就会出现幂等性问题,导致购买了多次,可以使用 乐观锁 update order set count=count-1,version=version+1 where id=1 and version=13-3- Delete接口幂等性
根据唯一id删除不会出现幂等性问题,因为第二次删除的时候mysql中已经不存在该数据 3-4- Select接口幂等性
查询操作不会改变数据,所以是天然的幂等性操作。 3-5- 混合操作(一个接口包含多种操作)
使用 Token 机制,或使用 Token + 分布式锁的方案来解决幂等性问题。 4-幂等性解决方案实现思路4-1- Token机制实现
通过 Token 机制实现接口的幂等性,这是一种比较通用性的实现方法。
具体流程步骤: 客户端会先发送一个请求去获取 Token ,服务端会生成一个全局唯一的 ID 作为 Token 保存在 Redis 中,同时把这个 ID 返回给客户端; 客户端第二次调用业务请求的时候必须携带这个 Token ; 服务端会校验这个 Token ,如果校验成功,则执行业务,并删除 Redis 中的 Token ; 如果校验失败,说明 Redis 中已经没有对应的 Token ,则表示重复操作,直接返回指定的结果给客户端。 4-2- 基于MySQL实现
通过 MySQL 唯一索引的特性实现接口的幂等性。
具体流程步骤: 建立一张去重表,其中某个字段需要建立唯一索引; 客户端去请求服务端,服务端会将这次请求的一些信息插入这张去重表中; 因为表中某个字段带有唯一索引,如果插入成功,证明表中没有这次请求的信息,则执行后续的业务逻辑; 如果插入失败,则代表已经执行过当前请求,直接返回。 4-3- 基于Redis实现
通过 Redis 的 SETNX 命令实现接口的幂等性。
SETNX key value :当且仅当 key 不存在时将 key 的值设为 value ;若给定的 key 已经存在,则 SETNX 不做任何动作。设置成功时返回 1 ,否则返回 0 。
具体流程步骤: 客户端先请求服务端,会拿到一个能代表这次请求业务的唯一字段; 将该字段以 SETNX 的方式存入 Redis 中,并根据业务设置相应的超时时间; 如果设置成功,证明这是第一次请求,则执行后续的业务逻辑; 如果设置失败,则代表已经执行过当前请求,直接返回。 5-幂等性解决方案案例实现5-1-基于Token机制的实现5-1-1-实现思路
为需要保证幂等性的每一次请求创建一个唯一的标识token,先获取token,并将此token存入到redis,请求接口时,将此token放在header或者作为请求参数请求接口,后端接口判断redis中是否存在此token; 如果存在,则正常处理业务逻辑,并从redis中删除此token,那么,如果是重复请求,由于token已经被删除,则不能能够通过校验,返回重复提交 如果不存在,说明参数不合法或者是重复请求,返回提示即可 5-1-2-请求流程当页面加载的时候通过接口获取token 当访问接口时,会经过 拦截器 ,如果发现该接口中有 自定义的幂等性注解 ,说明该接口需要验证幂等性(查看请求头里是否有key=token的值,如果有,并且删除成功,那么接口就访问成功,否则为重复提交; 如果发现该接口没有自定义的幂等性注解,则放行。 5-1-3-代码演示1、使用的技术springBoot redis 自定义幂等性注解+拦截器请求拦截 Jmeter压测工具 2、创建项目
3、导入pom.xml<?xml version="1.0" encoding="UTF-8"?> 4.0.0 org.example springBoot-idempotent 1.0-SNAPSHOT 8 8 org.springframework.boot spring-boot-starter-parent 2.3.2.RELEASE org.springframework.boot spring-boot-starter-web org.springframework.boot spring-boot-starter-data-redis 4、自定义注解
该注解的目的是为了实现幂等性的校验,即添加了该注解的接口要实现幂等性验证 package com.ldp.idempotent.annotation; import java.lang.annotation.*; /** * 自定义注解 * 说明:添加了该注解的接口要实现幂等性验证 */ @Target({ElementType.TYPE,ElementType.METHOD}) @Retention(RetentionPolicy.RUNTIME) @Documented public @interface ApiIdempotentAnn { boolean value() default true; } 5、幂等性拦截器package com.ldp.idempotent.intceptor; import com.ldp.idempotent.annotation.ApiIdempotentAnn; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.data.redis.core.StringRedisTemplate; import org.springframework.stereotype.Component; import org.springframework.web.method.HandlerMethod; import org.springframework.web.servlet.ModelAndView; import org.springframework.web.servlet.handler.HandlerInterceptorAdapter; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse; import java.io.PrintWriter; import java.lang.reflect.Method; /** * 幂等性拦截器 */ @Component public class ApiIdempotentInceptor extends HandlerInterceptorAdapter { @Autowired private StringRedisTemplate redisTemplate; /** * 前置拦截器 *在方法被调用前执行。在该方法中可以做类似校验的功能。如果返回true,则继续调用下一个拦截器。如果返回false,则中断执行, * 也就是说我们想调用的方法 不会被执行,但是你可以修改response为你想要的响应。 */ @Override public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception { //如果hanler不是和HandlerMethod类型,则返回true if (!(handler instanceof HandlerMethod)) { return true; } //转化类型 final HandlerMethod handlerMethod = (HandlerMethod) handler; //获取方法类 final Method method = handlerMethod.getMethod(); // 判断当前method中是否有这个注解 boolean methodAnn = method.isAnnotationPresent(ApiIdempotentAnn.class); //如果有幂等性注解 if (methodAnn && method.getAnnotation(ApiIdempotentAnn.class).value()) { // 需要实现接口幂等性 //检查token //1.获取请求的接口方法 //查看当前接口的方法之上是否有自定义的注解@ApiIdempotentAnn //如果说包含了,则认为该接口是要进行幂等性校验的接口 //检验token //如果说有,则访问成功,执行逻辑业务,要删除redis中的token //如果说没有,则表示重复调用 //如果说没有包含了,则直接放行 checkToken(request); //如果token有值,说明是第一次调用 if (result) { //则放行 return super.preHandle(request, response, handler); } else {//如果token没有值,则表示不是第一次调用,是重复调用 response.setContentType("application/json; charset=utf-8"); PrintWriter writer = response.getWriter(); writer.print("重复调用"); writer.close(); response.flushBuffer(); return false; } } //否则没有该自定义幂等性注解,则放行 return super.preHandle(request, response, handler); } //检查token private boolean checkToken(HttpServletRequest request) { //从请求头对象中获取token String token = request.getHeader("token"); //如果不存在,则返回false,说明是重复调用 if(token==null || " ".equals(token)){ return false; } //否则就是存在,存在则把redis里删除token return redisTemplate.delete(token); } //后置,暂时没用 @Override public void postHandle(HttpServletRequest request, HttpServletResponse response, Object handler, ModelAndView modelAndView) throws Exception { super.postHandle(request, response, handler, modelAndView); } } 6、MVC配置文件package com.ldp.idempotent.config; import com.ldp.idempotent.intceptor.ApiIdempotentInceptor; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.context.annotation.Configuration; import org.springframework.web.servlet.config.annotation.InterceptorRegistry; import org.springframework.web.servlet.config.annotation.WebMvcConfigurer; /** * mvc配置 */ @Configuration public class MvcConfig implements WebMvcConfigurer { @Autowired private ApiIdempotentInceptor apiIdempotentInceptor; /* 添加自定义拦截器到Springmvc配置中,拦截所有请求 addInterceptor 需要一个实现HandlerInterceptor接口的拦截器实例 addPathPatterns 用于设置拦截器的过滤路径规则;addPathPatterns("/**")对所有请求都拦截 excludePathPatterns:用于设置不需要拦截的过滤规则 */ @Override public void addInterceptors(InterceptorRegistry registry) { registry.addInterceptor(apiIdempotentInceptor).addPathPatterns("/**"); } } 7、接口实现package com.ldp.idempotent.controller; import com.ldp.idempotent.annotation.ApiIdempotentAnn; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.data.redis.core.StringRedisTemplate; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; import java.util.UUID; import java.util.concurrent.atomic.AtomicInteger; @RestController public class ApiController { @Autowired private StringRedisTemplate stringRedisTemplate; /** * 前端获取token,然后把该token放入请求的header中 * * @return */ @GetMapping("/getToken") public String getToken() { String token = UUID.randomUUID().toString().substring(1, 9); stringRedisTemplate.opsForValue().set(token, "1"); return token; } //定义int类型的原子类的类 AtomicInteger num=new AtomicInteger(100); /** * 主业务逻辑,num--,并且加了自定义接口 * * @return */ @GetMapping("/submit") @ApiIdempotentAnn public String submit() { // num-- num.decrementAndGet(); return "success"; } /** * 查看num的值 * * @return */ @GetMapping("/getNum") public String getNum() { return String.valueOf(num.get()); } } 8、PostMan测试获取token
浏览器访问:http://localhost:9090/getToken,获取token的值
执行幂等性业务接口 第一次 ,在postman中调用当前接口,并在请求头中设置token
第二次 ,再次postman中访问该业务接口,显示 重复调用 的提示
查看num的值得接口
浏览器访问:http://localhost:9090/getNum
9-Jmeter压力测试工具测试
使用方法参考 Jmeter压力测试工具使用说明v1.0 10-小结
通过以上代码演示了解到,本案例对submit接口方法使用了基于token的幂等性解决方案,也就是当前submit接口方法只能调用一次,如果由于网络抖动或者网络异常出现多点或者点击多次的情况,就会出现报错提示,不允许调用当前接口,那么也就解决了当前业务接口幂等性的问题。
亲测有效毛孔粗大的请打开这是一个自用分享贴,保证真实分享哦!送心本人情况有斑,皮肤偏黄,T字区毛绒相比大一些,别的地方还行!送心到底用的啥呢?别急,我慢慢讲,您往下看!送心使用时长目前使用八天!送心每次使
回顾经典那些不能遗忘的篮球鞋艾弗森ReebokQuestion1ReebokQuestion1于1996年上市,是艾弗森签约锐步后的第一双签名鞋,也是艾弗森签名鞋中最成功的一款。球鞋中底内嵌的蜂巢Hexalite减震气垫,将地板和双脚带来的双重
梁朝伟和陈冠希在潮流活动上偶遇,一起合影一点也不显老12月16日,梁朝伟的老婆刘嘉玲分享老公的靓照,值得一提的就是梁朝伟与陈冠希一同合影。另外陈冠希的个人账号也同时分享了在东京潮流活动上,他和偶像梁朝伟的合影两大男神同框合影,而且是
杨幂带火了一双鞋厚底马丁鞋,洋气显腿长,潮人早就穿上了时尚潮流的兴起,从来都没有预示可言。或许就在你不经意之间,视线瞬间就被一种火爆的单品给霸屏了。时髦感的呈现,就是这么的简单而又直接。例如,今年火爆的这一双厚底马丁鞋,扑面而来的时尚
高级感大衣穿搭wintercoatkeepwarmandchic冬天的高级感,交给长大衣就能轻松营造。贾青驼色大衣不争不抢低调素雅,无时不刻都在呈现宁和雅致的生活格调,搭配牛仔阔腿裤透出一种静怡
冬天的外套这么穿最好看!周五晚上好啊。今天是轻松的漫画小剧场上次发了秋冬5双必备鞋子的搭配指南,大家都觉得特别实用,还有小伙伴说还想看看衣服!今天就和儿力力一起来分享一期秋冬外套清单,一共是5件,每件外套
阿拉伯人的服装与环境的关系阿拉伯人的服装与当地的地理环境有着很大的关系。阿拉伯人主要居住在亚洲西部和非洲北部,那里气候炎热,很少下雨。男子的传统打扮是身着长袍,头戴头巾。他们的长袍多为白色,十分宽大。乍一看
人啊,一晃就老了!(读到心酸)文泠泠春去春会来,花谢花会开,时间却一去不复返。我们要珍惜时间,做时间的主人,珍惜当下,享受岁月带给命运的馈赠,莫要莫等闲,白了少年头,空悲切。人生匆匆,一晃就老了,我们阻止不了时
看得见的海作者邓宗良小学在镇子最东边。从校后门出去,穿过一小片稀稀疏疏的木麻黄林,可以看到朦朦胧胧的海。木麻黄树与松树有几分相像,墨绿色的针叶长而浓密,被长长的海风吹得歪斜,发出细碎而悠长的
感恩遇见,感谢有你在头条看见彼此茫茫人海,人与人之间的相遇是缘,相识是份,相知是命,相伴是情。毕竟前世的五百次回眸才换来今生的一次擦肩而过。感谢有你,感恩遇见!相遇就是缘2011年秋天,经媒人介绍,
做自己理论篇(5)人生追求什么?人在这个世界上首先要求生存,人不同于动物可以本能的生存于自然界。人是靠人与人之间肉体和精神的劳动来生存,且人为了从大自然中获得自由,分工协作不断的提高生产力。分工协作必然出现私有制