备案控制台
探索云世界
开发者社区 Java技术进阶 文章 正文

SpringBoot-dubbo自定义负载均衡实现简单灰度

2019-08-09 2172
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
简介： 本文介绍如何利用dubbo自定义负载实现简单灰度（用户纬度，部分用户访问一个服务，其余访问剩余服务）。其实在这之前，对dubbo了解的也不是很多，只是简单的使用过，跑了几个demo而已，但是得知接下来可能要用dubbo进行开发，还是赶紧补了一下相关的知识，看了看官网，另外买了一本书《深入理解Apache Dubbo实战》，看了一大半，感觉还是很不错的。

本文介绍如何利用dubbo自定义负载实现简单灰度（用户纬度，部分用户访问一个服务，其余访问剩余服务）。

其实在这之前，对dubbo了解的也不是很多，只是简单的使用过，跑了几个demo而已，但是得知接下来可能要用dubbo进行开发，还是赶紧补了一下相关的知识，看了看官网，另外买了一本书《深入理解Apache Dubbo实战》，看了一大半，感觉还是很不错的。

1.dubbo负载均衡介绍

因为官网介绍的很详细了，这里只简单的说一下。dubbo负载均衡包含如下四种：

  • RandomLoadBalance：默认的负载策略，随机负载。
  • ConsistentHashLoadBalance：一致性 Hash负载。
  • LeastActiveLoadBalance：最少活跃数负载。
  • RoundRobinLoadBalance：轮询负载。

可以查看官方：http://dubbo.apache.org/zh-cn/docs/user/demos/loadbalance.html

这四个类都继承了AbstractLoadBalance抽象类，源码相关分析可以查看官方：http://dubbo.apache.org/zh-cn/docs/source_code_guide/loadbalance.html

2.springboot-dubbo实现自定义负载方法

springboot-dubbo使用自定义负载其实很简单，大致分为如下几步：

  • 1.创建自定义负载类，继承AbstractLoadBalance，重写doSelect方法，这个方法就是定义算法规则的地方。
  • 2.添加dubbo负载扩展点，在src/main/resources目录下创建META-INFO/dubbo目录，在目录下创建org.apache.dubbo.rpc.cluster.LoadBalance文件，里面配置对应的负载算法类，如下：
gray=com.dalaoyang.balance.GrayLoadBalance
  • 3.配置文件中使用，如下：
dubbo.provider.loadbalance=gray

3.模拟灰度方案及具体实现

3.1 灰度场景

现在模拟一个这样的方案，比如有4个服务提供者，端口分别是9001，9002，9003，9004，将其中9002端口的服务设置为灰度服务，当请求消费者接口testUser的userid为1-10时，强制转发到到灰度状态的提供者去，其余的还是请求到正常的服务，如图所示。

3.2 代码实现

接下来使用代码简单实现如上场景。

3.2.1 服务提供者

首先看一下pom文件，都是一些springboot-dubbo的依赖，如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.0.3.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.dalaoyang</groupId>
    <artifactId>springboot_dubbo_provider</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>springboot_dubbo_provider</name>
    <description>springboot_dubbo_provider</description>

    <properties>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <!-- Aapche Dubbo  -->
        <dependency>
            <groupId>org.apache.dubbo</groupId>
            <artifactId>dubbo-spring-boot-starter</artifactId>
            <version>2.7.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.dubbo</groupId>
            <artifactId>dubbo</artifactId>
            <version>2.7.2</version>
            <exclusions>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>javax.servlet</groupId>
                    <artifactId>servlet-api</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>log4j</groupId>
                    <artifactId>log4j</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-framework</artifactId>
            <version>2.8.0</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.curator/curator-recipes -->
        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-recipes</artifactId>
            <version>2.8.0</version>
        </dependency>


        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <exclusions>
                <exclusion>
                    <artifactId>log4j</artifactId>
                    <groupId>log4j</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>slf4j-log4j12</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
            <version>3.4.10</version>
            <type>pom</type>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

然后暴露一个接口，供服务消费者使用，如下：

package com.dalaoyang.api;

public interface UserService {

    String testUser(Long userId, String version);
}

实现类，接口返回对应的端口，dubbo的端口，如下：

package com.dalaoyang.api.impl;

import com.dalaoyang.api.UserService;
import org.apache.dubbo.config.annotation.Service;
import org.springframework.beans.factory.annotation.Value;

@Service
public class UserServiceImpl implements UserService {

    @Value("${server.port}")
    private String port;

    @Value("${dubbo.protocol.port}")
    private String dubboPort;

    @Override
    public String testUser(Long userId, String version) {
        return "调用成功，端口是：" + port +
                "。版本号是：" + version +
                "，用户id：" + userId +
                "，dubbo端口：" + dubboPort;

    }
}

创建一个GrayLoadBalance继承AbstractLoadBalance类，其中包含如下配置：

  • 当前请求的userId使用的dubbo隐式传参（也可以选用其他方式）。
  • 灰度用户名单配置在了消费者的配置中
  • 服务提供者配置中配置了一个属性status用于区分是prod服务还是gray服务。
  • 没有匹配对象的话，使用随机负载策略进行分发。

看完上面的简介，在看代码就容易了很多，大致就是取出请求的用户id和灰度用户id集合，判断是否是灰度用户，如果是，则选择灰度服务，如下：

package com.dalaoyang.balance;

import org.apache.dubbo.common.URL;
import org.apache.dubbo.rpc.Invocation;
import org.apache.dubbo.rpc.Invoker;
import org.apache.dubbo.rpc.cluster.loadbalance.AbstractLoadBalance;
import org.springframework.stereotype.Component;

import java.util.*;
import java.util.concurrent.ThreadLocalRandom;

@Component
public class GrayLoadBalance extends AbstractLoadBalance {

    public static final String NAME = "gray";

    public GrayLoadBalance() {
    }

    @Override
    protected <T> Invoker<T> doSelect(List<Invoker<T>> invokers, URL url, Invocation invocation) {
        List<Invoker<T>> list = new ArrayList<>();
        for (Invoker invoker : invokers) {
            list.add(invoker);
        }
        Map<String, String> map = invocation.getAttachments();
        String userId = map.get("userId");
        Iterator<Invoker<T>> iterator = list.iterator();
        String grayUserIds = url.getParameter("grayUserids", "");
        String[] arrs = grayUserIds.split(",");
        while (iterator.hasNext()) {
            Invoker<T> invoker = iterator.next();
            String providerStatus = invoker.getUrl().getParameter("status", "prod");
            if (Objects.equals(providerStatus, NAME)) {
                if (Arrays.asList(arrs).contains(userId)) {
                    return invoker;
                } else {
                    iterator.remove();
                }
            }
        }
        return this.randomSelect(list, url, invocation);
    }


    /**
     * 重写了一遍随机负载策略
     *
     * @param invokers
     * @param url
     * @param invocation
     * @param <T>
     * @return
     */
    private <T> Invoker<T> randomSelect(List<Invoker<T>> invokers, URL url, Invocation invocation) {
        int length = invokers.size();
        boolean sameWeight = true;
        int[] weights = new int[length];
        int firstWeight = this.getWeight((Invoker) invokers.get(0), invocation);
        weights[0] = firstWeight;
        int totalWeight = firstWeight;

        int offset;
        int i;
        for (offset = 1; offset < length; ++offset) {
            i = this.getWeight((Invoker) invokers.get(offset), invocation);
            weights[offset] = i;
            totalWeight += i;
            if (sameWeight && i != firstWeight) {
                sameWeight = false;
            }
        }

        if (totalWeight > 0 && !sameWeight) {
            offset = ThreadLocalRandom.current().nextInt(totalWeight);

            for (i = 0; i < length; ++i) {
                offset -= weights[i];
                if (offset < 0) {
                    return (Invoker) invokers.get(i);
                }
            }
        }
        return (Invoker) invokers.get(ThreadLocalRandom.current().nextInt(length));
    }
}

接下来在src/main/resources/META-INF/dubbo下添加org.apache.dubbo.rpc.cluster.LoadBalance新增扩展点，内容如下：

gray=com.dalaoyang.balance.GrayLoadBalance

这里使用了多配置文件来启动多个服务提供者，主配置文件application.properties内容如下：

spring.profiles.active=test3
dubbo.provider.loadbalance=gray

application-test1.properties内容如下：

##端口号
server.port=9001

## Dubbo配置
dubbo.application.name=dubbo_provider
dubbo.registry.address=zookeeper://127.0.0.1:2181
dubbo.protocol.name=dubbo
dubbo.protocol.port=9011
dubbo.scan.base-packages=com.dalaoyang
dubbo.provider.version=2.0.0

application-test2.properties内容如下，这里多配置了dubbo.provider.parameters.status=gray属性用于区分灰度服务：

##端口号
server.port=9002

## Dubbo配置
dubbo.application.name=dubbo_provider
dubbo.registry.address=zookeeper://127.0.0.1:2181
dubbo.protocol.name=dubbo
dubbo.protocol.port=9012
dubbo.scan.base-packages=com.dalaoyang
dubbo.provider.version=2.0.0
dubbo.provider.parameters.status=gray

application-test3.properties内容如下：

##端口号
server.port=9003

## Dubbo配置
dubbo.application.name=dubbo_provider
dubbo.registry.address=zookeeper://127.0.0.1:2181
dubbo.protocol.name=dubbo
dubbo.protocol.port=9013
dubbo.scan.base-packages=com.dalaoyang
dubbo.provider.version=2.0.0

application-test4.properties内容如下：

##端口号
server.port=9004

## Dubbo配置
dubbo.application.name=dubbo_provider
dubbo.registry.address=zookeeper://127.0.0.1:2181
dubbo.protocol.name=dubbo
dubbo.protocol.port=9014
dubbo.scan.base-packages=com.dalaoyang
dubbo.provider.version=2.0.0

到这里，服务提供者就创建完成了。

3.2.2 服务消费者

服务消费者就简单很多，pom文件除dubbo对应包以外，引入服务提供者的包，如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.0.3.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.dalaoyang</groupId>
    <artifactId>springboot_dubbo_consumer</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>springboot_dubbo_consumer</name>
    <description>springboot_dubbo_consumer</description>

    <properties>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <!-- Aapche Dubbo  -->
        <dependency>
            <groupId>org.apache.dubbo</groupId>
            <artifactId>dubbo-spring-boot-starter</artifactId>
            <version>2.7.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.dubbo</groupId>
            <artifactId>dubbo</artifactId>
            <version>2.7.2</version>
            <exclusions>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>javax.servlet</groupId>
                    <artifactId>servlet-api</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>log4j</groupId>
                    <artifactId>log4j</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>com.dalaoyang</groupId>
            <artifactId>springboot_dubbo_provider</artifactId>
            <version>0.0.1-SNAPSHOT</version>
        </dependency>

        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-framework</artifactId>
            <version>2.8.0</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.curator/curator-recipes -->
        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-recipes</artifactId>
            <version>2.8.0</version>
        </dependency>


        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <exclusions>
                <exclusion>
                    <artifactId>log4j</artifactId>
                    <groupId>log4j</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>slf4j-log4j12</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
            <version>3.4.10</version>
            <type>pom</type>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

配置文件中配置上述需要的灰度userid名单，如下：

## 端口号
server.port=8881

##Dubbo配置
dubbo.application.name=dubbo_consumer
dubbo.registry.address=zookeeper://localhost:2181
dubbo.scan.base-packages=com.dalaoyang.api

dubbo.consumer.version=2.0.0
dubbo.consumer.parameters.grayUserids=1,2,3,4,5,6,7,8,9,10

dubbo.provider.loadbalance=gray
dubbo.protocol.port=10000

创建一个TestController，编写一个简单的测试类，调用dubbo服务，内容如下：

package com.dalaoyang.controller;

import com.dalaoyang.api.UserService;
import org.apache.dubbo.config.annotation.Reference;
import org.apache.dubbo.rpc.RpcContext;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.Objects;

@RestController
public class TestController {

    @Reference
    private UserService userService;

    //灰度用户 http://localhost:8881/testUser?userId=3333&version=2.0.0
    //正常用户 http://localhost:8881/testUser?userId=10&version=2.0.0
    @GetMapping("/testUser")
    public String testUser(Long userId, String version) {
        RpcContext.getContext().setAttachment("userId", Objects.nonNull(userId) ? userId.toString() : "");
        return userService.testUser(userId, version);
    }
}

服务消费者到这里也完成了。

4.测试

4.1 启动项目

  • 1.启动zookeeper
  • 2.启动服务提供者，可以使用idea启动多服务，也可以打包，分别制定不同配置文件启动，任何方式都可以。
  • 3.服务提供者启动完成后，启动服务消费者。

4.2 页面请求

如果灰度状态的服务启动的话，访问http://localhost:8881/testUser?userId=10&version=2.0.0，如图所示。

如果灰度状态的服务没有启动，或者userid不在1-10之间的话会显示如下图所示。


5.源码

本文相关源码全部上传到了码云上，地址是https://gitee.com/dalaoyang/springboot_dubbo

文章标签：
负载均衡
微服务引擎
应用服务中间件
Dubbo
负载均衡
关键词：
Dubbo负载均衡
负载均衡自定义
负载均衡灰度
Spring Boot负载均衡
负载均衡实现
相关实践学习
部署高可用架构
本场景主要介绍如何使用云服务器ECS、负载均衡SLB、云数据库RDS和数据传输服务产品来部署多可用区高可用架构。
负载均衡入门与产品使用指南
负载均衡（Server Load Balancer）是对多台云服务器进行流量分发的负载均衡服务，可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
dalaoyang
目录
相关文章
爱吃糖的范同学
|
3月前
|
负载均衡 Dubbo 应用服务中间件
【Dubbo 解析】Dubbo支持几种负载均衡策略？
【1月更文挑战第11天】【Dubbo 解析】Dubbo支持几种负载均衡策略？
爱吃糖的范同学
39 1
阿甘兄
|
5月前
|
负载均衡 Dubbo 应用服务中间件
微服务技术系列教程（31） - Dubbo-原理及负载均衡分析
微服务技术系列教程（31） - Dubbo-原理及负载均衡分析
阿甘兄
55 0
灬沙师弟
|
8月前
|
负载均衡 算法 Java
So easy! 教你实现自定义负载均衡策略！
So easy! 教你实现自定义负载均衡策略！
灬沙师弟
348 0
ftw2fzqaoykua
|
7月前
|
Web App开发 Cloud Native 数据安全/隐私保护
基于云原生网关实现微服务的多版本线上灰度
一起体验云原生网关开箱即用的微服务多样灰度能力，支持容器服务、Nacos、ZooKeeper、Edas等多种服务发现方式。
ftw2fzqaoykua
137 0
赵广陆
|
7月前
|
消息中间件 运维 负载均衡
Dubbo负载均衡和集群容错和动态代理策略
Dubbo负载均衡和集群容错和动态代理策略
赵广陆
90 0
Web3-Basketball
|
8月前
|
负载均衡 Java 应用服务中间件
Spring Boot项目使用Nginx实现负载均衡，并包含Netty长连接，代码分享
@[TOC](目录) 要使用 Nginx 实现负载均衡，并将 Netty 长链接集成到 Spring Boot 项目中，需要按照以下步骤进行配置： # 1. 配置 Nginx 在 Nginx 配置文件中，指定反向代理服务器的配置，将请求转发到后端服务。可以使用以下示例配置： ``` upstream backend { server backend1.example.com:8080; server backend2.example.com:8080; server backend3.example.com:8080; } server { listen 80;
Web3-Basketball
328 0
JAVA开发大本营
|
8月前
|
负载均衡 Java 索引
Spring Cloud：自定义 Ribbon 负载均衡策略
Spring Cloud：自定义 Ribbon 负载均衡策略
JAVA开发大本营
126 0
陈微微
|
9月前
|
负载均衡 算法 Nacos
Ribbon自定义负载均衡策略
如何Ribbon自定义负载均衡策略
陈微微
76 0
好逸恶劳
|
9月前
|
负载均衡 算法 Java
Ribbon 的负载均衡策略和自定义负载均衡
Ribbon 的负载均衡策略和自定义负载均衡
好逸恶劳
164 0
码小高
|
9月前
|
负载均衡 Java Spring
如果想自定义负载均衡策略如何实现 ?
如果想自定义负载均衡策略，可以通过继承Ribbon提供的IRule接口，并实现自定义的负载均衡策略。
码小高
141 0

Java技术进阶

热门文章

最新文章

  • 1
    【Dubbo3终极特性】「流量治理体系」一文教你如何搭建Dubbo3的控制台服务Dubbo-Admin
  • 2
    【Dubbo3技术专题】「云原生微服务开发实战」 一同探索和分析研究RPC服务的底层原理和实现
  • 3
    【Dubbo3技术专题】拥有新时代的通信协议，引领云原生迈向更高的舞台 | 解密Dubbo3是如何从微服务升华到云原生领域
  • 4
    云原生最佳实践系列 6：MSE 云原生网关使用 JWT 进行认证鉴权
  • 5
    【Dubbo3高级特性】「框架与服务」服务的异步调用实践以及开发模式
  • 6
    深度剖析：Dubbo使用Nacos注册中心的坑
  • 7
    阿里云DNS常见问题之DNS负载均衡调加权模式失败如何解决
  • 8
    面试题：Nginx有哪些负载均衡算法？Nginx位于七层网络结构中的哪一层？
  • 9
    静态路由实现路由负载分担
  • 10
    slb监听协议http
  • 1
    SpringBoot启动后出现Please sign in页面
    43
  • 2
    Spring Boot的定时任务与异步任务
    52
  • 3
    SpringBoot整合Mybatis连接Oracle数据库
    60
  • 4
    通用Shell脚本执行Spring Boot项目Jar包
    27
  • 5
    【SpringBoot系列】SpringBoot集成Fast Mybatis
    170
  • 6
    Spring Boot集成Redis启动失败【Caused by: java.lang.ClassNotFoundException: org.apache.commons.pool2.impl.G】
    43
  • 7
    Spring Boot 整合xxl-job实现分布式定时任务
    70
  • 8
    【二十二】springboot整合拦截器实战并对比过滤器
    31
  • 9
    【二十一】springboot整合过滤器实战
    14
  • 10
    【二十】springboot整合ElasticSearch实战（万字篇）
    211

    • 相关课程

    更多
  • SpringBoot快速掌握 - 高级应用
  • LVS负载均衡实战
  • 超大流量网站的负载均衡
  • 负载均衡入门与产品使用指南
  • Dubbo分布式服务治理实战
  • Springboot项目云开发快速迁移

    • 相关电子书

    更多
  • 《应用型负载均衡ALB产品解读》
  • 阿里云网络-SLB负载均衡产品介绍
  • 负载均衡SLB热点问题解答

    • 相关实验场景

    更多
  • 基于MSE-Nacos实现服务的动态发现和配置动态管理
  • 使用SLB+2ECS+NAS，部署电商web网站的高可用架构
  • 基于云原生网关MSE-Higress插件实现WAF防护能力
  • 通过EDAS实现K8s微服务应用的金丝雀发布
  • 快速玩转Dubbo生态之限流降级篇（Sentinel）
  • 快速上手使用Dubbo进行远程调用
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）