mpush

Project Url: mpusher/mpush
Introduction: mpush,是一款开源的实时消息推送系统,采用 java 语言开发,服务端采用模块化设计,具有协议简洁,传输安全,接口流畅,实时高效,扩展性强,可配置化,部署方便,监控完善等特点。同时也是少有的可商用的开源推送系统。
More: Author   ReportBugs   
Tags:
push-java-推送-安全-集群-TCP-IM-Netty-开源-消息-

源码

ps:由于源码分别在 github 和码云有两份,最新的代码以 github 为主

服务调用关系

源码测试

  1. git clone https://github.com/mpusher/mpush.git
  2. 导入到 eclipse 或 Intellij IDEA
  3. 打开mpush-test模块,所有的测试代码都在该模块下
  4. 修改配置文件src/test/resource/application.conf文件修改方式参照 服务部署第 6 点
  5. 运行com.mpush.test.sever.ServerTestMain.java启动长链接服务
  6. 运行com.mpush.test.client.ConnClientTestMain.java 模拟一个客户端
  7. 运行com.mpush.test.push.PushClientTestMain 模拟给用户下发消息
  8. 可以在控制台观察日志看服务是否正常运行,消息是否下发成功

服务部署

说明:mpush 服务只依赖于 zookeeper 和 redis,当然还有 JDK>=1.8
  1. 安装jdk 1.8 以上版本并设置%JAVA_HOME%

  2. 安装zookeeper (安装配置步骤略)

  3. 安装Redis (安装配置步骤略)

  4. 下载 mpush server 最新的正式包https://github.com/mpusher/mpush/releases

  5. 解压下载的 tar 包tar -zvxf mpush-release-0.0.2.tar.gz到 mpush 目录, 结构如下

    drwxrwxr-x 2 shinemo shinemo  4096 Aug 20 09:30 bin —> 启动脚本
    drwxrwxr-x 2 shinemo shinemo  4096 Aug 20 09:52 conf —> 配置文件
    drwxrwxr-x 2 shinemo shinemo  4096 Aug 20 09:29 lib —> 核心类库
    -rw-rw-r-- 1 shinemo shinemo 11357 May 31 11:07 LICENSE
    drwxrwxr-x 2 shinemo shinemo  4096 Aug 20 09:32 logs —> 日志目录
    -rw-rw-r-- 1 shinemo shinemo    21 May 31 11:07 README.md
    drwxrwxr-x 2 shinemo shinemo  4096 Aug 20 09:52 tmp
    
  6. 修改 conf 目录下的 vi mpush.conf文件, mpush.conf里的配置项会覆盖同目录下的reference.conf文件

       #主要修改以下配置
       mp.net.connect-server-port=3000//长链接服务对外端口, 公网端口
       mp.zk.server-address="127.0.0.1:2181"//zk 机器的地址
       mp.redis={//redis 相关配置
             nodes:["127.0.0.1:6379"] //格式是 ip:port
             cluster-model:single //single, cluster
       }
       //还有用于安全加密的 RSA mp.security.private-key 和 mp.security.public-key 等...
    

    如果要修改其他配置请参照 reference.conf 文件

  7. 给 bin 目录下的脚本增加执行权限chmod u+x *.sh

  8. 执行./mp.sh start 启动服务, 查看帮助./mp.sh 目前支持的命令:

    Usage: ./mp.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}

    set-env.sh 用于增加和修改 jvm 启动参数,比如堆内存、开启远程调试端口、开启 jmx 等

  9. cd logs目录,cat mpush.out查看服务是否启动成功

  10. 集成部署,比如集成到现有 web 工程一起部署到 tomcat,可以添加如下依赖

    <dependency>
      <groupId>com.github.mpusher</groupId>
      <artifactId>mpush-boot</artifactId>
      <version>0.0.2</version>
    </dependency>
    

    启动入口com.mpush.bootstrap.ServerLauncher.java

配置文件详解

##################################################################################################################
#
# NOTICE:
#
# 系统配置文件,所有列出的项是系统所支持全部配置项
# 如果要覆盖某项的值可以添加到 mpush.conf 中。
#
# 配置文件格式采用 HOCON 格式。解析库由 https://github.com/typesafehub/config 提供。
# 具体可参照说明文档,比如含有特殊字符的字符串必须用双引号包起来。
#
##################################################################################################################

mp {
    #基础配置
    home=${user.dir} //程序工作目录

    #日志配置
    log-level=warn
    log-dir=${mp.home}/logs
    log-conf-path=${mp.home}/conf/logback.xml

    #核心配置
    core {
        max-packet-size=10k //系统允许传输的最大包的大小
        compress-threshold=10k //数据包启用压缩的临界值,超过该值后对数据进行压缩
        min-heartbeat=3m //最小心跳间隔
        max-heartbeat=3m //最大心跳间隔
        max-hb-timeout-times=2 //允许的心跳连续超时的最大次数
        session-expired-time=1d //用于快速重连的 session 过期时间默认 1 天
        epoll-provider=netty //nio:jdk 自带,netty:由 netty 实现
    }

    #安全配置
    security {
        #rsa 私钥、公钥 key 长度为 1024;可以使用脚本 bin/rsa.sh 生成, @see com.mpush.tools.crypto.RSAUtils#main
        private-key="MIIBNgIBADANBgkqhkiG9w0BAQEFAASCASAwggEcAgEAAoGBAKCE8JYKhsbydMPbiO7BJVq1pbuJWJHFxOR7L8Hv3ZVkSG4eNC8DdwAmDHYu/wadfw0ihKFm2gKDcLHp5yz5UQ8PZ8FyDYvgkrvGV0ak4nc40QDJWws621dm01e/INlGKOIStAAsxOityCLv0zm5Vf3+My/YaBvZcB5mGUsPbx8fAgEAAoGAAy0+WanRqwRHXUzt89OsupPXuNNqBlCEqgTqGAt4Nimq6Ur9u2R1KXKXUotxjp71Ubw6JbuUWvJg+5Rmd9RjT0HOUEQF3rvzEepKtaraPhV5ejEIrB+nJWNfGye4yzLdfEXJBGUQzrG+wNe13izfRNXI4dN/6Q5npzqaqv0E1CkCAQACAQACAQACAQACAQA="
        public-key="MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQCghPCWCobG8nTD24juwSVataW7iViRxcTkey/B792VZEhuHjQvA3cAJgx2Lv8GnX8NIoShZtoCg3Cx6ecs+VEPD2fBcg2L4JK7xldGpOJ3ONEAyVsLOttXZtNXvyDZRijiErQALMTorcgi79M5uVX9/jMv2Ggb2XAeZhlLD28fHwIDAQAB"
        aes-key-length=16 //AES key 长度
    }

    #网络配置
    net {
        local-ip=""  //本地 ip, 默认取第一个网卡的本地 IP
        public-ip="" //外网 ip, 默认取第一个网卡的外网 IP

        connect-server-bind-ip=""  //connSrv 绑定的本地 ip (默认 anyLocalAddress 0.0.0.0 or ::0)
        connect-server-register-ip=${mp.net.public-ip}  //公网 ip, 注册到 zk 中的 ip, 默认是 public-ip
        connect-server-port=3000 //长链接服务对外端口, 公网端口
        connect-server-register-attr { //注册到 zk 里的额外属性,比如配置权重,可在 alloc 里排序
            weight:1
        }

        gateway-server-bind-ip=""  //gatewaySrv 绑定的本地 ip (默认 anyLocalAddress 0.0.0.0 or ::0)
        gateway-server-register-ip=${mp.net.local-ip}  //本地 ip, 注册到 zk 中的 ip, 默认是 local-ip
        gateway-server-port=3001 //网关服务端口, 内部端口
        gateway-server-net=tcp //网关服务使用的网络类型 tcp/udp/sctp/udt

        gateway-client-port=4000 //UDP 客户端端口
        gateway-server-multicast="239.239.239.88" //239.0.0.0~239.255.255.255 为本地管理组播地址,仅在特定的本地范围内有效
        gateway-client-multicast="239.239.239.99" //239.0.0.0~239.255.255.255 为本地管理组播地址,仅在特定的本地范围内有效
        gateway-client-num=1 //网关客户端连接数

        admin-server-port=3002 //控制台服务端口, 内部端口
        ws-server-port=0 //websocket 对外端口, 公网端口, 0 表示禁用 websocket
        ws-path="/" //websocket path

        public-host-mapping { //本机局域网 IP 和公网 IP 的映射关系, 该配置后续会被废弃
            //"10.0.10.156":"111.1.32.137"
            //"10.0.10.166":"111.1.33.138"
        }

        snd_buf { //tcp/udp 发送缓冲区大小
            connect-server=32k
            gateway-server=0
            gateway-client=0 //0 表示使用操作系统默认值
        }

        rcv_buf { //tcp/udp 接收缓冲区大小
            connect-server=32k
            gateway-server=0
            gateway-client=0 //0 表示使用操作系统默认值
        }

        write-buffer-water-mark { //netty 写保护
            connect-server-low=32k
            connect-server-high=64k
            gateway-server-low=10m
            gateway-server-high=20m
        }

        traffic-shaping { //流量整形配置
            gateway-client {
                enabled:false
                check-interval:100ms
                write-global-limit:30k
                read-global-limit:0
                write-channel-limit:3k
                read-channel-limit:0
            }

            gateway-server {
                enabled:false
                check-interval:100ms
                write-global-limit:0
                read-global-limit:30k
                write-channel-limit:0
                read-channel-limit:3k
            }

            connect-server {
                enabled:false
                check-interval:100ms
                write-global-limit:0
                read-global-limit:100k
                write-channel-limit:3k
                read-channel-limit:3k
            }
        }
    }

    #Zookeeper 配置
    zk {
        server-address="127.0.0.1:2181" //多台机器使用","分隔如:"10.0.10.44:2181,10.0.10.49:2181" @see org.apache.zookeeper.ZooKeeper#ZooKeeper()
        namespace=mpush
        digest=mpush //zkCli.sh acl 命令 addauth digest mpush
        watch-path=/
        retry {
            #initial amount of time to wait between retries
            baseSleepTimeMs=3s
            #max number of times to retry
            maxRetries=3
            #max time in ms to sleep on each retry
            maxSleepMs=5s
        }
        connectionTimeoutMs=5s
        sessionTimeoutMs=5s
    }

    #Redis 集群配置
    redis {
        cluster-model=single //single,cluster,sentinel
        sentinel-master:""
        nodes:[] s//["127.0.0.1:6379"]格式 ip:port
        password="" //your password
        config {
            maxTotal:8,
            maxIdle:4,
            minIdle:1,
            lifo:true,
            fairness:false,
            maxWaitMillis:5000,
            minEvictableIdleTimeMillis:300000,
            softMinEvictableIdleTimeMillis:1800000,
            numTestsPerEvictionRun:3,
            testOnCreate:false,
            testOnBorrow:false,
            testOnReturn:false,
            testWhileIdle:false,
            timeBetweenEvictionRunsMillis:60000,
            blockWhenExhausted:true,
            jmxEnabled:false,
            jmxNamePrefix:pool,
            jmxNameBase:pool
        }
    }

    #HTTP 代理配置
    http {
        proxy-enabled=false //启用 Http 代理
        max-conn-per-host=5 //每个域名的最大链接数, 建议 web 服务 nginx 超时时间设长一点, 以便保持长链接
        default-read-timeout=10s //请求超时时间
        max-content-length=5m //response body 最大大小
        dns-mapping { //域名映射外网地址转内部 IP, 域名部分不包含端口号
            //"mpush.com":["127.0.0.1:8080", "127.0.0.1:8081"]
        }
    }

    #线程池配置
    thread {
        pool {
            conn-work:0 //接入服务线程池大小,0 表示线程数根据 cpu 核数动态调整(2*cpu)
            gateway-server-work:0 //网关服务线程池大小,0 表示线程数根据 cpu 核数动态调整(2*cpu)
            http-work:0 //http proxy netty client work pool size,0 表示线程数根据 cpu 核数动态调整(2*cpu)
            ack-timer:1 //处理 ACK 消息超时
            push-task:0 //消息推送中心,推送任务线程池大小, 如果为 0 表示使用 Gateway Server 的 work 线程池,tcp 下推荐 0
            gateway-client-work:0 //网关客户端线程池大小,0 表示线程数根据 cpu 核数动态调整(2*cpu),该线程池在客户端运行
            push-client:2 //消息推送回调处理,该线程池在客户端运行

            event-bus { //用户处理内部事件分发
                min:1
                max:16
                queue-size:10000 //大量的 online,offline
            }

            mq { //用户上下线消息, 踢人等
                min:1
                max:4
                queue-size:10000
            }
        }
    }

    #推送消息流控
    push {
       flow-control { //qps = limit/(duration)
            global:{ //针对非广播推送的流控,全局有效
                limit:5000 //qps = 5000
                max:0 //UN limit
                duration:1s //1s
            }

            broadcast:{ //针对广播消息的流控,单次任务有效
                limit:3000 //qps = 3000
                max:100000 //10w
                duration:1s //1s
            }
       }
    }

    #系统监控配置
    monitor {
        dump-dir=${mp.home}/tmp
        dump-stack=false //是否定时 dump 堆栈
        dump-period=1m  //多久监控一次
        print-log=true //是否打印监控日志
        profile-enabled=false //开启性能监控
        profile-slowly-duration=10ms //耗时超过 10ms 打印日志
    }

    #SPI 扩展配置
    spi {
        thread-pool-factory:"com.mpush.tools.thread.pool.DefaultThreadPoolFactory"
        dns-mapping-manager:"com.mpush.common.net.HttpProxyDnsMappingManager"
    }
}
  1. 未完待续...
Apps
About Me
GitHub: Trinea
Facebook: Dev Tools