基于 OpenResty 的服务器架构设计

这个服务器架构不一定能用上，记录在这里，算是一个小小的学习成果。

1. 技术选择

Cocos2d-x 3.x —— 客户端框架。
WebSockt —— 网络协议。
HTTP —— 网络协议。
OpenResty —— 基于 nginx+lua 实现 WebSocket 或 HTTP 服务器。
MySQL —— 数据库支持。
Redis —— NoSQL 支持。

2. 逻辑服务器

有两个不同的客户端需要提供服务。data_tester 和 client 。它们都需要 WebSocket 服务， client 还需要 HTTP 服务。

dtserver 为 data_tester 提供 WebSocket 服务。

socketserver 为 client 提供 WebSocket 服务，httpserver 为 client 提供 HTTP 服务。

dtserver/socketserver/httpserver 均使用 OpenResty(with lua) 实现。

下图表述了这种关系。虚线框内代表逻辑服务器部署。

基于 OpenResty 的服务器架构设计

3. 开发者分离

共有 4 个开发者 dev1~dev4 ，他们需要独立的服务器环境进行开发与测试。

按照常规，开发者可以在自己的开发计算机上建立服务器环境进行开发，待测试完毕后，合并代码并部署到公用服务器上进行测试。

但 OpenResty 在 Windows 系统上编译比较麻烦，于是我采取了上图所示的部署方式：

在服务器上为每个开发者绑定一个独立的 OpenResty 端口和 master 进程，使用独立的端口号、配置文件和服务端代码(lua files)，这样能够实现完全隔离。

对于 Redis，也进行类似的操作，每个开发者绑定一个独立的 Redis 配置文件和端口号。

HTTP 和 MySql 服务是共享的，不需要单独分配。因为所有开发者都共享相同的用户信息。

4. 部署工具

由于所有的代码都在远程服务器上，为了方便开发者管理服务器、更新自己的测试代码，我使用 git 库钩子和脚本来实现了一套部署工具。

4.1 serverctrl

serverctrl 是一个专用于控制服务器的 git 仓库。

下面的 OpenResty 服务器的和 redis 服务器的配置文件模版都保存在这个 git 库中。

4.2 OpenResty 服务器

下面的例子是中，使用[server]代表服务器名称，使用[user]代表开发者名称（也是 git 库的分支名称）。

4.2.1 支持的服务器

OpenResty 服务器程序部署在/opt/hhl文件夹中，下面几个服务器都是基于 OpenResty 的：

服务器	服务器路径
socketserver	/opt/hhl/socketserver/[user]
dtserver	/opt/hhl/dtserver/[user]
httpserver	/opt/hhl/httpserver/[user]

4.2.2 每个服务器程序的文件夹结构

每个 OpenResty 服务器程序实例，都有完全独立的一套配置，以/opt/hhl/socketserver/dev1为例，包含这样几个子文件夹：

logs 存放 log 日志和 pid 文件；
conf 其中只有一个 nginx.conf 配置文件，供当前的 OpenResty 服务器程序实例使用；
src 服务器逻辑的 lua 文件。

4.2.3 配置文件模版

每个 OpenResty 服务器程序实例都使用不同的端口、 prefix 和配置文件，完全独立。

上面提到的nginx.conf配置文件的模版位于serverctrl的 git 仓库中。模版文件为：nginx.[server].templ.conf，用于替换模版的值文件为nginx.[server].sub.py。

下面是 nginx.socketserver.templ.conf 的内容：

worker_processes  $WORKER_PROCESSES;    error_log  logs/error.log  debug;    events {      worker_connections  1024;  }    http {      lua_package_path "/opt/hhl/socketserver/$USER_NAME/src/?.lua;;";      lua_code_cache $LUA_CODE_CACHE;        server {          listen       $LISTEN;          server_name  $SERVER_NAME;            location /hhl {              content_by_lua_file  src/main.lua;          }      }    }

下面是 nginx.socketserver.sub.py 的内容：

{      'master':{          'WORKER_PROCESSES' : 1,          'LUA_CODE_CACHE':'off',          'LISTEN':'1080',          'SERVER_NAME':'localhost',      },      'dev1':{          'LISTEN':'1081',      },      'dev2':{          'LISTEN':'1082',      },      'dev3':{          'LISTEN':'1083',      },      'dev4':{          'LISTEN':'1084',      },  }

从上面的配置可以看出，master 是配置文件基准值，下面的属性会替换掉 master 中的同名值，然后写入配置文件。

4.3 Redis 服务器

下面的例子是中，使用[port]代表 redis 服务器程序使用的端口号。

redis 服务器程序部署在/opt/redis文件夹中，与 OpenResty 不同，Redis 没有采用分文件夹的方式，而是采用不同的配置文件来实现隔离。

配置文件名为：/opt/redis/etc/[port].conf。

每个 Redis 服务器实例，使用不同的端口号和配置文件，完全独立。

上面提到的配置文件的模版位于serverctrl的 git 仓库中。模版文件为：redis.templ.conf，用于替换模版的值文件为redis.sub.py。

下面是 redis.templ.py 的内容：

include /opt/redis/etc/redis.conf    daemonize yes  pidfile /opt/redis/var/$PORT.pid  port $PORT  bind $BIND  tcp-keepalive 0  loglevel notice  logfile $PORT.log  databases 16  dbfilename $PORT.rdb  dir /opt/redis/var/  appendonly no  appendfilename "$PORT.aof"  syslog-enabled yes  syslog-ident redis-$PORT  syslog-facility local5

下面是 redis.sub.py 的内容：

{      'master':{          'PORT': 6379,          'BIND': '127.0.0.1 192.168.18.18',      },      'dev1':{          'PORT': 6381,      },      'dev2':{          'PORT': 6382,      },      'dev3':{          'PORT': 6383,      },      'dev4':{          'PORT': 6384,      },  }

替换规则与 OpenResty 的相同。