nice服务端架构重构与演进

goosman 2016-03-11 02:16:49

加精

由于一直以来都是做php的, 并且文中涉及的源代码也都是php相关的.
所以就发到php版块了. 如果zuning版主觉得不合适, 请帮忙转移下...

为避免广告嫌疑. 已摘除公司介绍部分.
另外, 分享当时的一些问答, 也没有转过来.
看原文请点下面链接到公众号文章.

去微信公众号阅读原文

现阶段，nice 服务端主要面对以下几方面挑战：

系统设计，面向变化，必须能够很好地支撑“产品探索阶段”需求的多样性。
稳定性，避免稳定性问题对现有用户造成伤害，同时还需要应对业务突发性增长。
协作，麻雀虽小五脏俱全，服务端作为客户端、策略推荐、大数据、QA、运营、产品等各团队的桥梁，如何通过技术或非技术手段解决好各方的桥接。

“推倒重来”：nice 的重构之路

刚加入 nice，我就接到一个极具挑战性的任务，重构服务端整体业务及框架。和很多创业团队一样，我们在成长过程中积累了一系列技术债务。

旧系统是使用 CI 框架编写的，没有模块的划分，没有明确的分层，入口处直接进行各种业务处理，几乎没有复用。
API 的版本管理，是直接目录拷贝，随着业务的发展，已经需要同时维护十多个版本的接口代码，痛苦不堪。
代码中充斥着 if ($isAndroid && $appVersion >= 3) 这样的兼容逻辑。

以至于客户端/服务端联调基本靠喊。我相信初创公司很多朋友都经历过这些问题。

旧系统架构

旧系统架构是一个最典型的一体化的应用架构：后台、 HTML5、接口全部都揉在一起。

面对当时的状况，首先分析要解决的问题，认为下面 3 个问题比较关键。

结构性问题。代码结构混乱，无法复用。
客户端差异管理。接口版本拷贝导致重复代码量巨大，主要针对特定客户端的特殊需求/灰度/小流量等问题。
客户端/服务端 RD 协作问题。

分层和模块化

首先，从大的角度来考虑，可以用简单的两层架构来解决第一个问题。

应用层和服务层在编码层级进行划分：

应用层解决入口的问题，比如交互协议、鉴权、 Antispam 等通用服务接入以及各端个性化需求。
服务层解决业务逻辑的问题，将服务层按照业务做垂直的模块划分。

通过层次和模块的划分，代码管理变得清晰，逻辑复用性大大提高。同时，业务划分也为后面的业务隔离和分级管理提供了基础支持。

两个基础组件

上述客户端差异管理以及客户端与服务器协作，通过框架的两个基础组件来解决：

ClientAdapter：客户端适配器，用来处理所有客户端差异导致的逻辑问题。
CKCR：CheckAndCorrect，数据的检查和修正，用来控制输入输出协议，解决客户端/服务端 RD 协作的技术层面问题。

ClientAdapter 组件

先来看一个 ClientAdapter 的应用场景。

以上面配置为例，可以实现以下常用的类似规则。

所有客户端为 3.1.0 及以上版本，支持"打招呼"功能。
所有客户端为 3.1.0 以上版本，灰度渠道 abc36032 为 3.1.0 版本，支持"表情"功能。

大家看以上 nice 代码，通过这种方法，逻辑上 nice 应对的是各种 "Feature"，而不是具体的客户端环境。上面例子就是 ClientAdapter 的一种应用场景。

ClientAdapter 的整体结构

ClientAdapter 最基础的部分，是抽象出一个”客户端运行时环境”的概念，用它来描述发起每次请求的客户端的各种信息，比如系统、App 版本、IP、网络制式、网络运营商、地理位置等。另外，它提供一种简单的描述规则，用来描述一种受限的客户端环境。

应用层面，它仅对外暴露 checkEnv() 接口，用来检查当前客户端是否满足给定的描述规则。在这个基础设施之上，nice 上层有很多种应用。

比如原本客户端的差异会导致nice面对复杂的客户端适配，通过 NiceFeature，在 Feature 机制下，RD 面对的其实是一个个产品迭代的 Feature。再比如在 NiceUrl 中，nice 中实现了 CDN 的统一调度，通过 ClientAdapter，我们可以灵活控制各个地区使其采用不同的调度策略。

另外，在处理用户分流方面，这套机制所提供的灵活性也能够满足 nice 按照多种维度进行实验用户抽取的需求。

ClientAdapter 开源地址

ClientAdapter 这个组件实现非常简单，只有 200 行。代码已经摘出放在 github 上了，供大家参考，网址为：http://t.cn/RGnqnpj。

补充一点，ClientAdapter 的设计参考了 C 语言中的常用手段。在 autoconf 阶段，将系统的各种环境信息定义为各种各样的 HAVE_XXX 。这样就达到了环境本身的复杂性和实际的业务代码进行解耦的目的。

CKCR 引入

上述问题 3，客户端/服务端 RD 的协作问题，这个问题分两部分。

技术层面：协议层的约束。
流程层面：怎么配合工作。

技术层面上，要解决的问题是怎么让接口协议确保执行。从输入的角度看，我们要不信任客户端，只要协议约定建立就得按规则来，避免客户端被“坏人”控制，对服务造成伤害。从输出的角度看，要将业务层返回的数据确保按照协议约定传输到客户端，避免导致客户端产生不期望的结果，比如常见的类型不 Match 导致 Crash。

一言以蔽之，就是对输入数据的校验和输出数据进行修正。因此，nice 在这里引入了一层叫 CKCR 的组件，全名为 ChecK && CorRect。

CKCR 实现

CKCR 实现了一套很小的描述性语法规则。通过这套语法来描述要对数据进行的校验和修正。校验和修正行为是可以自由扩展的，下面是它的一个应用示例。

这个示例中，$data 代表要被处理的数据，$ckcrDesc 就是这个语法规则的描述串。它描述的规则如下。

整体数据是一个 KV 数组（Mapping），只保留 user 和 shows 两个子键的数据。
user 也是一个 KV 数组，它的 id 是 int 类型，name 是 str 类型。
shows 是一个数组，数组中每个元素是一个 KV 数组，过滤掉它的 id 子键，它的 url 子键，应用 imgCdnUrl 的自定义处理（执行 cdn 调度）。

它和 protobuf、Thrift 的 scheme 有相似之处，也有区别。差异主要在于，CKCR 提供的是一种可扩展的数据校验/修正的通用做法。由于这种扩展性，使得它可以对共性数据，在通用层做更多的文章。比如上面例子中的 imgCdnUrl 就是 nice CDN 调度的统一挂接点。

CKCR 内部结构及语法规则

上面是 CKCR 的基础功能。后来在应用中发现，在系统各个场景下，系统核心数据输出的数据结构大部分是一样的。因此，CKCR 描述串的复用性就成为了一个问题。

为了解决这个问题，nice 在 CKCR 编译之前，引入了预处理的机制。可以通过特殊的语法，引用固定的数据结构描述。这个机制引入之后，带来了一个附加的好处，即沉淀系统的核心数据结构。

客户端/服务端协作问题，技术层面 nice 通过这个组件解决。那么，人的协作问题怎么解决?

首先，CKCR 的描述规则是简明的。所以，它可以直接作为接口文档输出。

其次，在接口文档的基础上，nice 服务端和客户端 RD 之间的协作，流程上有一个明确的方案。

定协议：双方 RD 沟通，约定接口协议并提供文档，双方各自进入设计阶段。
假数据：服务端 RD 快速提供 Mock 数据的伪接口，供客户端 RD 基础功能自测使用。
真接口：服务端 RD 提供真实接口，双方联调。

这样分步的开发方式，基本就解决掉了”联调靠喊”的问题。双方的工作基本解耦，并且也基本不影响双方的开发进度。

CKCR 开源地址

CKCR 这个组件的源代码，已经摘出来放在 github 上了，网址为：http://t.cn/RGn57Xk。

第一阶段总结

上面这些就是 nice 应对第一阶段 3 个问题的方案：

分层和模块化：通过两层架构，解决掉结构性问题。
客户端适配器：解决掉客户端差异的问题。
CKCR：通过 CKCR 及协作流程，解决掉客户端/服务端 RD 协作的问题。

这个阶段，主要通过整体的重构，解决掉开发的问题，同时为未来的架构调整铺平路。

当时的做法是”推倒重来”，现在回顾，这种选择就当时的情况来说是正确的。在那个时间前后，我们没重构系统所遗留的问题，在系统变得更加庞大之后，变得更加棘手。

不过，话说回来，“推倒重来”的重构之路，毕竟还是充满了各种风险的，做这样的决定前，一定要做好充分的资源和风险评估。

为稳定性填的那些坑

在完成整体性的重构之后，nice 进入了业务的快速开发。2015 年 3 月还搞了一个月的 SpeciaForce，研发团队几乎所有人都住公司附近，7 * 14 小时以上的工作量。那段时间的冲刺，为我们的产品带来了日活等关键数据的提升，接口 PV 也达到了最高峰的 5 亿/天。

直到 2015 年 8 月，服务的稳定性经受了很大的考验，说实在的，我当时都快崩溃了，最重要的几类问题如下。

1、MySQL 扛不住

nice 的 MySQL 集群最初就是单实例单库，一主四从，机械硬盘。2015 年 4 月，跟很多业务增长很快的团队一样，为了快速解决问题，OP 把所有的 DB 都换成 SSD，收益非常大。

另外，由于考虑单库导致服务无法隔离，主库的写入也成为瓶颈。2015 年 3 月左右，nice 开始着手考虑分库/分表的事情。分库的方案，主要按垂直的业务进行划分。

技术债真是欠不得！！！

分库整个耗费了两位同学差不多半年的时间。接下来又用了大概一个季度的时间，针对系统的核心大表，进行表的拆分。

在 MySQL 这块儿，我们的教训如下。

用硬件解决问题，性价比非常高。
库的业务线划分，表的规模评估，这样的事情，千万马虎不得。提前做可能多几人天；拖后做可能就像我们需要甚至超过 1 人年的时间去擦屁股。

另外一方面，nice 对 Redis 的依赖也是很重的。一部分数据，是典型的 Cache用法。在线业务访问 Cache 没有的时候，会自动 fallback 到 DB，去冲 Cache。另外一部分数据，是准持久化数据。这部分我们在线业务不会 fallback 到 DB。

2、Redis 扛不住

nice 的 Redis 也是单集群。大概 2015 年四五月的时候，随着业务的快速迭代，很多新功能上线，Redis 的压力迅速增大，开始偶尔出现 Redis 故障。那个时候，nice 就开始了 Redis 的服务拆分。因为业务模式比较简单，所以 Redis的拆分速度是比较快的。

但同时，由于故障中丢过数据，我们决定在 Redis 高可用方面做一些自主开发。主要是针对平滑扩容、故障自动切换等方面。

由于这方面经验并不是很足，导致出了不小的问题。最严重的一次，上线试运行阶段没有发现问题，但切到全量后，多个集群节点接连出现问题。硬扛了两天左右，最后扛不住，只得往回切换。然而，当时又面临机器资源的问题，做不到一次性全量切回，只能逐集群切换，同时搭上几个 RD 去写几乎所有的准持久化数据的恢复脚本。

Redis 这块儿的教训是非常惨痛的，从 2015 年的踩坑经历来看，我们的收获是如下。

压力与容量评估的经验

压力相关的问题，还是用隔离/拆分的思路解决。
基础的服务监控是必须的，CPU、内存、磁盘、带宽等基础资源的监控的实现成本不高，但往往能帮我们提前发现问题。
服务的容量评估，是需要好好思考的。对于在线业务，会 Fallback 到 DB 的 Cache 业务，还要小心故障后穿透的风险。

数据相关的经验

准持久化的数据，如果 Redis 没有做好容灾方案，最好前准备全量恢复数据的备案。不然出问题了现写代码就跪了。
要动线上数据的话一定要准备好回滚方案，不然出问题可能就是灾难。

最后说下自主研发的看法，在技术规模达不到的前提下，建议还是利用已有的成熟方案。即便硬性条件达标，要做这件事，也得每一步都非常小心谨慎。

3、前端机扛不住

最后一个问题，前端机的压力问题。

首先，初创公司规模比较小的时候，接入层一般比较少出问题，不过还是建议做好基本的对“坏人”的防范或预案。

再来看前端机集群，我们出过的问题基本可以归为两类。

客户端的轮询出问题，用户对服务端造成大量请求。
后端服务故障，导致前端机处理慢或者干脆连接不上，这样前端机的进程池很容易就打满了。

因为我们已经对服务的资源进行了划分，业务上也有了模块的划分，所以这件事情的处理就相对容易。大概的思路如下。

前端机根据业务分级。核心业务通常变更较少，其他业务变更导致的故障，避免对核心业务有影响。

降级：我们提供了一套降级预案，出问题能立刻通过上线做降级处理，主要有两类策略。
a. 请求端：应对某个用户群或某个业务出问题；
b. 后端服务：某个依赖的后端服务故障。

后端服务容灾：目前 nice 是增加了一层 LVS 来做后端服务的故障切换（针对 MySQL/Redis 内部服务）；另外一点，在前端机应用侧，nice 也做了一层对后端服务的评分机制，避免应用侧才能检测到的问题被忽略掉。

做完上面两个阶段的事情。我们的服务端架构现状大体如下。

nice 现在的痛点和下一步计划

2015 年 8 月之后，经过 RD 和 OP 的共同努力，服务稳定性的问题得到了保障。同时技术团队迅速发展，也有了完整的数据和策略团队的同学。在多方对接的过程中，服务化逐渐就变得越来越重要。

另外，自身团队的规模也在扩大，所有的在线业务代码都在一起，有时候上线一次性要上 10 多个人的变更。代码库的耦合也成了一个明显的问题。

目前 nice 面临的最重要的问题就是服务化和代码拆分。

针对这个问题，我们目前的基本思路如下。

服务化，不一刀切。支持远程调用服务的同时，也能够支持现阶段的同机部署。避免服务过多，过早引入服务管理的问题。
代码拆分，应用开发框架升级。将库/框架/业务剥离，独立维护，并引入库的依赖管理工具。

在参与创业的这一年多时间中。我有非常多的感悟。

创业，是一种生活方式。你随时会面临各种各样的问题，有些是你擅长的，有些是你不擅长的。但是无论如何，你都要挺身而出。因为选择了，就要承担。

本次分享以实际问题为主，希望同样参与创业的朋友，看到这次的分享，能少走一点弯路。

...全文