持续集成和 Git

持续集成和 Git

TL;DR 持续集成就是“持续地集成”,用好 Git 会让你把“持续地集成” 做的更加有效。 引子 这些年,随着持续交付和DevOps的不断升温,似乎让大家忘记了持续集成(以下简称 CI)这个基础实践。更不科学的是,很多团队以为做了持续交付和 DevOps(其实也没做好)就不需要 CI 了。鉴于此,我才有了写本文的想法。 如果你看到这里,还是不理解为什么 CI 会和 Git 有关,那么我强烈建议你看下去,因为你对 CI 的认知中很可能少了核心的东西。如果你明白 CI 和 Git 的关系,你可以跳过下一节,直接从 Git 对 CI 的帮助那节看起。 持续集成到底是什么鬼?为啥和Git有关系? CI 就是“持续地集成”,就是频繁的提交代码并与主干上的代码合并。CI 的出发点很简单,当团队工作在同一个代码仓库(以下简称 repo)时,如果每个人都等到最后时刻提交合并代码,会带来很多冲突,导致开发延期等诸多风险。要解决这个问题,团队中的每个人应该更早更加频繁地提交合并代码,这样冲突就会减少,风险也会更早地被发现。除了频繁提交之外,整个团队工作在单一主干上,以及频繁的运行各种自动化测试也很重要。不过,本文关注在频繁提交这一点上面,其他的就先不展开讨论了。 从 CI 的定义来看,是否有一个 Jenkins 服务器(或者其他类似工具),其实并不重要。Jenkins 只是一个“持续集成系统”而已,没它照样可以 CI,有它团队也不见得在“持续地集成”。CI 系统并不是没用,但是在团队真正做到“持续地集成”之前,CI系统的作用非常有限。James Shore 曾经写过文章专门说这个事情,大家可以参考一下 http://www.jamesshore.com/Blog/Continuous-Integration-on-a-Dollar-a-Day.html。 Git 作为一个几乎要一统天下的分布式版本管理系统,对提交合并代码提供了诸多功能支持,使得程序员可以“随心所欲”地 CI。当然,Git 并非是唯一的也不一定是最早的有这些功能的分布式版本管理系统,如果你用的是 mercurial 或 Bazaar,应该也会有这些功能。 Git 对持续集成的帮助有哪些? Commit 和 Push 使何时将代码提交入主干变得更加灵活可控 频繁提交代码意味着,每次有可工作的代码变更就应该提交到主干,比如小到修改一个资源文件中的文本。在 Git 中提交代码到主干,我们需要 git add; git commit; git push(不考虑命令简写的情况),实际上这要比 svn 这样的非分布式版本管理系统来的复杂(svn add; svn commit)。然而,毕竟不是每次提交都是像修改资源文件那样简单,Git 的分布式设计使得提交代码变得更加灵活可控。 比如复杂一点的场景是,你实现了一个功能的部分需求,剩下的需求仍未实现。这时候,通过提交来保存一个阶段性成果是非常合理的做法,但你可能不希望完成一半的功能进入主干,那么 Git 就帮上忙了。你可以 commit 这部分代码变更但是不 push,然后等剩余的需求实现之后再 commit 并把两个提交一起 push 上主干。如果是 svn,就做不到了。 Commit --amend 让一次提交可包含的代码变得更加灵活可控 换一个场景,你实现了一个功能,代码和单元测试都写好了,但有些代码需要重构。你刚想要开始重构,无奈马上要去开个一小时的会。这时,作为一个专业的程序员,你肯定不希望把没重构的代码 push 到主干,但你可能又担心回来之后重构时可能犯晕。如果用 Git,这时你可以果断 commit 但不 push,之后如果重构犯晕了,就 git checkout 或 reset;如果不犯晕,就 git commit —amend 把重构之后的代码合并到上一个提交,然后再 push。 Stash 让被打断的工作轻松暂存和恢复 程序员常被一些意外的事情打断,比如代码写到一半,被告知(或者自己意识到)需要先完成另一个更高优先级的代码提交。这时,不论代码写到什么程度,都可以用 git add; git stash 把这些代码暂存。等到那个代码提交完成了,再用 git stash pop 恢复之前的代码就好了。 Git 让合并代码变得更加简单和便捷 合并代码时出现冲突可以说是程序员最不愿意见到的几件事情之一。CI 的频繁提交代码使得每次提交的代码数变少了,这样代码冲突的次数会明显下降。另一方面,Git 的实现机制使得代码更加容易被无冲突的合并。即使是出现冲突,Git 提供的合并选项也很丰富,使得合并操作变得非常便捷。 Git rebase (或 git pull —rebase)可以在 push 之前把本地的多个提交重新排列,使得 push 之后 repo 里面的提交成直线排列且更加清晰。如果只有一个团队或几个人工作在同一个 repo 上,rebase 算是一个推荐的做法(当然已经 push 的提交建议不要再 rebase)。不过,如果多个团队工作在一个 repo 上,通常建议 Merge over rebase,因为 merge 会保留提交的顺序,更有利于 bug 的追踪(git bisect)。 如果是两个 repo(注意不是两个 branch,CI 鼓励单分支),其中一个是从另一个 fork 出来的(如新项目fork老项目的代码来修改)。那么,Git cherry-pick 可以非常方便的将新项目的提交合并回老项目中。 开源项目中 Git 的玩法会有所不同 上面介绍的 Git 用法,是针对工作在同一个产品或项目上的一个或多个团队的建议。然而,开源项目中 Git 的玩法可能是不同的。比如,给开源项目发 pull request 的时候,通常要求你先把所有的提交 squash 成一个提交记录,以避免太多提交记录污染主干。我除了搞过一个 react-native 的 npm package 之外,并没有其他开源项目的经验,所以之前的建议不适用开源项目的可能性很大。 Jenkins 对于持续集成有啥用? 我本不想在这里提 Jenkins 了,不过看了 NBA 勇士和骑士第一回合常规时间最后4秒 JR 史密斯的一波“神操作”之后,我决定还是说两句来应个景。和 JR 一样,程序员也会出现这种“神操作”,比如提交代码之前“鬼使神差”地忘记了运行测试。这时候 Jenkins...
阅读更多
安息吧,集成测试

安息吧,集成测试

TL;DR 绝大部分集成测试都可以被“实现合理”的端到端验收测试所代替。集成测试这个概念应该从测试金字塔中去掉。 引子 最近看到好几篇文章提到集成测试(以下简称 IT)在开发中的作用,常说单元测试(以下简称 UT)和验收测试(以下简称 AT)不够用,所以应该上集成测试,等等。这与我最近这一年多的开发经历非常不一致,我不写 IT,只写 AT 和 UT(我是 XP 和 GOOS 的铁粉)。在 TDD 讨论群里,就集成测试和相关话题也和很多朋友聊了不少,感觉是时候写篇文章了。 到底什么是集成测试? 首先让我们看看到底什么是集成测试。其实这个问题很难回答,我从来没见一个合理和明确的定义。鉴于此,这里就用我自己的定义了。简单来说,集成测试就是一种自动化测试,目的是用来“集成”我们的代码,以确保几个代码模块放在一起是可以工作的。 上图是一个简单的网页表单+数据库的应用架构示意图,以 Java / Spring 框架来实现。那么,IT 可能覆盖的代码用虚线椭圆框表示,而 AT 会覆盖所有的代码,UT 则只针对某一个类或者模块。由图可见,集成测试由于缺乏共识,不同团队的实践也不一样,比如有些会把数据库包含在内,另一些则只是包含框架,Controller 和 Domain Object。另一种情况是,团队并不明确区分 UT 和 IT,而是用“Mini Integration Test” 来代替两者。这种情况与单元测试有关,本文就不讨论了。 什么是验收测试以及“端到端”? 验收测试的定义很明确,不论是 XP 中还是实例化需求中,都会把 AT 当做一个有业务价值的场景来看。而且 AT 可以把这样的场景“运行”起来,以此来验证业务价值没有被破坏。根据定义,通常实现 AT 的时候是“端到端”的。以我之前的经验,要把 AT 做好,关键是要理解“端到端”应该从团队视角出发,而不是用户视角出发。 如上图,用户在 App 上注册这个功能如果从用户视角来看,那么端到端就是从注册开始,直到他收到欢迎邮件为止。但如果从团队视角来看,端到端则变成从注册开始到 Api 后端服务将发送欢迎邮件的请求发送给 CRM 系统为止。如果是用户视角的 AT,最终的验证点是用户是否收到邮件(技术上是可行的),而团队视角的 AT,则只要验证是否正确发送请求就可以了。当然现实往往是残酷的,不少公司 App 和 Api 就是分为两个团队开发,那么 App 团队的 AT 就是到发送请求给 Api 为止,Api 团队的 AT 则是从接收到 Api 请求开始。 我的建议是以团队视角实现 AT,在测试中对所有外部依赖进行隔离(如 CRM 系统,就可以用 mock server 来验证请求并给出假的响应数据 )。实话说,绝大部分应用都有不可控的外部依赖(可能来自组织内部或外部),以用户视角来实现 AT 在实际工作中将变得不切实际,难以落地。 集成测试和验收测试的特点比较 有了定义之后,就可以比较一下 IT 和 AT 了,请看下表: 集成测试 验收测试 目的 集成代码并确保代码放在一起是可以工作的 代表有业务价值的场景并确保其不被破坏 实现复杂度 IT 通常需要启动框架或容器,涉及数据库或 Api 调用时,要进行必要的数据控制和 Mock 后端服务的 IT 不会打开 App 或者浏览器这样的 GUI。而前端代码的 IT  则不会启动所需的服务 AT 需要启动整个被测系统,对所有涉及的数据和 Api 进行控制 AT 会打开 App 或者浏览器来进行测试,测试运行会“途径” 代码中的每一层 运行时间 IT 运行的时间介于 UT 和 AT之间,一个 IT 大概是几百毫秒到一两秒 AT 运行的时间比 IT 长,一个 AT 大概是几秒到几十秒。 如果 IT 和 AT 都做同样的数据控制并 Mock 外部依赖,那么两者的时间差主要是启动 App 或者浏览器所需要的时间 运行环境的复杂度 IT 的运行环境通常是模拟环境,可能不用启动整个被测系统。比如,基于 Spring 框架的 IT 就可以利用 SpringJUnitRunner 来实现 AT 的运行环境是和开发环境一致的,仅仅是环境配置不同(比如测试数据库的链接) 定位问题的难度 如果 IT 失败,定位问题其实并不容易,因为涉及代码也不少 如果 AT 失败,定位问题更难,因为涉及了整个系统 为什么说应该用验收测试来代替集成测试? 基于上面的比较,来看看为什么验收测试可以代替集成测试吧: 目的:IT 的目的是集成代码,代表业务场景的 AT 一样可以集成代码,而且集成的代码更加完整并有业务上的意义。这回合,AT 完胜 IT。 实现复杂度:在 IT 出现的年代,端到端测试框架和服务Mock技术尚不成熟,实现 IT 的复杂度的确比 AT 要低不少。然而,现在这些框架和工具都已经很成熟了,如 cucumber ruby 的生态圈(包括 cucumber/capybara/selenium/appium/mock-server/factory-bot/activerecord 等等),AT 的实现复杂度已经大大下降了。这回合,AT 胜在生态圈已经追平甚至超过 IT 了。 运行时间:这恐怕是 IT 的拥护者们最有信心的一点了,IT 就是比 AT 快,还快不少呢。的确,即使以目前的技术,AT 的运行时间依然是 IT 的10...
阅读更多
你用错 Page Object 了吗?

你用错 Page Object 了吗?

什么是 Page Object ? Page Object 是在基于UI的自动化测试中经常被用到的一种设计模式。其目的是对在测试代码中被反复使用的页面元素和操作进行封装,从而去除重复代码,使其更容易被理解和维护。如果需要了解更多有关 Page Object 的内容,可以参考 https://martinfowler.com/bliki/PageObject.html。 Page Object 是如何被用错的?  虽然 Page Object 被广泛使用,但是经常能见到这个模式被用错。让我们先看看下面的 gist,这是一个误用的例子。 public class AddBudgetPage {    @Autowired    UiDriver driver;    public void open() {        driver.navigateTo("/budgets/add");    }    public void inputMonth(String month) {        driver.inputTextByName(month, "month");    }    public void inputAmount(int amount) {        driver.inputTextByName(String.valueOf(amount), "amount");    }    public void save() {        driver.clickByText("Save");    } } public class BudgetSteps {    @Autowired    AddBudgetPage addBudgetPage;    @When("^add a budget with month \"([^\"]*)\" and amount (\\d+)$")    public void add_a_budget_with_month_and_amount(String month, int amount) throws Throwable {        addBudgetPage.open();        addBudgetPage.inputMonth(month);        addBudgetPage.inputAmount(amount);        addBudgetPage.save();    } } 先来解释一下这个代码。AddBudgetPage 是一个 Page Object,他提供了四个方法(open, inputMonth, inputAmount, save)来操作添加预算的页面。而这些方法则被 BudgetSteps 中的 add_a_budget_with_month_and_amount 方法来使用,以此来实现 UI 自动化测试中添加预算这个动作。BudgetSteps 是 Cucumber JVM 中定义的 Step 文件,关于 Cucumber JVM 可以参考 https://github.com/cucumber/cucumber-jvm,这里就不深入了。AddBudgetPage 中的那个 driver,则是对 Selenium web driver 的一个封装,与本文所提及的内容无关。 那么,这个 AddBudgetPage 到底哪里错了?其实就是那四个方法有问题。这些方法实际上是“添加预算”这个业务动作的“分解操作”,是实现细节。从封装的角度来看,以 inputMonth 为例,inputMonth 只是封装了输入预算所在月份的操作细节,即表单中月份输入框的 name 是 month 这个细节。这种粒度的封装可以避免将来输入框 name 修改带来的麻烦,但如果添加预算的业务变了,比如增加了一个叫“部门”的新属性,那么就不得不为 AddBudgetPage 增加一个新方法 inputDepartment。同时,所有用到 AddBudgetPage 的 Step...
阅读更多
用 Cucumber 实现微信小程序的验收测试

用 Cucumber 实现微信小程序的验收测试

最近微信小程序的开发如火如荼,现代互联网开发这个课程自然不能落伍哈。我连夜搞出了 bbuddy 的小程序版,同时实现了自动化测试。特此献上小视频(时长1分18秒)一个,大家可以先睹为快 你和你的团队是不是也在搞小程序呢?是不是也想对小程序做自动化测试呢?欲知详情,欢迎来报名参加下个月的 CSD 课程(暨现代互联网开发课程)...
阅读更多