Mesos的使用方案

　　回想起第一次接触Mesos，当时有很多困惑：“这到底是用来做啥的？跟YARN比有什么优势？有哪些大公司在使用么？”。

　　然而现在技术日新月异地发展，Mesos这个生态圈也开始被越来越多的团队熟悉关注，像k8s、Swarm之类的重量级竞品一个个地涌现。

　　在踩了或多或少的坑，现在重新回到这个问题，简而言之：

　　Q1：这到底是用来做啥的？

　　通俗地讲，就是把N台机器当做1台机器使用。

　　Q2：跟YARN比有什么优势？

　　更加通用，不局限在数据分析领域。

　　Q3： 有哪些大公司在使用么？

　　做技术预研的时候因为看到苹果在用，心里倍儿踏实。

　　Mesos在团队的变迁史

　　一

　　为Spark而Mesos

　　我们的分析团队一直都是在传统的CDH上跑Hadoop生态。对新业务评估时决定拥抱Spark，但CDH升级困难，Spark版本滞后，使用起来也远比Hadoop繁琐。最后我们决定基于Mesos从头构建新的数据分析基础环境。

　　但是Mesos上缺乏我们必须的HDFS和HBase。经过讨论我们决议了两种方案。

　　方案一

　　将HDFS，HBase和Mesos独立部署在裸机上，如下图

　　（前期方案一）

　　但实际使用时会因为HDFS和HBase并非在Mesos的隔离环境下运行，与Mesos会竞争系统资源。基于这样的考虑，我们否决了这种方案。

　　方案二

　　HDFS和HBase也运行在Mesos中。这种方案避免了上述问题，但也意味着我们需要自己实现这两个服务在Mesos中的部署。团队的大神担起了这个任务，制作了HDFS和HBase的Docker镜像， 通过marathon部署在Mesos中。

　　（前期方案二）

　　基于这样的部署形式，团队顺利地过渡到Spark生态，让我们的分析系统更加飞快地运转