一直播、小咖秀大数据自动化运维实践

前言

一下科技从成立至今一直专注于短视频领域，我们希望分发给用户更多的优质视频，让用户看到这个世界上的美好。

我们公司对于大数据的要求和阿里、搜狗不太一样。当我加入一下科技后发现，在高速成长发展型企业，我们需要大数据做得更多的不是平台，不是让平台做得多么好，让各个部门使用，而是让平台提升用户增长、扩大营收。

我带领团队尝试多次转型，最终我们想到一点，我们需要大数据基础平台，更多的不是走到平台化或智能化，而是简单够用就好。

在此之上我们有很多想法，希望可以跟大家分享，有些处于高速发展期和成长期的公司可能跟我们面临同样的问题，大家可以共同探讨。

一直播、小咖秀大数据架构

我们先看一下一直播和小咖秀大数据的现状。当我们去考虑一直播和小咖秀整体大数据架构时，我把公司所有需要大数据业务的需求整理好，我尽量把它压缩到只需要到ES、HDFS、Kafka、HBase、Spark等，简单聚焦几方面。

原因在于我们投入的人力有限，不想让团队处于每天解决各种各样的开源组件问题，我们尽量把所有的业务聚焦到这几个方向上，好让我们更加聚焦。