Yahoo构建私有云应对海量数据
想像一个每秒响应150万个请求的网站需要怎样的基础设施?这是Yahoo云架构副总裁Todd Papaioannou面临的挑战之一。Todd Papaioannou表示“什么最使我头疼?不是Google。我现在最头疼的问题是虚拟化加速的时间。”
对于一条重量级的新闻来说,10到20分钟的时间来处理Yahoo流量飙升的问题实在是太长了 云技术。例如日本海啸,Osama bin Laden或Michael Jackson死亡的消息。
这就是为什么Yahoo构建了他们自己的私有云。当然这不意味着Yahoo只是搭建了一些虚拟服务器集群,Yahoo的基础设施规模可扩大或缩小。
据Papaioannou估计 应用虚拟化,依靠Amazon EBS(Elastic Block Store)存储,需要20到40分钟来启动VM实例。Yahoo支持超过6.8亿注册用户和超过200PB的数据存储在42000台Hadoop服务器上。同时每天收集和处理1000亿次的事件 云计算产品,并响应每秒1150万的网络请求和累计每月110亿次服务器网页请求。
Yahoo认为自己提供的是为消费者服务的个人云。提供互联网服务,如照片E-Mail和其他数据存储,并未用户提供搜索,新闻,游戏和视频。其秘密武器是WOO(Yahoo提出互联网是对象集合而不是网页集合”搜索理念推出的一系列新搜索功能命名为“WOO”搜索)。如果用户搜索一个乐队,WOO可显示新闻、视频、歌词等。
Papaioannou表示这意味着私有云不仅是一个漂亮的营销短语。Yahoo私有云底部是两层的,而基础设施则作为一种服务。Yahoo不对任何人共享其数据中心,其开发的自定义抽象层被称为“Cloud Fabrics”。可以将其看作中计算/数据中心的整个池资源,无需关注物理位置,因为主要负责分配已有的应用任务。另一层是Yahoo所说的秘密武器WOO。
私有云和私有数据中心永远不会完全消失 云计算,Papaioannou认为如果一家公司发展的足够迅速,拥有自己的基础设施比共享更节省成本。对于大多数企业来说 it服务管理,每秒150万的网络请求带来的经济规模是巨大的,云计算是最好的选择。