淘客熙熙

主题:从曾经的Android组成员的角度来说说Android吧 -- zllwy

共:💬137 🌺380
分页树展主题 · 全看首页 上页
/ 10
下页 末页
      • 家园 能不能讲几句Cosmos?
        • 家园 非常简要的说两句

          Cosmos在存储上基本上还是对应着GFS,是在无结构(对应着database那种强结构化)的文件系统上的一套map/reduce的分布式系统,比较有特色的是搜索组在这之上做了一层类似于sql的封装,不用像Hadoop那样还得自己如何分解任务效率才比较高。这套东西叫做Scope,有兴趣的可以看去年VLDB上研究院的牛们发的文章。我记得好像HBase是不是也是做类似的事情?

          在微软内部,Cosmos被广泛用于搜索和广告内部的分布式计算以及大文件存储/处理,比如日志处理,另外不少机器学习的算法也被分布式化了。其实跟其他公司使用Hadoop的方式差不多。

          至于再往前一步,佛曰,不可说,呵呵。

          • 家园 和HBase好像不一样

            HBase是个key-value store,不过支持column family之类的。这个SCOPE我大致看了一下paper,还没仔细看,感觉是类似于map/reduce,但提供了更高一层的abstraction,也就是一个类SQL的script language。从功能上来说,跟Google的dremel很像。但dremel是建立在bigtable上面的。Google bigquery已经出来了,基本上就是dremel,也是可以用类SQL语言来对大容量的数据进行查询。

            • 家园 Scope

              Scope 是建立在Dryad上的。Dryad和Map/Reduce很像,但是是基于图论的。个人感觉还是Map/Reduce更简洁些。

              Dryad 还有Linq的运用,DryadLinq,如果感兴趣可以去看看。

            • 家园 哦,那就是我搞错了

              不是特别了解HBase,:)

              至于Scope这一层,确实是更抽象的一层,可以架构在map/reduce基础上,也可以架构在bigtable基础上。

        • 家园 a very brief intro

          http://www.cs.washington.edu/mssi/2010/JingrenZhou.pdf

        • 家园 对,我也有兴趣
分页树展主题 · 全看首页 上页
/ 10
下页 末页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河