主题：【原创】闲话Google集群 [4] 数据流和控制流的分 -- 邓侃
共:💬15 🌺46
去年我有一个项目，原来考虑使用gfs，后来放弃了，原因两个
1、系统运行中产生大量的小数据文件，而且实时性要求很高；hadoop默认的文件块是64m，小了性能不行；大了实时性不能满足要求；
2、namdenode是一个有状态的单点，无法实时备份。
后来的解决方法是将中间文件放在存储上，但是硬件成本太高，而且睡着系统的运行，硬盘空间的需求越来越大。
请教有什么更好的思路么？
- 相关回复 上下关系8
🙂那就相当于google的用户又多了，买机器买机器去。 熊仔 字56 2008-10-24 02:14:37
🙂花送好文 蜡笔小新 字59 2008-09-04 07:21:51
🙂关于MegaUpload和RapidShare 邓侃 字79 2008-09-04 07:38:34
🙂先花，再提问。GFS比较适用于海量数据，但是实时性不好
🙂关于GFS的实时性 5 邓侃 字724 2008-09-04 07:35:40
🙂最近用memcached做分布式内存cache集群，但是 季侯 字137 2008-11-23 14:57:31
🙂多节点的访问寻径问题在通信领域和并行计算领域 2 看看 字606 2008-09-04 06:26:56
🙂去中心化的路由 4 邓侃 字432 2008-09-04 06:36:36