主题：【原创】Google：重回1998？（上） -- forsake
这个春节，Google估计过得不怎么样。Android手机热卖这样的好消息当然有，但更多的却都不是什么开心事儿：Facebook一步步壮大，自己的社区化尝试毫无进展自不必说；和Bing之间的口水战也就那样了；最伤筋动骨的，还要算是纽约时报2月12号发的一篇报道：搜索的肮脏小秘密。
捅篓子的是一家叫JCPenney的美国百货公司。人家一不小心，居然在几十个热门关键词搜索里，占据了Google的榜首位置。“服装”、“家具”、 “装饰”这些词儿就不用说，甚至连指名道姓要搜索的“新秀丽箱包”里，生产商新秀丽自己都只能委屈的蹲在JCPenney屁股下面。
怎么干的？还能怎么干，搜索引擎优化（SEO）呗。这也不算新闻，随便上网查查，满大街都是相关类型的公司，号称能够把你的网站整到搜索引擎的头几名。但老实说，真正说到做到的并不多。而能在热门关键词里，让你排名Google榜首的，绝对是凤毛麟角。如此说来，帮JCPenny干活的那家公司 SearchDex，可真的是劳模了。
网站雇佣SEO公司，提升自己的搜索引擎排名，这在互联网界几乎人人都在做，彼此心照不宣就是。但坏就坏在JCPenny这次搞的动静太大，招来了纽约时报的记者，终于东窗事发。结果是SearchDex被东家解雇，JCPenny的Google排名也一落千丈。
事情看起来告一段落，但引起的争论和思考却很要命：搜索优化怎么可以这么厉害？如果纽约时报不调查，Google自己能发现么？更重要的是，我们还能相信Google的搜索结果吗？这些问题，以及答案，才真正的触动了Google的立身之本。
1998年成立，以搜索起家的Google，之所以成名，靠的就是提供更精准，更受信赖的搜索结果。其技术核心，在于大名鼎鼎的PageRank。它主要依靠指向网页的链接，而不是网页本身内容，作为判断该网页排名高低的依据。这个在当年确实是一场革命：之前的Yahoo/AltaVista，只要你的网页上“服装”这个词出现的频率足够高，它就能在关于“服装”的搜索上排名靠前。改改网页就能作弊，搜索结果自然也就伪劣充斥。使用PageRank之后，作弊就困难多了：光修改自己的网页没用，你还得在别人的网页上添加指向自己的链接才行。
一时间，作弊者手足无措，Google也因此一战成名。但很快的，变通方法就出台了:交换链接，你加我一个链接，我还你一个，大家互惠互利。接着，就有了专门的交换链接网站，让你瞬时获得成百上千的外部链接。Google的应对也很简单：被认定为交换链接的，不做统计，不能因此提升排名。交换链接没用了，并不是世界末日。很快就有三角链接，甚至链接拍卖市场出现。Google进一步的打击，就又催生了专业的“链接农场”（LinkFarm）：通过注册或广告协议，控制一大群网站的链接部分，随着Google算法的不同，改变自己的链接形式。总之，道高一尺，魔高一丈。只要你肯出钱，提升网站排名的链接总能买到手。
这是没办法的事：PageRank的原理，和现实中投票选举差不离。既然有投票，自然就有人会买票贿选。相对于真实世界，互联网贿选的成本要低多了：法律约束几乎不存在，而新建一个网站或网页，怎么说也比生一个孩子简单吧。固然，Google对信誉高的网站，其推荐的链接也给予更高的影响力——但架不住假冒伪劣者人数众多啊。就拿JCPenney来说吧，它一口气搞定了几千个外部链接，真正做到了“千夫所指”。这个数字在SEO界，是相当普遍的，达到并不困难。“租用”上千链接一年的花费，从几百到几万美金不等，依链接质量和SEO公司的宰人程度而定。显然，JCPenney手里的链接，那是相当的有质量。
租用链接固然豪爽，但失之简单粗暴，有迹可寻。毕竟，如果你一夜之间多了成百上千个链接，搜索引擎通过算法统计很快就可以察觉。改进的办法就是慢慢来：SEO公司会在半年甚至一年的时间内，逐步增加链接的数量，高明的还会以波段式添加，一切就显得更自然，更健康。
这么折腾一番下来，大家也都明白了：光靠链接判断网页质量是不够的。因此，Google又不得不增加对网页本身内容的评估。当然，比起当年数关键词，技术还是进步了不少。比如语义分析，就可以排除掉大量仅仅是重复热门关键词的垃圾网页。也就是说，单靠链接农场+计算机自动生成网页不好使了，你还得有点真正的内容才行。
预知后事，请看下集
我的互联网日记系列：
本帖一共被 1 帖 引用 (帖内工具实现)
有需求，就有供应。“内容农场”（Content Farm）应运而生。所谓内容农场，就是雇佣廉价写手，大量的发灌水文章。当然，文章主旨还是会跟热门关键词挂钩。尽管内容低劣，但糊弄搜索引擎是绰绰有余——要指望计算机来分辨文章水平的高下，那还有的等。他们赚钱的方式有两种：1.把文章卖给有SEO需求的网站；2.自己直接在文章上打广告赚钱。链接+内容双剑合璧，登上搜索引擎前列很轻松。随之而来的巨大访问量，变成广告收益还是大有赚头。这方面，最出色的内容农场当属Demand Media，每月生产内容近百万条，甚至还上了市，价值13亿美金。多亏了Google。
还能搞得再大些吗？当然可以。互联网界闻名遐迩（说是臭名昭著也行）的美国在线（AOL），前一段收购了一家网络报纸Huffington Post，就引来议论纷纷。甚至连一向古板的经济学人杂志都开始怀疑，此举是看中了Huffington Post大量发布原创内容的能力，AOL将来的运作模式也很可能效仿Demand Media，在搜索引擎排名上卡位，继而吸引流量和广告。
问题现在很明显：Google改进搜索技术的努力，一方面确实淘汰了不少作弊招数，另一方面，却也催生了越来越专业的公司，从提升搜索排名上赚得脑满肠肥。此消彼长之下，普通用户的搜索体验，仍然没有太多的改善。当然，变化也是有的：我们的搜索内容分成了两个领域，无商业价值的搜索，比如“云南地理”，和有商业价值的搜索，比如“云南旅游”。在前者，Google的效率无可争议，你几乎可以确定，排名榜首的结果就是想要的答案。但在有商业价值的搜索上，你就要祈求苍天保佑了。原因在于，我们想要的往往是中立、客观的解答或评价——这类内容总是赚不到钱的。无商业价值的领域，由于不存在专业SEO的竞争，基本可以做到优质者优先；但在有钱赚的领域，作为商家必争之地，专业SEO就可以大显身手。投入小的中立信息，自然要让位给商业广告。就如一位SEO 从业者，接受纽约时报采访时所说的：谁在SEO上砸钱最多，谁的排名就越高。
成为变相竞价排名网站，而竞价收益还不归自己，这显然不是Google的初衷。那就得琢磨出个办法来啊。作为一家纯粹的极客公司，Google信奉的是数学计算主义：优秀的算法+高性能的计算能力，是可以取代甚至超越人脑的。这套理念确实相当有效：Google搜索，就一直兼具机器搜索的高效，和人工搜索的准确。至于Google翻译，更是走了一条算法+计算+海量数据，从而逼近人工智能的路——效果还相当不错。但在对付SEO上，Google主义似乎碰到了困难：单凭计算机是搞不定SEO作弊的，还得要人脑才行。
当然，纯靠机器包打天下行不通，Google自己也明白。它内部就有专门的职员，负责找出计算机顾及不到的作弊方法，然后对算法加以改进。如果机器无法识别以及惩罚作弊者，传言说Google还可以用人工降低，甚至移除某个网页的搜索排名——当然，Google官方是否认的。不过，问题在于：要处理的数据太庞大了。面对每天10亿次的搜索量，这得要多少人力才可以应付自如？而且，要增加人手的话，会带来更多的管理以及组织问题，极客公司可以建立庞大的计算中心，却未必有能力管理大规模的雇员——后者往往意味着整个组织架构、甚至公司文化的变更，一不小心就可能是万劫不复的下场。
既然内部人力不足，就只好借助用户们了。Google的搜索结果旁边，终于有了一颗小星星，让用户表达对其的喜爱之情。最近还出了一个浏览器插件，让人们可以把某个网站的内容，从搜索结果里踢出去。老实说，这些功能，早就被用户呼唤多年，现在才出来，实在是有点迟缓。
Google慢，别人可没闲着。社区网站的兴起，展示了一条新路：不再以网页为中心，而以人为中心组织信息。而相应的，有人提出了 “PeopleRank"来取代PageRank，即以人与人之间的关系与信任程度，代替网页之间的链接，作为衡量信息价值的标准。这个当然不错，毕竟一个人改名换姓要比网站改域名困难一些，说起话来也能慎重一点儿；同时，还可以利用人们线下已有的信任关系。但其副产品，实名制的推行，恐怕会让很多网络自由主义者失望。另外，作弊的空间仍然存在：就像网页时代有链接农场一样，社区时代自然也会有关系农场。微博上的付费转发和僵尸粉，不就是收费链接的社区版么？道理是不会变的：只要有人愿意出钱，你获得的信息就会受到干扰。
但新一代社区网站的好处在于，我们可以自由选择信息源。如果一个人总是搞付费转发，取消对他的关注就是了。Google的那个可以移除网站的插件，显然也是赋予了用户更多选择的权力。不过，这么一来，我们可能会遇到新问题：信息来源越来越封闭。结果就是形成一个个的信息孤岛，不同人群之间的隔阂也会越来越深，共识越来越少。对于一个圈子不够大，又过于封闭的群体来说，还有思想日趋僵化，失去竞争力的危险。这个时候，最有价值的往往是这么一个信息源：它本身具有足够的信誉，受人信任，又致力于在孤岛外，庞大的信息海洋中，过滤出有意义的部分。在过去，它可能是一个见多识广、交游广阔的朋友，也可能是一份声誉良好的杂志；甚至Google也在一定程度上承担了这份职责。那么在今天，它又该是以什么形式出现？它还会是Google吗？
我的互联网日记系列：
本帖一共被 1 帖 引用 (帖内工具实现)
挺通俗易懂的
不会是从老铁的那朵花那里学来的吧。算法再好，用足来自用户的信息还是对头的思路。
我很中意西河的浏览模式，因为有花和草，替我过滤掉了大部分我不需要一个一个打开的注水帖，而只要关注有质量的那些。
而实名制能带来的额外好处就是多了一个加权，除非效果很明显，不然顶不住自由主义者们对无所不知的Google的敌意。
自动每天进行若干查询，点小星星...
之前给LD搜索UGG的时候就出现过，页面最上面的广告栏上面写的什么“Official UGG Site”，显示的链接也是UGG的官网，就是一点下去就跑到什么别的网站去了。我当时就想，如果这样是不是可以利用大家对google的信任来搞什么钓鱼呢？比如你搜什么美洲银行之类的，上面都显示得无比正确，然后就让你跑到我的钓鱼网站上，套取你的账号密码什么的。这样不知道google要不要负责任的呢？
不过刚才又实验了一下，至少UGG不好用了，确实是指到官网了，不知道是不是google改进了
互联网问题可以用现实生活中的例子来比方：就好比街头开了好多家大商场，你想买件大衣但又不知道该去哪一家
-- 你站街头瞪眼看，哪家人流汹涌就去哪家：你这是看Google Organic Ranking
-- 你翻报纸或者看电视，看谁家广告打得凶就去谁家：你这是依靠Google CPC
-- 你跟亲戚朋友打听，大家众口一词：“买大衣，去大福源”：你这是依靠social networking
即便是现实生活中也没法杜绝作弊：某些商场可以雇一帮托儿，前门进后门出，搞得门庭若市；打广告的也不能信，最后搞不好羊毛还是出在羊身上...
亲朋好友么，除非你欠钱不还，一般不会存心害你... 可是可是问题是三姑和二姨妈她们都是老太太，天天去大福源买菜买成习惯了，让你去那里买大衣 -- 这个信息的准确性，囿于圈子的封闭，而大打折扣...
说了半天我的意思是：现实生活中无解的问题，也不要指望Google或者Fb那几个脑袋瓜使劲拍就能拍出个天才解决方案 -- 拍出脑震荡倒是很可能...
那么现实生活中，你是怎么决策的呢？如果你像我一样小心的话，就会既站街头瞅瞅，也看看电视，当然也会跟三姑二姨妈她们聊一聊，最后综合一下：还是大福源人多，就它了！
网络上大抵也是如此 -- 估计没人会把信心完全放在Google或者FB身上... 过去不会，现在不会，将来也还是不会...
Google上的广告即Adwords，内容还是要经过人工审查的。当然人工也有疏漏，就会有你说的情况发生。
如果因adwords被钓鱼，应该可以找google的麻烦。毕竟页面上显示广告属于主动行为，而且google因此获利，自然要负上责任。
其实吧，我倒脚着，没有SEO反而不正常，有SEO才是正常的状态。
SEO就像庄稼地里的杂草，坏处是它们捂死了大部分规规矩矩的小庄稼苗，但是万一哪一个能脱颖而出的话，那肯定是非常优秀的长杆高粱...
这也是为何Wikipedia在不少领域排名第一的缘故...
一定程度上的作弊行为还是可以发现的。当然，现在来看，小星星对网站排名的影响还不明显。
确实，这个理想不太可能实现。不过，既然衡量人类行为的数字化信息越来越完备，那么一个好的算法，加上足够的计算能力，还是可以逼近这个目标的，至少应该比以前强。Google应该就是这么想的
当然，问题在于，干扰信息也越来越多
假设有某个搜索排序公式可以绝对准确地排序结果，于是搜索排序之。
排序结果在何处呈现？GOOGLE/BING/百度。结果呈现是为了什么？点击。点击次数影响排序结果吗？请问GOOGLE/BING/百度。
在一个页面里嵌入某几个链接，哪怕是用代码生成的，也体现了信息间内在的联系，这个过程包含了人的劳动。链接排序能暴露这里头的知识，所以机械的算法搜索才是有价值的。但是，如果想进一步“分析”页面间的语义关系，这就不是目前的机械的算法能有效解决的，最后都会遇到人工智能的天花板。还是，等计算机科学上，什么时候“图灵检验”被完成了再说吧。
所以，要过滤，也应该直接从真实世界中直接过滤，而不是从网络中再总结。反过来讲，纯粹网络中的people rank有个问题，一方面形成的是小圈子；另一方面，名人效应使得少数名人如针尖般冒出来。