淘客熙熙

主题:问一个搜索引擎的问题 -- 大明湖

共:💬27 🌺5
全看分页树展 · 主题 跟帖
家园 你指的页面是image还是page?

mysql出状况要到TB级以后了。但GB级以上的table建议用innoDB类型,myISAM显然会出事的。

静态的image或page可以参考头信息里的chunked size,判断是否下载完毕。

但对没写size的动态page或image没有啥好法子,因为大多数人的page都是瞎写的,毫无语法限制。你没法子从页面本身判断是否到尾部了(除非你针对特定的一批网页设定了尾部标志)。若是自己能写到TCP/IP协议这一级,不用封装的sock模块,大约会好办。

不过说实话,不是俺泼冷水,您这个发展方向俺还真是看不出什么大的价值来。

全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河