主题:问一个搜索引擎的问题 -- 大明湖
共:💬27 🌺5
复 有帮助最好了
mysql出状况要到TB级以后了。但GB级以上的table建议用innoDB类型,myISAM显然会出事的。
静态的image或page可以参考头信息里的chunked size,判断是否下载完毕。
但对没写size的动态page或image没有啥好法子,因为大多数人的page都是瞎写的,毫无语法限制。你没法子从页面本身判断是否到尾部了(除非你针对特定的一批网页设定了尾部标志)。若是自己能写到TCP/IP协议这一级,不用封装的sock模块,大约会好办。
不过说实话,不是俺泼冷水,您这个发展方向俺还真是看不出什么大的价值来。
- 相关回复 上下关系8