淘客熙熙

主题:【原创】写个工具,抓大佬文章看看 -- 光头佬

共:💬13 🌺36
全看分页树展 · 主题
家园 【原创】写个工具,抓大佬文章看看 -- 有补充

有阵子没上西河,最近发现葡萄发言较多,我前2年收集过一阵子葡萄的发言,就是把他每篇帖子copy/paste到word中。不过,这次有好几个月的内容,实在懒得一一复制。所以就想着来个一劳永逸,写个工具把大佬们的文字抓下来看吧。

爬虫我是不太熟,好在铁手大人的西河排版比较有规律,再加上有chatgpt帮手,所以用了三天碎片时间就比较顺利地就把代码写出来了。我已把代码开源到了 https://github.com/pisces76/cc-spider 上,同时作为测试把葡萄最近10年的文章也一并下载并放到了上面。只需简单修改下配置,就可以下载任意西河ID的全部文章。欢迎大家试用并提出宝贵意见。如果愿意在github上分享你下载的其它大佬的文集,那就更好了!

唯一不太确定的是,铁手大人是否接受河里被爬虫侵扰。如果老大不同意的话,那就删除此文吧!

通宝推:s0158,小泽珍珠,

本帖一共被 1 帖 引用 (帖内工具实现)
作者 对本帖的 补充(2)
家园 【原创】看图操作 -- 补充帖

单下载葡萄文集的可以直接从下图文档处右键另存为即可。

想下载其他大佬文章的,请参考readme操作。

若觉得工具对你有帮助,请有劳点个星标。谢谢!

点看全图

家园 更新下载葡萄文集的方法 -- 补充帖

github中,我把文集都搬到了doc目录下。如果要从网页下载的话,请按照下图,找到对应的文档。然后点击右侧圆圈处的下载图标进行下载。(上次我给的右键保存文件的方法有问题,会无法打开。)

点看全图

全看分页树展 · 主题


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河