淘客熙熙

主题:【原创】写个工具,抓大佬文章看看 -- 光头佬

共:💬13 🌺36
全看树展主题 · 分页首页 上页
/ 1
下页 末页
家园 【原创】写个工具,抓大佬文章看看 -- 有补充

有阵子没上西河,最近发现葡萄发言较多,我前2年收集过一阵子葡萄的发言,就是把他每篇帖子copy/paste到word中。不过,这次有好几个月的内容,实在懒得一一复制。所以就想着来个一劳永逸,写个工具把大佬们的文字抓下来看吧。

爬虫我是不太熟,好在铁手大人的西河排版比较有规律,再加上有chatgpt帮手,所以用了三天碎片时间就比较顺利地就把代码写出来了。我已把代码开源到了 https://github.com/pisces76/cc-spider 上,同时作为测试把葡萄最近10年的文章也一并下载并放到了上面。只需简单修改下配置,就可以下载任意西河ID的全部文章。欢迎大家试用并提出宝贵意见。如果愿意在github上分享你下载的其它大佬的文集,那就更好了!

唯一不太确定的是,铁手大人是否接受河里被爬虫侵扰。如果老大不同意的话,那就删除此文吧!

通宝推:s0158,小泽珍珠,

本帖一共被 1 帖 引用 (帖内工具实现)
作者 对本帖的 补充(2)
家园 【原创】看图操作 -- 补充帖

单下载葡萄文集的可以直接从下图文档处右键另存为即可。

想下载其他大佬文章的,请参考readme操作。

若觉得工具对你有帮助,请有劳点个星标。谢谢!

点看全图

家园 更新下载葡萄文集的方法 -- 补充帖

github中,我把文集都搬到了doc目录下。如果要从网页下载的话,请按照下图,找到对应的文档。然后点击右侧圆圈处的下载图标进行下载。(上次我给的右键保存文件的方法有问题,会无法打开。)

点看全图

家园 花,求分享
见前补充 4987424
家园 我在原文下面补了个下载和使用方法,你试试。
家园 谢谢!下载的文档末尾是这样的

点看全图

另外,文档只有200多k,对吗?

家园 你是下谁的文章?

如果是葡萄的文章,全部下载后应该有3M多的word。如果你设置的是其他作者,文章少的话,是可能只有200K。不过从你帖的图看,似乎下载的有些问题。你可以把下载时生成的.log文件提交到github issue中吗?如果确实代码有问题,我会尝试解决的。

家园 下载葡萄的文件打不开,说是损坏了
见前补充 4988701
家园 我重新给了个方法(放在原文的补充帖中了)

这次应该没问题的!另外,还新增加了"万里风中虎"的文集。你再试试!

家园 “更新下载葡萄文集的方法”的尝试及反馈

按照配图里右侧下载按钮,点击没有反应。

点击文件下方“View raw”蓝色文字链家,成功下载,并且能正常打开。

家园 谢谢,已成功下载!

万里风中虎的文档也下载。在楼主提示处及view raw处都能下载,好像后者更快些。

另外,给老大汇报一下:平时我在拷贝保存河里各位大佬发言时,都会把把其回复的内容一并存下来,这样能更好的理解大佬的意思。

一点做法,见笑!

家园 这回真的可以了,非常方便,感谢!
家园 好吧,还有下载问题的可以参考楼上兄弟的方法。
全看树展主题 · 分页首页 上页
/ 1
下页 末页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河