DownloadAllContent

Lightweight web scraping script. Fetch and download main textual content from the current page, provide special support for novels

< Feedback on DownloadAllContent

Review: Good - script works

§
Posted: 04.09.2023.

大佬,能帮忙看一下这个网站吗https://www.nchdzx.com,书籍目录是这样的:https://www.nchdzx.com/hd/2573432334/,跳转到每一章后,hd会变成hdzx,用第三层心法改过以后,下下来的就显示 NETWORK ERROR: '+ 该段内容获取失败。而且每个章节都还有分页。求助,谢谢!

hoothinAuthor
§
Posted: 05.09.2023.
Edited: 05.09.2023.

更新到2.7.3.21之后试试这个规则.box_con dt:nth-of-type(2)~dd>a@@@@@@@#content 注意调整线程数,否则会有部分章节返回 503 错误

§
Posted: 05.09.2023.

大佬,已经把线程数调到1了,但还是有很多章会返回503,c⌒っ゚Д゚)っ,求救

hoothinAuthor
§
Posted: 06.09.2023.

我又试了一下,线程1是可以避免503下完所有章节的。你试试换个时间段下载。

§
Posted: 10.09.2023.

大佬,换了上午和中午还是不行,后来改成了1秒一次后才没报错,可是实在是有点慢,不知到底是什么原因?还有就是一些长的小说下载时,有的章节下是空白的,也没有503,这种再下一次有用吗?反复打扰,真是抱歉。

hoothinAuthor
§
Posted: 11.09.2023.

不知道它的服务器限制是怎么设置的,可能是单位时间内总请求数和并发数同时限制了吧。如果返回空白而没有 503 则可能是内容抓取出错了,你可以把具体网址分享给我检查一下

Post reply

Sign in to post a reply.