Lightweight web scraping script. Fetch and download main textual content from the current page, provide special support for novels
看了一下,我跟前几天提问的这位朋友应该是同个问题~
www.feiwen123.com这个网站小说下载的不完整能不能适配一下?
每本小说都是章节没加载完成用东方永页机也一样。
Loading...
内容未加载完成,请尝试【刷新网页】or【设置-关闭小说模式】or【设置-关闭广告屏蔽】~
建议使用【Firefox火狐浏览器】or【Chrome谷歌浏览器】打开并收藏网址!
收藏网址:www.feiwen123.com
加密了,适配倒是不难,但太麻烦了暂时没兴趣搞。你可以自己研究。下面是解密代码,加密字串和密钥就在正文下方,调用网站自身的CryptoJS.min.js解密后拼接到正文就行。
function d(a, b) {
b = CryptoJS.MD5(b).toString();
var d = CryptoJS.enc.Utf8.parse(b.substring(0, 16));
var e = CryptoJS.enc.Utf8.parse(b.substring(16));
return CryptoJS.AES.decrypt(a, e, { iv: d, padding: CryptoJS.pad.Pkcs7 }).toString(CryptoJS.enc.Utf8)
}
加密了,适配倒是不难,但太麻烦了暂时没兴趣搞。你可以自己研究。下面是解密代码,加密字串和密钥就在正文下方,调用网站自身的CryptoJS.min.js解密后拼接到正文就行。
function d(a, b) { b = CryptoJS.MD5(b).toString(); var d = CryptoJS.enc.Utf8.parse(b.substring(0, 16)); var e = CryptoJS.enc.Utf8.parse(b.substring(16)); return CryptoJS.AES.decrypt(a, e, { iv: d, padding: CryptoJS.pad.Pkcs7 }).toString(CryptoJS.enc.Utf8) }
好的,谢谢大佬Thanks♪(・ω・)ノ我有空就研究研究~
从github上复制了作者大佬的评论过来(・ω・)
.BCsectionTwo-top-chapter>a@@@@@@let content=doc.querySelector("#C0NTENT");let r="\n",ps=content.querySelectorAll("p");for(let i=0;i{function d(a, b) { b = CryptoJS.MD5(b).toString(); var d = CryptoJS.enc.Utf8.parse(b.substring(0, 16)); var e = CryptoJS.enc.Utf8.parse(b.substring(16)); return CryptoJS.AES.decrypt(a, e, { iv: d, padding: CryptoJS.pad.Pkcs7 }).toString(CryptoJS.enc.Utf8) };cb(r+d(a,b).replace(/<\p>/g,"").replace(/<\/p>/g,"\n"));};document.head.appendChild(cryptojs);return false;
茯年.txt 测试小说是这个https://www.mylewen.com/book/183921/catalog/ ,其他小说可能有其他情况,没空去一一测试覆盖所有情况了,你自己看着编辑吧;-)。
自用
.BCsectionTwo-top-chapter>a@@@@@@let content=doc.querySelector(".RBGsectionThree-content");let r="\n",ps=content.querySelectorAll("p");for(let i=0;i{function d(a, b) { b = CryptoJS.MD5(b).toString(); var d = CryptoJS.enc.Utf8.parse(b.substring(0, 16)); var e = CryptoJS.enc.Utf8.parse(b.substring(16)); return CryptoJS.AES.decrypt(a, e, { iv: d, padding: CryptoJS.pad.Pkcs7 }).toString(CryptoJS.enc.Utf8) };cb(r+d(a,b).replace(/<p>/g,"").replace(/<\/p>/g,"\n"));};document.head.appendChild(cryptojs);return false;
作者大大您好!方便的话,想问一下 www.shenyekanshu.com 这个网站(可能需要手机UA才能打开)里的小说要如何抓取呢?我现在直接抓取会显示 内容未加载完成 。。