全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

IP归属甄别会员请立即修改密码
查看: 7973|回复: 84
打印 上一主题 下一主题

爬了个全本小说站,24936本共76g大小

  [复制链接]
跳转到指定楼层
1#
发表于 2022-10-6 11:49:30 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
都是完结的全本小说,无聊看看还行,或者存在闲置的小鸡

https://www.txt80.com/

食用方法

wget https://r2.557557.xyz/txt80url.txt

wget -i txt80url.txt

完事,共76g
推荐
发表于 2022-10-6 14:00:20 | 只看该作者
本帖最后由 plato0516 于 2022-10-6 14:51 编辑

IDM使用链接批量下载不下来...因为是中文的连接地址,要是uri编码就OK了,可以使用如下方式解决。

伪码:

for string fileString:fileString[]{
        截取中文部分;
        String URI = URLEncode.encode(中文部分);
        将中文与URI替换;
        输出到文件;
}

java实现为:

```java

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.io.UnsupportedEncodingException;
import java.net.URLEncoder;

/*
https://down.8080txt.com/d/file/down/2022/10/01/我能看到所有BOSS掉落.txt
替换其中的中文到uri编码以便使用idm下载.
*/

public class testJava {
    public static void main(String[] args) throws IOException {
        BufferedReader br = new BufferedReader(new FileReader("80URL.txt"));
        BufferedWriter bw = new BufferedWriter(new FileWriter("Deal80.txt"));
        String line;
        while ((line = br.readLine()) != null) {
            String dealLine = replaceChinese(line);
            bw.write(dealLine);
            bw.newLine();
            bw.flush();
        }
        br.close();
        bw.close();
    }

    public static String replaceChinese(String line) throws UnsupportedEncodingException {
        String[] split = line.split("/");
        String fileTxt = split[split.length - 1];
        String fileName = fileTxt.split("\\.")[0];
        String URI = URLEncoder.encode(fileName, "utf-8");
        return line.replaceAll(fileName, URI);
    }
}
```
推荐
发表于 2022-10-7 17:12:14 | 只看该作者
下完了,感觉没什么用

点评

大佬打包一个呗..  发表于 2022-10-7 17:22
推荐
发表于 2022-10-6 14:58:13 | 只看该作者
用window是IDM吧速度很快的,然后传到云盘,大家share呗....
推荐
发表于 2022-10-6 11:52:09 | 只看该作者
谢谢大佬分享 下载来备用
2#
发表于 2022-10-6 11:50:59 来自手机 | 只看该作者
欸,现在看这东西没意思了
4#
发表于 2022-10-6 11:52:33 来自手机 | 只看该作者
感谢分享,做个记号。
5#
发表于 2022-10-6 12:01:37 来自手机 | 只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
6#
发表于 2022-10-6 12:02:41 来自手机 | 只看该作者
感谢分享,做个记号。
7#
发表于 2022-10-6 12:06:09 | 只看该作者
感谢分享,做个记号。
8#
发表于 2022-10-6 12:09:34 | 只看该作者
怎么不顺便爬一下评分排个序
9#
发表于 2022-10-6 12:12:56 | 只看该作者
好的,多多益善




* Linux常用命令:sed -e 's/ *$//' example.txt 删除每一行最后的空白字符



* 资源 https://t.me/MJJ_aliyundrive
* MJJ频道 https://t.me/wearemjj
* Linux命令大全 https://www.linuxcool.com
* DNS设置大全 https://dns.iui.im/
* 优质导航大全 https://www.chaidu.com/
* HostLoc频道 https://t.me/myhostloc
* A1Plus & G Suit & Workspace教育全局号https://sourl.cn/xq7iAZ
* OneDrive1T/5T网盘批发 iCloud苹果个人200G号https://nanguo.in/shop?ref=awtyBzywo
   
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2026-1-15 22:51 , Processed in 0.337272 second(s), 15 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表