全球主机交流论坛

标题: 小说精品屋-plus2.5.1发布，新增新笔趣阁源，提高爬虫兼容性 [打印本页]

作者: 201206030 时间: 2020-6-8 17:22
标题: 小说精品屋-plus2.5.1发布，新增新笔趣阁源，提高爬虫兼容性

小说精品屋介绍

项目简介：小说精品屋是一个多平台（web、安卓app、微信小程序）、功能完善的响应式小说弹幕网站，包含精品小说专区、轻小说专区和漫画专区。包括小说/漫画分类、小说/漫画搜索、小说/漫画排行、完本小说/漫画、小说/漫画评分、小说/漫画在线阅读、小说/漫画书架、小说/漫画阅读记录、小说下载、小说弹幕、小说/漫画自动采集/更新/纠错、小说内容自动分享到WB、邮件自动推广、链接自动推送到百度搜索引擎等功能。

演示站：https://www.xinshumen.com/

通用文档(适合所有人)：http://www.java2nb.com/article/5.html

源码安装文档（适合有一定技术基础的人）：https://my.oschina.net/java2nb/blog/3145593

包安装文档（适合非技术人员）：https://my.oschina.net/java2nb/blog/3146627

宝塔安装教程：https://www.daniao.org/7822.html

Github地址：https://github.com/201206030/fiction_house

小说精品屋plus介绍

小说精品屋-plus 是小说精品屋的增强版本，在小说精品屋的基础上，重新进行了数据库设计、代码重构和功能增强，提升了程序整体的可读性和性能，增加了很多商用特性，致力于打造一个完整的商用小说门户平台。主要增强如下：

数据库重新设计，结构调整。
服务端代码重构，MyBatis3升级为MyBatis3DynamicSql。
移动站与PC站站点分离，浏览器自动识别跳转。
PC站UI更新。
新闻模块。
排行榜。
小说评论模块。
阅读主题模块。
作家专区。
充值。
后台管理系统。
爬虫管理系统。

演示站：http://www.java2nb.com/

包安装教程：https://blog.csdn.net/x201206030/article/details/105953009

宝塔安装教程：https://www.daniao.org/9166.html

docker安装教程：https://my.oschina.net/java2nb/blog/4271989

Github地址：https://github.com/201206030/novel-plus

小说精品屋-微服务版介绍

基于小说精品屋-plus构建的Spring Cloud 微服务小说门户学习平台，致力于原创文学阅读与写作，提供了爬虫工具用于开发过程中测试数据的采集（爬虫项目和小说精品屋-plus通用）。采用了Spring Boot 2.2.5.RELEASE 、Spring Cloud Hoxton.SR4、 MyBatis3DynamicSql、Sharding-Jdbc、Redis、RabbitMq、Elasticsearch、Docker等流行技术，集成了Nacos注册中心/配置中心、Spring Cloud Gateway网关、Spring Boot Admin监控中心、ELK分布式日志分析等基础服务。前端计划使用Vue开发，后台接口一期开发已完成（充值/作家专区除外的所有接口）。

Github地址：https://github.com/201206030/novel-cloud

作者: mR.H 时间: 2020-6-8 17:23
提示: 作者被禁止或删除内容自动屏蔽

作者: fenglin2020 时间: 2020-6-8 17:24
Mark

作者: 秋月春风 时间: 2020-6-8 17:24
mark

作者: micly2 时间: 2020-6-8 17:29
大佬更新这么快

作者: 清酒桃花 时间: 2020-6-8 17:55
非常棒了，支持一下！

作者: etc小号 时间: 2020-6-8 17:56
有考虑做一个文件储存的吗，类似txt储存的，这数据库储存有点顶不住了，速度慢一点没啥

作者: vishkozus 时间: 2020-6-8 17:58
这个得多大硬盘的？

作者: 没钱图屌丶 时间: 2020-6-8 18:05
模板优化一下估计会有很多人玩

作者: bed 时间: 2020-6-8 18:12
更新了，加油

作者: 宝创 时间: 2020-6-8 19:45
太快了……

作者: 201206030 时间: 2020-6-8 19:45

etc小号发表于 2020-6-8 17:56
有考虑做一个文件储存的吗，类似txt储存的，这数据库储存有点顶不住了，速度慢一点没啥 ...

这个我好像解释过很多遍了，数据库存储的优势大一些，至于你说的顶不住，要想有说服力，还是要拿数据说话

作者: 201206030 时间: 2020-6-8 19:46

没钱图屌丶发表于 2020-6-8 18:05
模板优化一下估计会有很多人玩

已经引入了一套新的模板，下个版本上线

作者: 201206030 时间: 2020-6-8 19:48

vishkozus 发表于 2020-6-8 17:58
这个得多大硬盘的？

新版支持分库分表，多大硬盘都可以，可以装多个数据库来存储

作者: huaheshang 时间: 2020-6-8 19:48
牛逼

作者: 额头有王的喵 时间: 2020-6-8 19:49
天天更新，必须支持。

作者: 201206030 时间: 2020-6-8 19:51

宝创发表于 2020-6-8 19:45
太快了……

那我慢一点吧

作者: honey 时间: 2020-6-8 19:53
这个是大佬顶起来

作者: 海南仙岛 时间: 2020-6-8 20:00
可以转发吗？

作者: root 时间: 2020-6-8 20:08

201206030 发表于 2020-6-8 19:45
这个我好像解释过很多遍了，数据库存储的优势大一些，至于你说的顶不住，要想有说服力，还是要拿数据说话 ...

做成txt储存上站快分离后很有优势

作者: kakade 时间: 2020-6-8 20:18
帮定

作者: etc小号 时间: 2020-6-8 20:18

201206030 发表于 2020-6-8 19:45
这个我好像解释过很多遍了，数据库存储的优势大一些，至于你说的顶不住，要想有说服力，还是要拿数据说话 ...

我说的顶不住意思是数据库快把我硬盘占满了，如果能文件储存的话，就可以考虑把文件存到云盘或者什么地方，是这个意思，你不要误会了

作者: 宝创 时间: 2020-6-8 23:35
新jar包里没有admin了是用以前的就可以么

作者: 黄阿玛 时间: 2020-6-8 23:38
似乎最应该做的就是降低安装难度。本小白就没装成功过。

作者: chitycheng 时间: 2020-6-8 23:56
可不可以像狂雨一样能偷也能采集到本地啊

作者: 201206030 时间: 2020-6-9 06:26

etc小号发表于 2020-6-8 20:18
我说的顶不住意思是数据库快把我硬盘占满了，如果能文件储存的话，就可以考虑把文件存到云盘或者什么地方 ...

存到云盘的话还行，杰奇那些已经能支持存到云盘了吗？

作者: 201206030 时间: 2020-6-9 06:27

宝创发表于 2020-6-8 23:35
新jar包里没有admin了是用以前的就可以么

是的

作者: 201206030 时间: 2020-6-9 06:29

黄阿玛发表于 2020-6-8 23:38
似乎最应该做的就是降低安装难度。本小白就没装成功过。

docker安装还不简单吗？什么环境都不需要配置，一行命令就行了

作者: jdunion 时间: 2020-6-9 06:32
报价漏了，不谈商业？

作者: 201206030 时间: 2020-6-9 06:33

jdunion 发表于 2020-6-9 06:32
报价漏了，不谈商业？

免费的呀

作者: 201206030 时间: 2020-6-9 06:34

海南仙岛发表于 2020-6-8 20:00
可以转发吗？

欢迎转发

作者: 201206030 时间: 2020-6-9 06:36

root 发表于 2020-6-8 20:08
做成txt储存上站快分离后很有优势

数据库更快吧，我问过好几个同行的意见，他们都是觉得存数据库好一些，有什么优势能说一下吗？

作者: 黑壳虾 时间: 2020-6-9 09:21

201206030 发表于 2020-6-9 06:36
数据库更快吧，我问过好几个同行的意见，他们都是觉得存数据库好一些，有什么优势能说一下吗？ ...

要是能放到onedrive，这可能省一大笔硬盘钱

作者: 201206030 时间: 2020-6-9 09:52

黑壳虾发表于 2020-6-9 09:21
要是能放到onedrive，这可能省一大笔硬盘钱

杰奇那些已经可以了吗？

作者: klarns 时间: 2020-6-9 10:15
494GB了
还没顾上生2.5，这2.51又出来了

作者: 1121744186 时间: 2020-6-9 11:46
内容在数据库数据库会很大，可以把 txt gzip一下存硬盘上，反正都会套cdn，至于es 对于小说站算是可有可无的东西了有点单纯的占用资源了

作者: 201206030 时间: 2020-6-9 12:22

1121744186 发表于 2020-6-9 11:46
内容在数据库数据库会很大，可以把 txt gzip一下存硬盘上，反正都会套cdn，至于es 对于小说站算是可有可 ...

txt套cdn有什么用呀（又不是下载），还是得程序先去解析内容，然后显示在模版里面，还没本地快；至于压缩空间，数据库也支持，但是牺牲了性能，我觉得时间比空间重要吧（cpu比硬盘贵）；es还是很重要的，第一提升了检索速度，第二增强了搜索功能，如果我想看主角穿越到了封神时代，与姜子牙有关的故事，就直接搜姜子牙，这样相关的小说就能搜出来，没有es，没法实现。当然你的资源不够的话，es是默认关闭的，只是提供了一种更好的选择。

作者: 201206030 时间: 2020-6-9 12:24

201206030 发表于 2020-6-9 12:22
txt套cdn有什么用呀（又不是下载），还是得程序先去解析内容，然后显示在模版里面，还没本地快；至于压缩 ...

不能说市面上有的就是最好的方案吧，这样技术永远得不到进步

作者: 1121744186 时间: 2020-6-9 12:45

201206030 发表于 2020-6-9 12:22
txt套cdn有什么用呀（又不是下载），还是得程序先去解析内容，然后显示在模版里面，还没本地快；至于压缩 ...

网站章节阅读页套cdn，降低io读取，小说章节存储在 mysql里面和把图片base64存数据库有异曲同工之妙~ ，小说的站重点不在搜索功能，否则直接把章节内容页怼 es 里面岂不是更秒

作者: 201206030 时间: 2020-6-9 13:50

1121744186 发表于 2020-6-9 12:45
网站章节阅读页套cdn，降低io读取，小说章节存储在 mysql里面和把图片base64存数据库有异曲同工之妙~ ， ...

不还是把本地IO转为了网络IO，这样效果更差吧，文章和图片是一个概念？你去看新浪、搜狐那些是不是存的txt。章节内容放es也是流弊，首先你得准备一个1T内存的服务器

作者: 1121744186 时间: 2020-6-9 13:53

201206030 发表于 2020-6-9 13:50
不还是把本地IO转为了网络IO，这样效果更差吧，文章和图片是一个概念？你去看新浪、搜狐那些是不是存的tx ...

小说和文章还是有点区别..

作者: 201206030 时间: 2020-6-9 13:55

1121744186 发表于 2020-6-9 12:45
网站章节阅读页套cdn，降低io读取，小说章节存储在 mysql里面和把图片base64存数据库有异曲同工之妙~ ， ...

es 一是提高检索速度，减轻数据库压力，当小说几十万本的时候，数据库分页明显会变慢，二才是增强搜索功能

在其他各种条件相同的情况下，一个搜索强的网站和搜索一般的网站，用户会怎样选择？能增强你网站的优势，为什么不引入

作者: 201206030 时间: 2020-6-9 13:56

1121744186 发表于 2020-6-9 13:53
小说和文章还是有点区别..

小说就是文章

作者: 1121744186 时间: 2020-6-9 13:57

201206030 发表于 2020-6-9 13:56
小说就是文章

当我没说

作者: libin0615 时间: 2020-6-9 13:58
mark。

作者: 稳健君 时间: 2020-6-13 10:33
爬虫管理后期会加上编辑吗？或者过滤某些网站的广告

作者: 201206030 时间: 2020-6-13 10:52

稳健君发表于 2020-6-13 10:33
爬虫管理后期会加上编辑吗？或者过滤某些网站的广告

后面会有编辑的，至于广告，你应该说的是小说内容页的广告吧，小说内容是通过开始字符串和结束字符串来截取的，写规则的时候只截取有效内容就可以了，目前内置的爬虫规则都是已经过滤掉广告的。

作者: 稳健君 时间: 2020-6-13 17:47

201206030 发表于 2020-6-13 10:52
后面会有编辑的，至于广告，你应该说的是小说内容页的广告吧，小说内容是通过开始字符串和结束字符串来截 ...

好的谢谢解答

欢迎光临全球主机交流论坛 (https://d.168530.xyz/)