小说精品屋-plus2.5.1发布，新增新笔趣阁源，提高爬虫兼容性

201206030

海南仙岛 发表于 2020-6-8 20:00
可以转发吗？

欢迎转发

201206030

r​o​o​t 发表于 2020-6-8 20:08
做成txt储存上站快  分离后很有优势

数据库更快吧，我问过好几个同行的意见，他们都是觉得存数据库好一些，有什么优势能说一下吗？

黑壳虾

201206030 发表于 2020-6-9 06:36
数据库更快吧，我问过好几个同行的意见，他们都是觉得存数据库好一些，有什么优势能说一下吗？ ...

要是能放到onedrive，这可能省一大笔硬盘钱

201206030

黑壳虾 发表于 2020-6-9 09:21
要是能放到onedrive，这可能省一大笔硬盘钱

杰奇那些已经可以了吗？

klarns

494GB了
还没顾上生2.5，这2.51又出来了

1121744186

内容在数据库 数据库会很大，可以把 txt gzip一下存硬盘上，反正都会套cdn，至于es 对于小说站 算是可有可无的东西了 有点单纯的占用资源了

201206030

1121744186 发表于 2020-6-9 11:46
内容在数据库 数据库会很大，可以把 txt gzip一下存硬盘上，反正都会套cdn，至于es 对于小说站 算是可有可 ...

txt套cdn有什么用呀（又不是下载），还是得程序先去解析内容，然后显示在模版里面，还没本地快；至于压缩空间，数据库也支持，但是牺牲了性能，我觉得时间比空间重要吧（cpu比硬盘贵）；es还是很重要的，第一提升了检索速度，第二增强了搜索功能，如果我想看主角穿越到了封神时代，与姜子牙有关的故事，就直接搜姜子牙，这样相关的小说就能搜出来，没有es，没法实现。当然你的资源不够的话，es是默认关闭的，只是提供了一种更好的选择。

201206030

201206030 发表于 2020-6-9 12:22
txt套cdn有什么用呀（又不是下载），还是得程序先去解析内容，然后显示在模版里面，还没本地快；至于压缩 ...

不能说市面上有的就是最好的方案吧，这样技术永远得不到进步

1121744186

201206030 发表于 2020-6-9 12:22
txt套cdn有什么用呀（又不是下载），还是得程序先去解析内容，然后显示在模版里面，还没本地快；至于压缩 ...

网站章节阅读页套cdn，降低io读取，小说章节存储在 mysql里面和 把图片base64存数据库有异曲同工之妙~ ，小说的站重点不在搜索功能，否则 直接把章节内容页怼 es 里面岂不是更秒

201206030

1121744186 发表于 2020-6-9 12:45
网站章节阅读页套cdn，降低io读取，小说章节存储在 mysql里面和 把图片base64存数据库有异曲同工之妙~ ， ...

不还是把本地IO转为了网络IO，这样效果更差吧，文章和图片是一个概念？你去看新浪、搜狐那些是不是存的txt。章节内容放es也是流弊，首先你得准备一个1T内存的服务器