全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

IP归属甄别会员请立即修改密码
楼主: 201206030
打印 上一主题 下一主题

小说精品屋-plus2.5.1发布,新增新笔趣阁源,提高爬虫兼容性

[复制链接]
41#
发表于 2020-6-9 13:53:54 | 只看该作者
201206030 发表于 2020-6-9 13:50
不还是把本地IO转为了网络IO,这样效果更差吧,文章和图片是一个概念?你去看新浪、搜狐那些是不是存的tx ...

小说和文章还是有点区别..
42#
 楼主| 发表于 2020-6-9 13:55:20 | 只看该作者
1121744186 发表于 2020-6-9 12:45
网站章节阅读页套cdn,降低io读取,小说章节存储在 mysql里面和 把图片base64存数据库有异曲同工之妙~ , ...

es 一是提高检索速度,减轻数据库压力,当小说几十万本的时候,数据库分页明显会变慢,二才是增强搜索功能

在其他各种条件相同的情况下,一个搜索强的网站和搜索一般的网站,用户会怎样选择?能增强你网站的优势,为什么不引入
43#
 楼主| 发表于 2020-6-9 13:56:44 | 只看该作者
1121744186 发表于 2020-6-9 13:53
小说和文章还是有点区别..

小说就是文章
44#
发表于 2020-6-9 13:57:33 | 只看该作者

当我没说
46#
发表于 2020-6-13 10:33:12 来自手机 | 只看该作者
爬虫管理 后期会加上编辑吗? 或者过滤某些网站的广告
47#
 楼主| 发表于 2020-6-13 10:52:01 | 只看该作者
稳健君 发表于 2020-6-13 10:33
爬虫管理 后期会加上编辑吗? 或者过滤某些网站的广告

后面会有编辑的,至于广告,你应该说的是小说内容页的广告吧,小说内容是通过开始字符串和结束字符串来截取的,写规则的时候只截取有效内容就可以了,目前内置的爬虫规则都是已经过滤掉广告的。
48#
发表于 2020-6-13 17:47:45 | 只看该作者
201206030 发表于 2020-6-13 10:52
后面会有编辑的,至于广告,你应该说的是小说内容页的广告吧,小说内容是通过开始字符串和结束字符串来截 ...

好的 谢谢 解答
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2026-1-13 10:09 , Processed in 0.060073 second(s), 6 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表