Smart需要的知轩藏书Python + pyspider爬虫，源码放出

lovees

Smart需要的知轩藏书的爬虫，源码放出
依旧是Python + pyspider ，因为pyspider框架可以WEB进行管理，方便管理，只要把代码复制进去运行就可
博客中文章地址：http://www.sxsay.com/872.html

1. #!/usr/bin/env python
   
2. # -*- encoding: utf-8 -*-
   
3. # Created on 2019-04-28 1:24:37
   
4. # Project: Zxcs
   
5. 
   
6. from pyspider.libs.base_handler import *
   
7. import re
   
8. import os
   
9. import codecs
   
10. import sys
    
11. import urllib2,HTMLParser,re
    
12. 
    
13. class Handler(BaseHandler):
    
14.     global Datos
    
15.     Datos = {}
    
16.     global P_dir
    
17.     #小说下载保存路径
    
18.     P_dir = '/Home/Book'
    
19.     headers= {
    
20.     'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    
21.     'Accept-Encoding':'gzip, deflate, sdch',
    
22.     'Accept-Language':'zh-CN,zh;q=0.8',
    
23.     'Cache-Control':'max-age=0',
    
24.     'Connection':'keep-alive',
    
25.     'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'
    
26.     }
    
27.     crawl_config = {
    
28.         'headers' : headers,
    
29.         'timeout' : 300
    
30.     }
    
31.     crawl_config = {
    
32.     }
    
33.     def __init__(self):
    
34.         #网址请自行修改
    
35.         self.base_url1 = 'http://***.me/sort/'
    
36.         self.base_url2 = 'page/'
    
37.         self.CaterId = []
    
38.         self.CaterIds = ['23', '25', '26', '27', '28', '29', '36', '37', '38', '39', '40', '41', '42', '43', '44', '45', '55']
    
39.         self.page_num = 1
    
40.         self.total_num = 5  
    
41. 
    
42.     @every(minutes=24 * 60)
    
43.     def on_start(self):
    
44.         global Cater_Name
    
45.         #自定义一下分类的名称(习惯了，因为自己入库时候需要用到)
    
46.         Cater_Name = []
    
47.         while self.page_num <= self.total_num:
    
48.             for self.CaterId in self.CaterIds:
    
49.                 if self.CaterId  == '26':
    
50.                      Cater_Name = '玄幻'
    
51.                 if self.CaterId  == '38':
    
52.                      Cater_Name = '玄幻'
    
53.                 if self.CaterId  == '39':
    
54.                      Cater_Name = '玄幻'
    
55.                 if self.CaterId  == '25':
    
56.                      Cater_Name = '武侠'
    
57.                 if self.CaterId  == '36':
    
58.                     Cater_Name = '武侠'
    
59.                 if self.CaterId  == '37':
    
60.                     Cater_Name = '武侠'
    
61.                 if self.CaterId  == '28':
    
62.                     Cater_Name = '历史'
    
63.                 if self.CaterId  == '42':
    
64.                     Cater_Name = '历史'
    
65.                 if self.CaterId  == '43':
    
66.                     Cater_Name = '历史'
    
67.                 if self.CaterId  == '23':
    
68.                     Cater_Name = '都市'
    
69.                 if self.CaterId  == '27':
    
70.                     Cater_Name = '科幻'
    
71.                 if self.CaterId  == '40':
    
72.                     Cater_Name = '科幻'
    
73.                 if self.CaterId  == '41':
    
74.                     Cater_Name = '科幻'
    
75.                 if self.CaterId  == '29':
    
76.                     Cater_Name = '游戏'
    
77.                 if self.CaterId  == '44':
    
78.                     Cater_Name = '游戏'
    
79.                 if self.CaterId  == '45':
    
80.                     Cater_Name = '游戏'
    
81.                 if self.CaterId  == '55':
    
82.                     Cater_Name = '都市'
    
83.                 print self.CaterId
    
84.                 url = self.base_url1 + str(self.CaterId) + self.base_url2 + str(self.page_num) + "/"         
    
85.                 self.crawl(url, callback=self.index_page,save=Cater_Name)
    
86.             self.page_num += 1
    
87. 
    
88.     @config(age=10 * 24 * 60 * 60)
    
89.     def index_page(self, response):
    
90.         for each in response.doc('#plist dd > div > a[href^="http"]').items():
    
91.             self.crawl(each.attr.href, callback=self.domain_page)
    
92.     def domain_page(self, response):
    
93.         for each in response.doc('div[class="filecont"] a[href^="http"]').items():
    
94.             Down = each.attr.href
    
95.             Name = response.doc('.filetit > a').text()
    
96.             self.crawl(each.attr.href, callback=self.detail_page)
    
97.     @config(priority=2)
    
98.     def detail_page(self, response):
    
99.         file_name = response.doc('h2').text()
    
100.         for each in response.doc('.panel-body a[href^="http"]').items():
     
101.             Down = each.attr.href
     
102.             if(self.download(P_dir,file_name,Down)):
     
103.                 print('attachment url is ' + Down)
     
104.             return {
     
105.             "url": response.url,
     
106.             "title": response.doc('title').text(),
     
107.             "Down": Down,
     
108.             "file_name":response.doc('h2').text(),
     
109.         }
     
110.     #文件下载   
     
111.     def download(self, P_dir, file_name, Down):
     
112.         file = P_dir + "/" + file_name + ".rar"
     
113.         f = open(file, "wb+")
     
114.         print f
     
115.         response = urllib2.urlopen(Down)
     
116.         f.write(response.read())
     
117.         f.close()

复制代码

有空再放出入库源码和POST提交源码，方便对接比如火车头之类的发布接口
@Smart

lixiaojun

您的请求带有不合法参数，已被网站管理员设置拦截！

可能原因：

    您提交的内容包含危险的攻击请求

dengwen168

知轩藏书网站这个是wordpress做的啊。

Smart

感谢，还在整那个pyspider框架，老是安装出错

我不是你的

dengwen168 发表于 2019-4-28 09:46
知轩藏书网站这个是wordpress做的啊。

emlog吧

Smart

cherbim 发表于 2019-4-28 17:53
代码倒数第二行f.write(Down)，这一步是不是错了。down是下载链接啊，这不相当于只把链接写进去，应该改为f ...

好像是错的，我用2.7下载的全是4kb的文件

lovees

cherbim 发表于 2019-4-28 17:53
代码倒数第二行f.write(Down)，这一步是不是错了。down是下载链接啊，这不相当于只把链接写进去，应该改为f ...

抱歉，这是我昨天晚上00：55回到家后01：05左右花了20分钟写好的，没经过严谨的测试就发了，现已修复，感谢！！！

lovees

Smart 发表于 2019-4-28 17:57
好像是错的，我用2.7下载的全是4kb的文件

抱歉，这是我昨天晚上00：55回到家后01：05左右花了20分钟写好的，没经过严谨的测试就发了，现已修复，感谢！！！！！！！