分享60个ASP精品程序源码,总有一款适合您
分享60个ASP精品程序源码,总有一款适合您
60个ASP精品程序源码下载链接:https://pan.baidu.com/s/1Eqr8xxP86n2sujOw6FH1Xg?pwd=q1yd
提取码:q1yd
Python采集代码下载链接:采集代码.zip - 蓝奏云
我的博客地址:亚丁号-知识付费平台 支付后可见 扫码付费可见
import os
import shutilimport requests
from bs4 import BeautifulSoupfrom framework.base.BaseFrame import BaseFrame
from sprider.access.SpriderAccess import SpriderAccess
from sprider.plugin.SpriderTools import SpriderTools
from sprider.plugin.UserAgent import UserAgentclass CNSourceCoder:base_url = "http://www.downcode.com"max_pager = 10 # 每页的数量 影响再次采集的起始位置.word_image_count = 5 # word插入图片数量 同时也是明细采集图片和描述的数量page_end_number = 0word_content_list = []haved_sprider_count = 0 # 已经采集的数量sprider_detail_index = 0 # 明细方法采集的数量 累加
猪LOVE婷论坛程序
Asp数据操作组件(百万级分页)含DLL源代码
临沂市场信息网CMS官方版
漂亮的许愿程序
旅游票务系统
郑州二手网完整版
无忧网游官方站点程序天龙八部之惊天动地
财校学生交流网
行千里网吧主页2007创意完整版
超漂亮单用户圈子程序[蓝狐版]
木叶村多用户个人主页系统 V3.3
便宜家政V1.0
无忧网络官方站点程序(紫色幻想)
无忧网络官方站点程序(圣斗士之黄金十二宫版)
四通政府网站管理系统
Mfkiqpl@评论插件 Build20061204
光山县寨河中心小学网站程序Ycv2版
点通综合搜索
点通传情
朔州分类信息网
游戏金币交易系统
Evance个人站长工具包精华版
泰村在线网页特效代码程序V5.0
学校成绩管理系统(YT0.6)
一套小型的酒店订房系统
七步诗在线-网页特效
ASP网站QQ在线咨询插件
精心设计网管理系统V1.1版本
火Ip弹窗联盟程序
联摘中国正式4.0 VIP功能整合版
全新北京二手网无错正式版
即时比分系统
E域皇朝迷你屋设计系统
站长必备的14套绝对经典的JS广告调用代码
铜陵县职业和成人教育中心ACCESS版
大家一起摘
中国蓝狐之废品网源码
Md5破解工具之在线破解数据库版
免费电影下载网站
长空伯克
2Fly个人简历系统 Asp版(包含PSD源文件、Word版简历)
临沂市场信息网4.0
Myweb多个人主页管理系统3.0
QQ宠物交友系统 V1.0
草棚网络2005年最终版(动易2005sp2+Oblog3.0+Dvbbs7.10 )
宇帆天空3.0含本站现使用所有数据
海魂高科技企业网站管理系统V6.0免费版
智可个人主页
纯网CS约战平台
中秋祝福系统修正版
陈霞个人主页
一个很经典的导航[EAST导航]
Qq网摘程序
企业名录程序--Oftengo.Com
网站排名提升工具--网络魔域改进版
青岛时尚网官方网站全站程序
寻梦俱乐部挂QQ系统(功能强大)
FLASH小游戏带加密地址全站程序
QQ挂机系统
178网址美化1.0版
def sprider(self,sprider_name,sprider_count,start_number,pager_number,sprider_type,is_show_browse,root_path,first_column_name,second_column_name,is_record_db):"""http://www.downcode.com/sort/j_1_2_1.shtml:param sprider_name::return:"""self.first_folder_name=sprider_type.upper()self.base_path=root_pathself.first_column_name = first_column_nameself.second_column_name = second_column_nameself.sprider_start_count=start_numberself.is_record_db=is_record_dbBaseFrame().debug("开始采集[源码下载站]" + self.first_folder_name + "源码...")BaseFrame().right("本次采集参数:sprider_count(采集数量):" + str(sprider_count) + "")BaseFrame().right("本次采集参数:sprider_name(采集名称):" + sprider_name + "")sprider_url = self.base_url + "/{0}/{1}_1.shtml".format(self.first_column_name, self.second_column_name)# 根据栏目构建URLBaseFrame().debug("本次采集参数:sprider_url:" + sprider_url)self.second_folder_name = str(sprider_count) + "个" + sprider_name # 二级目录也是wordTitleself.merchant = int(self.sprider_start_count) // int(self.max_pager) + 1 # 起始页码用于效率采集self.file_path = self.base_path + os.sep + self.first_folder_name + os.sep + self.second_folder_nameBaseFrame().right("本次采集参数:file_path=" + self.file_path + "")# 浏览器的下载路径self.down_path = self.base_path + os.sep + self.first_folder_name+ os.sep + self.second_folder_name+ "\\Temp\\"BaseFrame().right("本次采集参数:down_path=" + self.down_path + "")# First/PPT/88个动态PPT模板/动态PPT模板self.save_path = self.base_path + os.sep + self.first_folder_name + os.sep + self.second_folder_name + os.sep + sprider_nameBaseFrame().right("本次采集参数:save_path=" + self.save_path + "")if os.path.exists(self.down_path) is True:shutil.rmtree(self.down_path)if os.path.exists(self.down_path) is False:os.makedirs(self.down_path)if os.path.exists(self.save_path) is True:shutil.rmtree(self.save_path)if os.path.exists(self.save_path) is False:os.makedirs(self.save_path)response = requests.get(sprider_url, timeout=10, headers=UserAgent().get_random_header(self.base_url))response.encoding = 'gb2312'soup = BeautifulSoup(response.text, "html5lib")#print(soup)element_list = soup.find_all('div', attrs={"class": 'j_text_sort_a'})page_end_number = 1page_end_url = ""page_end_title = soup.find("a", attrs={"title": '最后页'})page_end_url = page_end_title.get("href")if page_end_url is None or page_end_url == "":page_end_number = 1else:page_end_number = (page_end_url.split(".shtml")[0].split("_")[3])self.page_count = self.merchantwhile self.page_count <= int(page_end_number): # 翻完停止try:if self.page_count == 1:self.sprider_detail(element_list, page_end_number,sprider_count)passelse:if int(self.haved_sprider_count) == int(sprider_count):BaseFrame().debug("sprider采集到达数量采集停止...")BaseFrame().debug("开始写文章...")SpriderTools.builder_word(self.second_folder_name,self.word_content_list,self.file_path,self.word_image_count,self.first_folder_name)SpriderTools.copy_file(self.word_content_list,self.save_path,self.second_folder_name,self.file_path)SpriderTools.gen_passandtxt(self.second_folder_name, self.word_content_list, self.file_path)BaseFrame().debug("文件编写完毕,请到对应的磁盘查看word文件和下载文件!")breaknext_url = self.base_url + "/{0}/{1}_{2}.shtml".format(self.first_column_name,self.second_column_name,self.page_count)response = requests.get(next_url, timeout=10, headers=UserAgent().get_random_header(self.base_url))response.encoding = 'gb2312'soup = BeautifulSoup(response.text, "html5lib")element_list = soup.find_all('div', attrs={"class": 'j_text_sort_a'})self.sprider_detail(element_list, page_end_number,sprider_count)passself.page_count = self.page_count + 1 # 页码增加1except Exception as e:BaseFrame().error("sprider()执行过程出现错误:" + str(e))
最后送大家一首诗:
山高路远坑深,
大军纵横驰奔,
谁敢横刀立马?
惟有点赞加关注大军。