jmcomic2.mic官方还有JMCOMIC2.MIC.
2022年3月至6月,上海经历了自疫情以来最严格的封控。2022年3月28日上午5时,上海市浦东、浦南及周边区域被列为第一批核酸筛查区域,正式进入分区封控模式。4月2日,上海正式进入全域静态管理状态。5月29日,上海宣布进入社会面全面复工复产阶段,直到5月30日,仍有531个区域,共19万余人处于封控管理之中。
许多行业因为疫情而受到影响,会展是其中之一。在上海这个曾被称作“会展之都”的城市里,从业者的严冬已经持续了一年多。自去年6月以来,上海的会展相比去年同期数量锐减。在经历了2022年上半年的疫情之后,无论是对参展者还是展会主办方来说,未来都是不确定的。
5月初,国内规模最大的综合性同人展会之一,第29届“Comicup魔都同人祭”(Comicup 29)再一次发布了延期公告。Comicup平均每半年一届,Comicup 29本应在2021年12月举行,这是它第三次延期,距离Comicup 28已经过去了整整一年。根据Comicup组委会的说法,延期时间未定。
在延期的这段时间里,Comicup经历了什么?Comicup 29什么时候才能到来?我们与Comicup策展人香菇取得了联系,讨论数次延期背后的原因,与未来可能的方向。
静默之前
2021年11月。
直到发布延期公告前的最后一刻,香菇都还以为Comicup 29可以如期举行。
2021年的上海,会展行业从业者们并不好过。相比起2020年,这一年在上海举办的展会数量少了许多。8月,有媒体报道,尽管没有接到上级部门关于展会取消或延期的文件,仍有多个展会宣布延期。
但香菇的态度一直很乐观:“我们那个时候觉得自己很安全,毕竟Comicup档期很晚,都接近新年了。”
这种乐观源于主办方的收益一直不错。上一届付完场地费用之后,资金尚有结余,她们还开了一个新的原创漫画项目。“漫画项目一开始都是亏的,要花钱嘛。”香菇解释,“但我们手上暂时有钱,不怕亏。”
如今,Comicup的策划与举办已经十分正规而体系化,香菇她们因此成立了一家公司。她向我介绍了公司的组成部分:负责展会的Comicup组委会、负责无差别同人站CPP的开发与运营部门,以及负责周边制作与发行的文创部门。值得一提的是,文创是现在唯一还在盈利的部门。
公司桌面上的立牌是文创部门的产品
疫情爆发之前,公司收入绝大部分依赖于展会。展会的收入主要分为两个部分:门票与参展费。参展费又可以细分为商业展位和同人摊位。对于Comicup来说,商业入驻展位在收入中的占比要远高于同人摊位,尽管后者才是展会的主力军。香菇估算了一个大致的收入占比:门票占40%,商业展位费占50%,同人摊位费占10%。
这与Comicup低廉的同人摊位费定价有关。根据经验,香菇十分熟悉同人志作者的收入:除了少数热门“大手”,大部分作者只能卖出几十本,按每本80元的定价算,加起来也不过几千元。如果扣掉印刷成本与前往上海的交通、住宿费用,同人作者几乎没有利润可言。更加隐性的成本是作者付出的时间和精力。一个自由画手曾透露,如果在绘制商业稿件的同时创作同人漫画,差不多会让她的收入减半,付出时间,但不算赚钱。考虑到这一点,在同人方面,Comicup只收取每摊200元的摊位费。在CPP上完成作者认证,确定作者本人参展之后,还能额外减免50元。
香菇透露,目前举办一场Comicup的成本已经到了千万元级别。2015年,公司曾接受过一轮融资,但当时百万元左右的融资金额对她们来说只能算杯水车薪。去年她原本准备再推进一个融资计划,不过当时公司的运营状况还算良好。“如果能自给自足,就不想再去融资,怕投资方影响我们内部的决策。”香菇说。可是,谁也没料到之后的发展。
去年11月5日,中国国际进口博览会在上海成功举行,对上海会展行业从业者来说,这是一个令人振奋的信号。Comicup 29原本预计在12月举行,与“进博会”之间还有一个多月的缓冲期。正因如此,香菇与许多策展者都觉得自己“很安全”。
不过,事情没有向期待的方向发展。11月15日,香菇接到了上级部门关于大型活动参与者48小时核酸与疫苗接种的要求。11月19日,同行业内开始流传一个消息:尽管没有对外公开,但同展馆的临期展会都已决定延期。
进博会之后,香菇就向有关部门提交了审核资料,却迟迟没有收到回信。不久后,她通过一位业内朋友得知,不仅是Comicup 29,全上海的大型活动都要推迟或取消。什么时候能办,哪个能办,都不好说。
“你知道《鱿鱼游戏》里的玻璃桥吗?”香菇对我说,“一个人先走,前面一块玻璃踩碎了,后面的人才知道该走另一块。我们也是这样,大家得看排在前面那个展能不能办,再想自己的展能不能办。”
《鱿鱼游戏》中的玻璃桥。玩家需要通过一座由双排玻璃组成的桥梁,每一排玻璃里都有一块普通玻璃和一块钢化玻璃,踩到普通玻璃的人就会从桥上摔落
11月23日,经过与各方管理部门多次沟通,香菇确定Comicup 29在原档期成功举办的可能性十分微小。最终,她以Comicup组委会的名义,宣布Comicup 29延期。
但举办Comicup 29的成本早在半年前就开始陆续投入,无论是场地、物流还是运营,作为会展举办方,这些花销必不可少。“场地的钱半年前就付了,场地方还给我们打了一张欠条。”香菇告诉我,上海大部分展会方手里都有这样的“档期欠条”。每一个策展企业都在观望形势,等待并寻找着那块能通过的钢化玻璃。
事实是,直到最后也没有多少展会成功通过“玻璃桥”。在去年年底的这个时候,香菇她们还未曾预料到接下来会发生什么。在公告里,她写道:“Comicup 29将延期至2022年春(举行)。”
封控之中
2022年3月。
3月19日,迫于上海疫情压力,Comicup组委会宣布,Comicup 29再度延期至6月。
香菇和Comicup组委会的成员们都在上海。当地疫情爆发时,几乎整个公司的同事都处在封控管理之下,大多数人都待在自己的楼栋里。
包括香菇和同事们在内,所有身处上海的人一起度过了几个月难熬的日子。为了方便团购,一夜之间,同事们的微信名字都变成了“某栋某单元几零几”。
“每天就想着吃什么。”香菇感叹。
最早小区内团购仍未兴起的时候,香菇尝试过联系物流为公司里的同事们运送物资,“一个点一个点地跑,一个点就要100块钱”。即便如此,能收到物资的同事也是幸运的。当时上海已经开始了“鸳鸯锅”,早一步开始封控的浦东“根本送不进去”。
封控的日子里,香菇她们举办Comicup的经验意外地在社区中发挥了作用。
“当时的物资配送遇到了一个‘最后100米’的问题,从街道到小区户主的手里这段路程很难解决,这其实和我们在同人展会中遇到的问题十分相似。展会上,为了把摊主们的制品与刊物尽快运送到摊位上,我们准备了专用的小推车来负责场内物流的职责。”香菇以颇为专业的口吻说。后来,她们把用于同人展会的小推车借给了街道和小区。
原本用来运送刊物的推车,此刻承载了生活物资的重量
香菇说,没封控前看过一些视频,有社区靠工作人员一个接一个传递物资,一些人质疑这种方式不合理,结果到她自己经历小区封控,才明白其中的苦衷。“一个大型小区里住着上千户,如果居委会只有一个小推车,每次最多也就送个四五户,还不如志愿者人力接龙来得快。但是这样太耗人了,除非有更好的运输工具,比如一次能装载十几户物资的运输筐,它的效率才能跟上。”
Comicup现场,热门摊位前往往会排起长队,NPC(工作人员)们需要在拥挤的会场中举着牌子或指挥棒引导游客前进,标示队尾所在的位置。疫情之下,指挥棒发挥作用的场所从展会会场变成了小区里的核酸检测点。
“我们把指挥棒借给了居委会。有一天要晚上做核酸,他们用得可开心了。”香菇说,“NPC维持秩序经验都很丰富,还有喇叭,一下子就有了漫展的气氛……可惜没把指路的牌子带上,不然就更像了。”
为了让同人活动继续下去,2月时,Comicup组委会在广州举办了“Comicup 29 mini展”与第二届“黑白魂”黑白漫画比赛颁奖仪式。碍于疫情压力,香菇她们只能在上海远程办公。但进入4月之后,无论是后续展会的策划,还是无差别同人站、线上展会Comicup Online 2.0的开发与运营,都陷入了停滞。“不止是组委会,应该说是整个上海的人,除了自己吃的东西以外忙不了别的事。”香菇说。
真正的Comicup 29愈发遥遥无期。没人知道什么时候能解封,浦东刚刚进入封控管理时,同事之间经常流传着“5天后解封”“7天后解封”的消息。4月底,人们又说5月就会解封。再后来,整个5月过去了。
香菇对我说,3月时之所以会宣布延期到6月,是因为当时上海处于“鸳鸯锅”封控期间,不少同事认为可以错开时间上班。“我们就觉得还有希望,赌一把。”
日子一天天过去,到了4月,Comicup 29的预定场馆,被称作“四叶草”的国家会展中心(上海)被改建为方舱医院。这条新闻在微博等平台上引起热议,许多人在组委会的微博评论区里问:“‘四叶草’变方舱了,那Comicup怎么办?”
国家会展中心成为了上海最大的方舱医院
香菇其实并不担心方舱医院的问题。方舱医院关闭后,经过消杀,病毒不会残留。最大的问题是场地本身的改建——“四叶草”改建成方舱医院时,内部结构有了一些变化,要把它从方舱医院改造回展会场馆,需要额外的工期。组委会曾经考虑过向场馆方预订七八月份的档期,让Comicup 29早日举办,但从实际情况看,光是等待场馆改建,差不多就要到8月中旬。
5月4日,Comicup组委会发布了第三次延期公告。这一次没有给出具体的时间,公告里只给出了模糊的说法:在争取档期,希望能在年内举办。
解封之后
6月,组委会里最后一个同事终于解封。基本恢复正常办公之后,香菇她们需要面对的是展会停办带来的巨大资金缺口。会展行业的特性决定了公司的资金运转方式:筹备展会期间,只有持续的支出,如果不开展,就几乎没有收入。
组委会尝试过将一部分展会移至其他城市,比如2021年9月、2022年3月受广州同人展举办方YACA邀请,组委会在广州举办了Comicup 2021 SP与Comicup 29 mini两届分展。但迄今为止,在广州举办的同人展还没能实现盈利。在香菇眼里,上海之外其他城市的受众还在培养参与Comicup的习惯,而习惯的养成、氛围的建立是一个更加长线的投入。另一方面,广州的投资商也更倾向于投资漫展而非同人展。
2022在广州举办的Comicup 29 mini
香菇和我算了算广州分展的账:不包括运营成本,Comicup 2021 SP大约亏了50万元,Comicup 29 mini大约亏了30万元。“我觉得有进步,”香菇说,“毕竟亏损越来越少了。下次再办广州Comicup 2022 SP,目标就是不亏。”
但不论如何,其他城市的展会规模都无法与上海相比。受疫情影响,2020年之后,上海市规定室内举办的大型活动,参与人数只能达到场地容纳上限的50%,这直接导致疫情后的首届Comicup(Comicup 26)入场人数打了对折,门票收入也直接砍半。然而随着同人文化的发展,近两年来Comicup的规模迅速扩大,参展摊位数量由Comicup 24的2044个逐步增长至Comicup 28的6049个,希望入场的人数更是不断增长。为了配合50%限制,Comicup组委会只能选择继续增加场地面积——Comicup 28的总场地面积是Comicup 25的两倍,多出来的场地成本也要由主办方承担。
Comicup 28的盛况
在实际操作中,需要解决的问题远远不止增加场馆面积一项。“经常有游客抱怨Comicup入场的路程越来越长,这其实是有关部门要求的。”香菇解释说,“展会人流量太大了,所以要求我们必须设置一个治安缓冲区,要根据入场人流量与总人数计算缓冲区里需要容纳的人数。同时缓冲区还得保持流动性,以免出现踩踏等安全事故。”
规模庞大,人数众多,确保安全……种种因素加在一起,意味着在上海以外,甚至在国家会展中心以外的地方举办Comicup 29的可能性都微乎其微。在国内其他城市找到另一个能承载10万以上人流量的场地本就不是一件易事,还要保证交通便捷、物流顺畅,满足最新的防疫政策需求更是近乎天方夜谭。香菇告诉我,他们曾在广州附近找到了能勉强满足人流量的场地,但最后计划还是没有推进下去。另一方面,上海成熟的同人文化氛围也是Comicup赖以生存的土壤。根据统计,每届展会差不多有一半的参与者是本地人。“我们不可能放弃这一半。”香菇说。
但对于香菇和Comicup组委会而言,一天不办展就一天没有收入。“现在公司就是在空转。吃老本,硬耗着。”
何时到来
香菇无法保证Comicup 29什么时候能办。她告诉我,公司准备了好几个不同的计划,用以应对各种可能。“已经申请了10月和12月的档期,希望能批下来。”香菇说,与此同时,其他城市的展会也要争取办下去。
我问香菇公司目前的经济状况。她回答:“我们做的最坏打算是空耗到明年5月,以此为前提来打生存的硬仗。”
文创销售成了组委会能否支撑下去的关键。与一些热门IP版权方联动,贩卖正版周边,是Comicup目前为数不多的盈利方式。了解情况后,有不少版权方破例延长了授权期限。香菇决定,要在暑假里多卖一些周边。“毕竟下半年可能更艰难,因为老本多的时候还好吃点,越吃到底的时候越痛苦。”
即将在广州的Comicup 2022 SP现场贩卖的联名特别周边企划
“但最晚一定会在明年开放,这是必然的。”在6月底,提到Comicup的未来,香菇再一次表现出了乐观,“总不会永远不能办展吧。”
在组委会第三次宣布延期的两个月后,上海解封,不少企业恢复了正常运作,但国家会展中心7月的排期仍是一片空白,展会列表里全部写着“延期”。自去年11月5日的进博会至今,国家会展中心没有办过任何展会。7月7日,上海疫情再次出现反复,新增49个中风险区域与1个高风险区域。
空白的展会日历
上海的春天已经过去,但会展的春天尚未到来。
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
作者:merlin&
操作环境
编译器:pycharm社区版
python 版本:anaconda python3.7.4
浏览器选择:Google浏览器
需要用到的第三方模块:requests , lxml , selenium , time , bs4,os
网页分析
明确目标
首先我们打开腾讯动漫首页,分析要抓取的目标漫画。找到腾讯动漫的漫画目录页,简单看了一下目录,发现全站的漫画数量超过了三千部(感觉就是爬下来也会把内存撑爆)
于是我觉得爬取首页的推荐漫画会是一个比较好的选择(爬取全站漫画只需要稍稍改一下网址构造就可以做到了)
提取漫画地址
选定了对象之后,就应该想办法来搞到漫画的地址了右击检查元素,粗略看一遍网页的源代码,这时我发现里面有很多连续的
标签,我猜测每部漫画的地址信息就存储在这些标签里面
随便打开一个《li》标签,点击里面包裹的链接地址会跳转到一个新的网页,这个网页正是我想要找的漫画地址,可以见得我的猜测是正确的,等到实际操作的时候再用表达式提取信息就非常容易了
提取漫画章节地址
进入漫画的目录页,发现一页最多可以展示20章的漫画目录,要想更换显示还需要点击章节名上面的选项卡来显示其他章节的地址
接下来就需要我们来检查网页元素想办法来获取章节地址了,同样右击检查元素在看到了源代码后,我发现了一个非常惊喜的事情,这个源码里面包含着所有的章节链接,而不是通过动态加载来展示的,这就省去了我们提取其他章节链接的功夫,只需要花心思提取漫画图片就可以了
这里每个《p》标签下包含了五个《a》标签,每个《li》标签下包含了四个《p》标签,而每个漫画的链接就存在每个《a》标签中,可以轻松通过语法来提取到每页的链接信息
提取漫画图片
怎么将漫画的图片地址提取出来并保存到本地,这是这个代码的难点和核心先是打开漫画,这个漫画页应该是被加上了某些措施,所以它没办法使用右键查看网页源代码,但是使用快捷键[ctrl + shift +i]是可以看到的
按下[ctrl + shift + i],检查元素
通过第一次检查,可以发现网页的元素中只有前几张图片的地址信息,后面的信息都为后缀.gif的文件表示,这些gif文件就是图片的加载动画
接着向下滑动到底部,等待图片全部显示出来再次检查元素
现在所有的漫画图片全部显示出来,下方并无.gif 的文件,由此可知,腾讯动漫是以js异步加载来显示图片的,要想获取页面的全部图片,就必须要滑动滚动条,将全部的图片加载完成再进行提取,这里我选择selenium模块和chromedriver来帮助我完成这些操作。下面开始进行代码的编写。
编写代码
导入需要的模块
import requests
from lxml import etree
from selenium import webdriver #selenium模拟操作
from time import sleep
from bs4 import BeautifulSoup
from selenium.webdriver.chrome.options import Options #谷歌无头浏览器
import os
获取漫画地址
这里我使用的是xpath提取漫画地址信息,在谷歌浏览器中使用xpath helper插件辅助编写xpath表达式
#打开腾讯动漫首页
url = 'https://ac.qq.com/'
#给网页发送请求
data = requests.get(url).text
#将网页信息转换成xpath可识别的类型
html = etree.HTML(data)
#提取到每个漫画的目录页地址
comic_list = html.xpath('//a[@class="in-rank-name"]/@href')
print(comic_list)
print一下输出的comic_list,提取成功
提取漫画的内容页
内容页的提取也很简单,就像上面的分析一样,使用简单的xpath语法即可提取
然后我们再将漫画的名字提取出来,方便为保存的文件夹命名
#遍历提取到的信息
for comic in comic_list:
#拼接成为漫画目录页的网址
comic_url = url + str(comic)
#从漫画目录页提取信息
url_data = requests.get(comic_url).text
#准备用xpath语法提取信息
data_comic = etree.HTML(url_data)
#提取漫画名--text()为提取文本内容
name_comic = data_comic.xpath("//h2[@class='works-intro-title ui-left']/strong/text()")
#提取该漫画每一页的地址
item_list = data_comic.xpath("//span[@class='works-chapter-item']/a/@href")
print(name_comic)
print(item_list)
print打印的信息:
提取章节名
刚刚我们输出的是漫画页的地址字段,但是通过这些字段并不能请求到信息,还需在前面加上域名才可以构成一个完整的网址提取章节名是为了在漫画名的文件夹下再为每个章节创建一个文件夹保存漫画图片
for item in item_list:
#拼接每一章节的地址
item_url = url + str(item)
#print(item_url)
#请求每一章节的信息
page_mes = requests.get(item_url).text
#准备使用xpath提取内容
page_ming = etree.HTML(page_mes)
#提取章节名
page_name = page_ming.xpath('//span[@class="title-comicHeading"]/text()')
print(page_name)
打印章节名:
获取漫画源网页代码
这个部分的代码是这个代码的核心部分,也是花费时间最久的部分首先我们知道通过正常的方式没有办法请求到所有的图片地址信息,若是使用抓包方法会变得非常难分析,所以我采用的是模拟浏览器滑动的方法来获得图片的地址信息为了方便看到结果,先将webdriver设置为有界面模式,等到实现想要的功能之后,再将它隐藏起来
#webdriver位置
path = r'/home/jmhao/chromedriver'
#浏览器参数设置
browser = webdriver.Chrome(executable_path=path)
#开始请求第一个章节的网址
browser.get(item_url)
#设置延时,为后续做缓冲
sleep(2)
#尝试执行下列代码
try:
#设置自动下滑滚动条操作
for i in range(1, 100):
#滑动距离设置
js = 'var q=document.getElementById("mainView").scrollTop = ' + str(i * 1000)
#执行滑动选项
browser.execute_script(js)
#延时,使图片充分加载
sleep(2)
sleep(2)
#将打开的界面截图保存,证明无界面浏览器确实打开了网页
browser.get_screenshot_as_file(str(page_name) + ".png")
#获取当前页面源码
data = browser.page_source
#在当前文件夹下创建html文件,并将网页源码写入
fh = open("dongman.html", "w", encoding="utf-8")
#写入操作
fh.write(data)
#关掉浏览器
fh.close()
# 若上述代码执行报错(大概率是由于付费漫画),则执行此部分代码
except Exception as err:
#跳过错误代码
pass
运行之后会自动打开漫画的内容页,并拖动右侧的滑动条(模拟了手动操作,缓慢拖动是为了让图片充分加载),其中的sleep方法和网速有一定的关系,网速好的可以适当减少延时的时间,网速差可适当延长在写拖动滑动条的代码时,我尝试了非常多种拖动写法,也模拟了按下方向键的操作,可是只有这一种方法使用成功了。我认为失败的原因可能是刚打开界面的时候会有一个导航条挡住滑块,导致无法定位到滑块的坐标(因为我用其他网页测试的时候都是可以拖动的)
使用的try是为了防止有一些章节会弹出付费窗口,导致程序报错,使后续无法运行,即遇到会报错的情况就跳过此段代码,执行except中的选项
这段程序运行完之后有一个dongman.html文件保存在当前文件夹下,里面就包含了所有图片的url,接下来只要读取这个文件的内容就可以提取到所有的漫画地址了
下载漫画图片
当我们保存完网页的源代码之后,接下来的操作就变得简单了 我们要做的就是提取文件内容,将图片下载到本地
#用beautifulsoup打开本地文件
html_new = BeautifulSoup(open('dongman.html', encoding='utf-8'), features='html.parser')
#提取html文件中的主体部分
soup = html_new.find(id="mainView")
#设置变量i,方便为保存的图片命名
i = 0
#提取出主体部分中的img标签(因为图片地址保存在img标签中)
for items in soup.find_all("img"):
#提取图片地址信息
item = items.get("src")
#请求图片地址
comic_pic = requests.get(item).content
#print(comic_pic)
#尝试提取图片,若发生错误则跳过
try:
#打开文件夹,将图片存入
with open('comic/' + str(name_comic) + '/' + str(page_name) + '/' + str(i + 1) + '.jpg', 'wb') as f:
#print('正在下载第 ', (i + 1), ' 张图片中')
print('正在下载' , str(name_comic) , '-' , str(page_name) , '- 第' , (i+1) , '张图片')
#写入操作
f.write(comic_pic)
#更改图片名,防止新下载的图片覆盖原图片
i += 1
#若上述代码执行报错,则执行此部分代码
except Exception as err:
#跳过错误代码
pass
下载结果
到了这里代码就写完了,来看一下运行结果:
打开文件夹看到:
完整代码
import requests
from lxml import etree
from selenium import webdriver
from time import sleep
from bs4 import BeautifulSoup
from selenium.webdriver.chrome.options import Options
import os
'''
============================
python学习群:695185429
============================
'''
#打开腾讯动漫首页
url = 'https://ac.qq.com/'
#给网页发送请求
data = requests.get(url).text
#将网页信息转换成xpath可识别的类型
html = etree.HTML(data)
#提取到每个漫画的目录页地址
comic_list = html.xpath('//a[@class="in-rank-name"]/@href')
#print(comic_list)
#遍历提取到的信息
for comic in comic_list:
#拼接成为漫画目录页的网址
comic_url = url + str(comic)
#从漫画目录页提取信息
url_data = requests.get(comic_url).text
#准备用xpath语法提取信息
data_comic = etree.HTML(url_data)
#提取漫画名--text()为提取文本内容
name_comic = data_comic.xpath("//h2[@class='works-intro-title ui-left']/strong/text()")
#提取该漫画每一页的地址
item_list = data_comic.xpath("//span[@class='works-chapter-item']/a/@href")
# print(name_comic)
# print(item_list)
#以漫画名字为文件夹名创建文件夹
os.makedirs('comic/' + str(name_comic))
#将一本漫画的每一章地址遍历
for item in item_list:
#拼接每一章节的地址
item_url = url + str(item)
#print(item_url)
#请求每一章节的信息
page_mes = requests.get(item_url).text
#准备使用xpath提取内容
page_ming = etree.HTML(page_mes)
#提取章节名
page_name = page_ming.xpath('//span[@class="title-comicHeading"]/text()')
#print(page_name)
#再以章节名命名一个文件夹
os.makedirs('comic/' + str(name_comic) + '/' + str(page_name))
#以下为代码的主体部分
#设置谷歌无界面浏览器
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
#webdriver位置
path = r'/home/jmhao/chromedriver'
#浏览器参数设置
browser = webdriver.Chrome(executable_path=path, options=chrome_options)
#开始请求第一个章节的网址
browser.get(item_url)
#设置延时,为后续做缓冲
sleep(2)
#browser.get_screenshot_as_file(str(page_name) + ".png")
#尝试执行下列代码
try:
#设置自动下滑滚动条操作
for i in range(1, 100):
#滑动距离设置
js = 'var q=document.getElementById("mainView").scrollTop = ' + str(i * 1000)
#执行滑动选项
browser.execute_script(js)
#延时,使图片充分加载
sleep(2)
sleep(2)
#将打开的界面截图保存,证明无界面浏览器确实打开了网页
browser.get_screenshot_as_file(str(page_name) + ".png")
#获取当前页面源码
data = browser.page_source
#在当前文件夹下创建html文件,并将网页源码写入
fh = open("dongman.html", "w", encoding="utf-8")
#写入操作
fh.write(data)
#关掉无界面浏览器
fh.close()
#下面的操作为打开保存的html文件,提取其中的图片信息,并保存到文件夹中
#用beautifulsoup打开本地文件
html_new = BeautifulSoup(open('dongman.html', encoding='utf-8'), features='html.parser')
#提取html文件中的主体部分
soup = html_new.find(id="mainView")
#设置变量i,方便为保存的图片命名
i = 0
#提取出主体部分中的img标签(因为图片地址保存在img标签中)
for items in soup.find_all("img"):
#提取图片地址信息
item = items.get("src")
#请求图片地址
comic_pic = requests.get(item).content
#print(comic_pic)
#尝试提取图片,若发生错误则跳过
try:
#打开文件夹,将图片存入
with open('comic/' + str(name_comic) + '/' + str(page_name) + '/' + str(i + 1) + '.jpg', 'wb') as f:
#print('正在下载第 ', (i + 1), ' 张图片中')
print('正在下载' , str(name_comic) , '-' , str(page_name) , '- 第' , (i+1) , '张图片')
#写入操作
f.write(comic_pic)
#更改图片名,防止新下载的图片覆盖原图片
i += 1
#若上述代码执行报错,则执行此部分代码
except Exception as err:
#跳过错误代码
pass
# 若上述代码执行报错(大概率是由于付费漫画),则执行此部分代码
except Exception as err:
#跳过错误代码
pass
