首页 python正文

如何抓去百度前十页的搜索结果

启明SEO python 2020-01-04 09:51:31 162 0 蜘蛛
import requests
import time
headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400"}

url_list=[]

r_list=[]
html_list=[]
url="https://www.baidu.com/s?wd={}&pn={}"
sou=input("请输入你想百度的内容")
for i in range(10):
    url_list.append(url.format(sou,i*10))
    response=requests.get(url_list[i],headers=headers)
    r_list.append(response.content.decode("utf-8"))
    time.sleep(10)
    with open('html_list{}.html'.format(i),"w",encoding='utf-8') as f:
        f.write(r_list[i])

如何抓去百度前十页的搜索结果

评论

好文推荐

服务器配置低,宝塔面板安装IIS总是安装不上怎么办

服务器配置低,宝塔面板安装IIS总是安装不上怎么办

对于一般企业网站或者博客来说,对服务器的配置......

又一个论坛宣布做不下去了,推一把论坛整体出售

又一个论坛宣布做不下去了,推一把论坛整体出售

论坛作为曾经的流量聚集地,在这些年逐渐没落,......

实时访客入口页面出现bd_vid=标识是什么原因

实时访客入口页面出现bd_vid=标识是什么原因

最近查看百度实时访客,总是会看到入口页面会多......

6月3日百度下线搜索结果出图功能

6月3日百度下线搜索结果出图功能

搜索结果出图功能能够提高网站内容在搜索结果的......

低版本的宝塔面板apache服务器网站日志在哪里

低版本的宝塔面板apache服务器网站日志在哪里

网站日志能够很好的分析出蜘蛛爬取网站的情况,......

zblog上传图片后,图片地址是404怎么解决

zblog上传图片后,图片地址是404怎么解决

前段时间为了优化企业的一个网站,就在这个网站......