首页

  • 用pyhon写的一个一键抓取网站所有页面,并排除非本网链接的脚本

    用pyhon写的一个一键抓取网站所有页面,并排除非本网链接的脚本

    最近一直在思考如何能做一个想百度一样的爬虫,能够自行的爬取网站里所有页面,并且排除掉非该网站下的链接。于是,就写了以下的这么个程序。由于本人对于线程还不是了解,刚开始写的初稿并没有加上线程,导致遇到数据多一些的网站,脚本运行时间就很长。这个其实是非常烦恼的,因为调试起来,脚本运行时间太长,会很耽误时间,所以找了个学习Python时在网上认识的一位朋友帮忙加了下线程,才有了以下这段代码:import requests from bs4 import Bea ...

    python 2020年12月05日 211 0
  • python关键词排名查询代码升级版

    python关键词排名查询代码升级版

    import requests from fake_useragent import UserAgent from bs4 import BeautifulSoup ua = UserAgent() useragent=ua.firefox headers={'user-agent':useragent} pm=True def fanye():   ...

    python 2020年12月03日 201 0
  • python随机启动浏览器,并实现关键词搜索与查找功能代码

    python随机启动浏览器,并实现关键词搜索与查找功能代码

    import time import random from selenium import webdriver a=random.randint(1,3) if a==1:     browser = webdriver.Chrome() elif a==2:     browser=webdriver.Fi ...

    python 2020年11月06日 256 0
  • 如何使用python自动搜索,并点击搜索结果

    如何使用python自动搜索,并点击搜索结果

    这里是简单版本的自动搜索,并点击,我们只需要输入自己想要搜索的关键词,然后就会自动打开百度搜索,并且将结果一个一个点开,并关闭,这里因为是展示,只设置了搜索第一页,下面是完整代码:import time from selenium import webdriver guanjianci=input('请输入关键词:') browser = webdriver.Firefox() browser.get(' ...

    python 2020年10月30日 302 0
  • 如何用python抓取爱企查企业信息

    如何用python抓取爱企查企业信息

    前段时间,经理让我去找一些企业的信息,我平常习惯于使用爱企查。所以,便想着写一个程序来实现这个,所以有以下的代码:import json import requests import re from lxml import etree url="https://aiqicha.baidu.com/s?q="+公司名称+"=0" headers={"User-Agent" ...

    python 2020年10月30日 998 0
  • 如何python抓取网站新闻目录下面的所有子分类及内容?

    如何python抓取网站新闻目录下面的所有子分类及内容?

    import requests from bs4 import BeautifulSoup import time chushiurl="http://www.**.cc/seojs/" headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)& ...

    python 2020年09月29日 402 0

好文推荐

实时访客入口页面出现bd_vid=标识是什么原因

实时访客入口页面出现bd_vid=标识是什么原因

最近查看百度实时访客,总是会看到入口页面会多......

有了微信视频号,但是没有发布权限,怎么开通

有了微信视频号,但是没有发布权限,怎么开通

视频号是微信在2020年1月19号开始内测的......

服务器配置低,宝塔面板安装IIS总是安装不上怎么办

服务器配置低,宝塔面板安装IIS总是安装不上怎么办

对于一般企业网站或者博客来说,对服务器的配置......

又一个论坛宣布做不下去了,推一把论坛整体出售

又一个论坛宣布做不下去了,推一把论坛整体出售

论坛作为曾经的流量聚集地,在这些年逐渐没落,......

6月3日百度下线搜索结果出图功能

6月3日百度下线搜索结果出图功能

搜索结果出图功能能够提高网站内容在搜索结果的......

Nginx实现开机重启自动启动的方法

Nginx实现开机重启自动启动的方法

将Nginx设置为Windows服务需要借助......