首页

  • 用pyhon写的一个一键抓取网站所有页面,并排除非本网链接的脚本

    用pyhon写的一个一键抓取网站所有页面,并排除非本网链接的脚本

    最近一直在思考如何能做一个想百度一样的爬虫,能够自行的爬取网站里所有页面,并且排除掉非该网站下的链接。于是,就写了以下的这么个程序。由于本人对于线程还不是了解,刚开始写的初稿并没有加上线程,导致遇到数据多一些的网站,脚本运行时间就很长。这个其实是非常烦恼的,因为调试起来,脚本运行时间太长,会很耽误时间,所以找了个学习Python时在网上认识的一位朋友帮忙加了下线程,才有了以下这段代码:import requests from bs4 import Bea ...

    python 2020年12月05日 699 0
  • python关键词排名查询代码升级版

    python关键词排名查询代码升级版

    import requests from fake_useragent import UserAgent from bs4 import BeautifulSoup ua = UserAgent() useragent=ua.firefox headers={'user-agent':useragent} pm=True def fanye():   ...

    python 2020年12月03日 605 0
  • python随机启动浏览器,并实现关键词搜索与查找功能代码

    python随机启动浏览器,并实现关键词搜索与查找功能代码

    import time import random from selenium import webdriver a=random.randint(1,3) if a==1:     browser = webdriver.Chrome() elif a==2:     browser=webdriver.Fi ...

    python 2020年11月06日 850 0
  • 如何使用python自动搜索,并点击搜索结果

    如何使用python自动搜索,并点击搜索结果

    这里是简单版本的自动搜索,并点击,我们只需要输入自己想要搜索的关键词,然后就会自动打开百度搜索,并且将结果一个一个点开,并关闭,这里因为是展示,只设置了搜索第一页,下面是完整代码:import time from selenium import webdriver guanjianci=input('请输入关键词:') browser = webdriver.Firefox() browser.get(' ...

    python 2020年10月30日 1071 0
  • 如何用python抓取爱企查企业信息

    如何用python抓取爱企查企业信息

    前段时间,经理让我去找一些企业的信息,我平常习惯于使用爱企查。所以,便想着写一个程序来实现这个,所以有以下的代码:import json import requests import re from lxml import etree url="https://aiqicha.baidu.com/s?q="+公司名称+"=0" headers={"User-Agent" ...

    python 2020年10月30日 4286 0
  • 如何python抓取网站新闻目录下面的所有子分类及内容?

    如何python抓取网站新闻目录下面的所有子分类及内容?

    import requests from bs4 import BeautifulSoup import time chushiurl="http://www.**.cc/seojs/" headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)& ...

    python 2020年09月29日 1116 0

好文推荐

实时访客入口页面出现bd_vid=标识是什么原因

实时访客入口页面出现bd_vid=标识是什么原因

最近查看百度实时访客,总是会看到入口页面会多......

有了微信视频号,但是没有发布权限,怎么开通

有了微信视频号,但是没有发布权限,怎么开通

视频号是微信在2020年1月19号开始内测的......

服务器配置低,宝塔面板安装IIS总是安装不上怎么办

服务器配置低,宝塔面板安装IIS总是安装不上怎么办

对于一般企业网站或者博客来说,对服务器的配置......

win10下安装MYSQL后,提示Can't connect to MySQL server on localhost (10061)相关问题解决方法

win10下安装MYSQL后,提示Can't connect to MySQL server on localhost (10061)相关问题解决方法

我遇到的问题是电脑原先安装过mysql,卸......

如何用python抓取爱企查企业信息

如何用python抓取爱企查企业信息

前段时间,经理让我去找一些企业的信息,我平常......

又一个论坛宣布做不下去了,推一把论坛整体出售

又一个论坛宣布做不下去了,推一把论坛整体出售

论坛作为曾经的流量聚集地,在这些年逐渐没落,......