在学习Python爬虫的时候，经常会遇见所要爬取的网站采取了反爬取技术，高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，这里讲述一个爬虫技巧，设置代理IP。
（一）配置环境
安装requests库
安装bs4库
安装lxml库
（二）代码展示
# IP地址取自国内髙匿代理IP网站：http://www.xicidaili.com/nn/
# 仅仅爬取首页IP地址就足够一般使用
from bs4 import BeautifulSoup
import requests
import random
def get_ip_li
2022-01-19 09:54:13
53KB
1
爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章
2022-01-18 21:59:14
3KB
1
自动爬取抖音视频
自动爬取抖音视频并将结果保存在本地。使用ADB控制手机自动上划拉取视频所以适用安卓设备。
参考下面的说明完成操作，即可开始爬取
实现过程
需求：
爬取视频文件并保存在本地
视频无水印
实现自动上划/左右划来加载新的视频并触发爬取
目前短视频平台的实现方式一般是在请求返回的数据中加入视频地址，再请求视频地址获取对应视频并播放。
如果我们想要自动爬取视频并保存视频文件到电脑当中则需要获取到每次拉取的视频地址并请求文件保存在本地，为了实现这个目的我们用电脑代理手机的网络请求，这样就能获取响应内容进而解析出视频地址。
此时我们就需要一个代理软件，大家常用的比如Charles,Fiddler等，但是这些软件无法通过简单的方式和我们的Python程序进行联动，所以此处我们选择这个代理，具体介绍大家请参照官网。
使用前准备：
开始前请注意以下几点：
手机抓包需要在手机端安装
2022-01-18 01:45:19
44KB
1
自己用Python写的针对百度贴吧相册图片的图片爬虫（爬取器）；
可以爬取任何人的贴吧相册，批量下钻所有相册里所有图片，内附含使用说明。
2022-01-17 23:02:46
9.65MB
1