新建目录,并且新建push_redis.py
mkdir -p /opt/mitmproxy_project/
vim /opt/mitmporxy_project/push_redis.py
push_redis.py代码:
# coding=utf-8
import utils
import redis
redisObject = redis.StrictRedis(host='127.0.0.1', port=6379, db=1)
def response(context, flow):
redisObject.lpush("proxy_list", flow.request.url)
utils.py代码:
import os
from urlparse import urlparse
#工具方法 - 获取url最后扩展名
def get_url_fIle_suffix(url):
try:
uri = urlparse(url)
array = os.path.splitext(os.path.basename(uri.path))
if len(array) >= 2:
return array[1]
else:
return array[0]
except Exception, e:
print e
return None
安装 mitmproxy代理:
pip install mitmproxy
启用代理:
mitmproxy --cadir=~/.mitmproxy -s /opt/mitmproxy/push_redis.py
测试:
* 通过浏览器设置网络代理为,127.0.0.1:8080
* 访问网站
* redis-cli 进入redis客户端
select 1
lrange proxy_list
下面是测试结果: