Mitmproxy 代理使用设置,存储到Redis

新建目录,并且新建push_redis.py

mkdir -p /opt/mitmproxy_project/  
vim /opt/mitmporxy_project/push_redis.py  

push_redis.py代码:

# coding=utf-8
import utils  
import redis

redisObject = redis.StrictRedis(host='127.0.0.1', port=6379, db=1)

def response(context, flow):  
    redisObject.lpush("proxy_list", flow.request.url)

utils.py代码:

import os  
from urlparse import urlparse

#工具方法 - 获取url最后扩展名
def get_url_fIle_suffix(url):  
    try:
        uri = urlparse(url)
        array = os.path.splitext(os.path.basename(uri.path))
        if len(array) >= 2:
            return array[1]
        else:
            return array[0]
    except Exception, e:
        print e
    return None

安装 mitmproxy代理:
pip install mitmproxy
启用代理:
mitmproxy --cadir=~/.mitmproxy -s /opt/mitmproxy/push_redis.py

测试:
* 通过浏览器设置网络代理为,127.0.0.1:8080
* 访问网站
* redis-cli 进入redis客户端

select 1
lrange proxy_list

下面是测试结果:

郝先生

继续阅读此作者的更多文章