我按照崔庆才的教程，用 3 台香港的 vps 拨号主机，搭建了拨号代理池，在国内环境代理可以访问国内能访问的网站，在另一台外网服务器上，使用这个代理访问不了需要 fq 的网页。而这些代理 ip 也都是香港的，各位大佬有操作么
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2586 days ago, the information mentioned may be changed or developed.
 |
1
locoz Sep 7, 2019 via Android
跟 fq 一样的，一般的代理当然不能让墙内机器直接 fq
|
 |
2
wersonliu9527 OP @locoz 用香港的 vps 拨号主机，ip 都是香港的，在里面搭建 socket 代理，在本地电脑 requests 使用下面方式可以翻
proxies = { 'http': 'socks5://xxx:1080', 'https': 'socks5://xxx:1080' } 但是问题来了在 scrapy 里面使用下面却不行 class LocalProxyMiddleware(HttpProxyMiddleware): def process_request(self, request, spider): request.meta["proxy"] = 'socks5://xxx:1080' |
|
3
locoz Sep 9, 2019
@wersonliu9527 #2 我没有深入地用过 scrapy，你可以翻一下文档看看 scrapy 是否支持 socks5 代理，并且确认一下是不是这么写。
|
|
4
wersonliu9527 OP @locoz 多谢提醒确实不直接支持 网上查了很久 似乎通过 txsocksx 间接支持，但是 txsocksx 这个 15 年就停止更新了。
|
|
5
locoz Sep 9, 2019
@wersonliu9527 #4 那你可以尝试使用 Privoxy 之类的工具，将 Socks5 代理转成 HTTP 代理。
|
Select Language