如何再python代码中使用HTTP代理IP。
以下代码主要围绕第一次接触HTTP代理IP的python新手来写。(步骤注释清晰)
直接把下面示例代码中的HTTP代理API,替换成你后台生成的代理API链接,就可以跑起来了。
以下是一个示例代码,只是一个基础的演示,具体的代码还是要根据你业务的实际情况去写的。
示例代码中的HTTP代理IP,我使用的是华益云的HTTP代理,注册就白嫖1万个高匿爬虫IP,有效期是一年,对于调试代码来说这个时间是非常的友好。(步骤注释清晰)
华益云-企业级HTTP爬虫代理IP供应商-点我免费领取示例代码demo中同款10000个高匿IP
打开代理API,获取里面的IP,使用IP访问目标网站,其实代码中就是执行这个过程而已,然后加了几个错误判断有助于代码的稳定运行。
# 此版本无需安装依赖
import urllib
import urllib.request
import urllib
def main():
# 发送给服务器的标识
userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
# 代理api(这里我推荐使用www.9vps.com华益云的HTTP代理API,注册就白嫖1万IP)
proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&";
# 请求代理url,获取代理ip
outPutProxy = getProxy(proxyUrl, userAgent)
if len(outPutProxy)==0:
# 没有获取到代理
return
# 目标请求网站
# https://httpbin.org/get
url = "https://www.qq.com/"
content = None
for _ in range(0, 3):
# 最多尝试三次
try:
# 从列表中取出一个代理出来
proxy = outPutProxy.pop(0)
px = {
"http": proxy,
"https": proxy
}
content = requestGet(url, userAgent, px)
break
except Exception as e:
print(e)
if (len(outPutProxy) == 0):
# 如果发现没有代理了,就去获取下。
outPutProxy = getProxy(proxyUrl, userAgent)
print(content)
def getProxy(proxyUrl, userAgent):
proxyIps=""
outPutProxy = []
try:
proxyIps = requestGet(proxyUrl, userAgent, None)
print("(proxyIps)", proxyIps)
# {"code":3002,"data":[],"msg":"error!用户名或密码错误","success":false}
if "{" in proxyIps:
raise Exception("[错误]"+proxyIps)
outPutProxy = proxyIps.splitlines()
except Exception as e:
print(e)
print("总共获取了"+str(len(outPutProxy))+"个代理")
return outPutProxy
def requestGet(url, userAgent, proxy):
headers = {
"User-Agent": userAgent
}
# httpproxy_handler = urllib.ProxyHandler({"http" : " 180.104.192.217:22036"})
response = None
if (proxy):
proxyHandler = urllib.request.ProxyHandler(proxy)
opener = urllib.request.build_opener(proxyHandler, urllib.request.HTTPHandler)
urllib.request.install_opener(opener)
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(request, timeout=5)
else:
# 没有代理走这个
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(request, timeout=5)
#response = opener.open(request)
html = response.read()
# # 设置编码,防止乱码
# 手动设置网页字符编码方式
return html.decode("utf-8", "ignore")
main()
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
HTTP
+关注
关注
0文章
464浏览量
30310 -
python
+关注
关注
51文章
4671浏览量
83457
发布评论请先 登录
相关推荐
如何在测试中使用ChatGPT
Dimitar Panayotov 在 2023 年 QA Challenge Accepted 大会 上分享了他如何在测试中使用 ChatGPT。
python软件怎么运行代码
Python是一种高级编程语言,它被广泛用于开发各种类型的应用程序,从简单的脚本到复杂的网络应用和机器学习模型。要运行Python代码,您需要一个Python解释器,它可以将您的
python如何换行而不运行代码
Python程序中的换行是指在代码中使用特定的语法来表示换行,以使代码更易读。换行的目的是为了让程序更具可读性并提高代码的可维护性。然而,换
python代码写完后点哪个运行
当你完成了编写Python代码后,你可以选择多种方式来运行它。下面是几种常见的运行代码的方式: Python解释器:Python是一种解释型
python如何换行而不运行代码
的情况下可以使用换行字符来达到这个目的。 在Python中,换行字符一般是使用符号来表示。下面是一些常用的换行字符示例: 在字符串中使用换行字符: 在字符串中,可以使用换行字符来换行而不运行代码。例如: print ( "这是第
python怎样运行代码
讨论Python代码的运行方式,包括解释器、交互式环境和命令行。 Python代码可以通过两种主要的方式运行:解释执行和编译执行。解释执行是指将源代
python if语句多个条件怎么用
所有条件都必须为True才会执行if语句中的代码块,or运算符表示只要有一个条件为True就会执行代码块,而not运算符则用于反转条件的结果。 以下是一个示例代码,演示了如何在
如何在Python中使用Scapy进行抓包操作
文章将介绍如何使用 Python 来进行简单的抓包操作。 2. Python 中的抓包库 在 Python 中,有很多优秀的抓包库,例如 Scapy、dpkt、pcapy 等等。在本文中,我们将以
SE5如何在Python中使用SAIL?
SE5已经预装在/system/lib下,只需要设置好环境变量,然后就可以在python中使用SAIL了:
# SE5设置环境变量export PATH=$PATH:/system
发表于 09-18 06:22
HTTP服务器使用uIP TCP/ IP堆栈的示例
\\ EMAC_ uIP_ httpd 和 EMAC_ uIP_ telnetd 是使用 VIP 的 HTTP 守护程序 和 Telnet 守护程序 。
使用 uIP TCP/IP 堆叠, 示例代码
发表于 08-22 07:07
评论