一、什么是HTTP代理。
HTTP代理就是介于浏览器和web服务器之间的一台服务器,连接代理后,浏览器不再直接向web服务器取回网页,而是向代理服务器发出request信号,代理服务器再想web服务器发出请求,收到web服务器返回的数据后再反馈给浏览器。
二、华益云HTTP代理IP基本参数介绍
1:基本参数介绍:支持http,https,socks5等多种协议类型。100%高匿IP,支持API提取,API最快提取间隔1秒,一次最多可以提取200个。
2:支持的语言:python,java,c,c#,go,php,易语言等多种编程语言。
3:使用范围:软件程序API调用,爬虫,网页访问,浏览等支持HTTP协议批量调用的应用。
python代码中如何使用HTTP代理。
# 此版本无需安装依赖
import urllib
import urllib.request
import urllib
def main():
# 发送给服务器的标识
userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
# 代理api(这里我推荐使用www.9vps.com华益云的HTTP代理API,注册就白嫖1万IP)
proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&";
# 请求代理url,获取代理ip
outPutProxy = getProxy(proxyUrl, userAgent)
if len(outPutProxy)==0:
# 没有获取到代理
return
# 目标请求网站
# https://httpbin.org/get
url = "https://www.qq.com/"
content = None
for _ in range(0, 3):
# 最多尝试三次
try:
# 从列表中取出一个代理出来
proxy = outPutProxy.pop(0)
px = {
"http": proxy,
"https": proxy
}
content = requestGet(url, userAgent, px)
break
except Exception as e:
print(e)
if (len(outPutProxy) == 0):
# 如果发现没有代理了,就去获取下。
outPutProxy = getProxy(proxyUrl, userAgent)
print(content)
def getProxy(proxyUrl, userAgent):
proxyIps=""
outPutProxy = []
try:
proxyIps = requestGet(proxyUrl, userAgent, None)
print("(proxyIps)", proxyIps)
# {"code":3002,"data":[],"msg":"error!用户名或密码错误","success":false}
if "{" in proxyIps:
raise Exception("[错误]"+proxyIps)
outPutProxy = proxyIps.splitlines()
except Exception as e:
print(e)
print("总共获取了"+str(len(outPutProxy))+"个代理")
return outPutProxy
def requestGet(url, userAgent, proxy):
headers = {
"User-Agent": userAgent
}
# httpproxy_handler = urllib.ProxyHandler({"http" : " 180.104.192.217:22036"})
response = None
if (proxy):
proxyHandler = urllib.request.ProxyHandler(proxy)
opener = urllib.request.build_opener(proxyHandler, urllib.request.HTTPHandler)
urllib.request.install_opener(opener)
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(request, timeout=5)
else:
# 没有代理走这个
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(request, timeout=5)
#response = opener.open(request)
html = response.read()
# # 设置编码,防止乱码
# 手动设置网页字符编码方式
return html.decode("utf-8", "ignore")
main()
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
HTTP
+关注
关注
0文章
467浏览量
30322 -
浏览器
+关注
关注
1文章
975浏览量
34428 -
python
+关注
关注
51文章
4678浏览量
83476
发布评论请先 登录
相关推荐
python软件IDLE怎么打多行代码
和一个用于编写、编辑和运行Python代码的编辑器窗口。在IDLE中编写多行代码有几种方法可以实现。 使用括号与换行符: 在IDLE中编写多行代码的一种常见方法是使用括号来将多行
python软件怎么运行代码
Python是一种高级编程语言,它被广泛用于开发各种类型的应用程序,从简单的脚本到复杂的网络应用和机器学习模型。要运行Python代码,您需要一个Python解释器,它可以将您的
python如何换行而不运行代码
Python程序中的换行是指在代码中使用特定的语法来表示换行,以使代码更易读。换行的目的是为了让程序更具可读性并提高代码的可维护性。然而,换行不会对程序的执行产生任何影响,它只是改善了
python代码写完后点哪个运行
当你完成了编写Python代码后,你可以选择多种方式来运行它。下面是几种常见的运行代码的方式: Python解释器:Python是一种解释型
python如何一直循环一个代码
在Python中,有几种方法可以实现代码的循环执行。下面我将详尽、详实、细致地介绍这些方法和它们的使用情况。 使用while循环: 在Python中,可以使用while循环来重复执行一段代码
python如何换行而不运行代码
在Python中,换行是一种用来增加代码的可读性和组织性的方式。当你在编写Python代码时,换行通常用于分隔不同的代码行或块,使其更易于阅
python怎样运行代码
讨论Python代码的运行方式,包括解释器、交互式环境和命令行。 Python代码可以通过两种主要的方式运行:解释执行和编译执行。解释执行是指将源代
Vulture 可在Python程序中查找未使用的代码
Vulture 可以在Python程序中查找未使用的代码。这对于清理和查找大型项目(代码库)中的错误非常有用。 不过由于Python的动态特性,像 Vulture 这样的静态
Yapf:一个格式化 Python 代码的好帮手
大部分人使用Python中的代码格式化工具时都会选择autopep8之类的工具,这些工具可能有一定的局限性,比如不会重新格式化已经符合 PEP8 的代码。 而本文即将介绍的 Yapf,不仅能将
卷积神经网络python代码
卷积神经网络python代码 ; 卷积神经网络(Convolutional Neural Network,简称CNN)是一种可以在图像处理和语音识别等领域中很好地应用的神经网络。它的原理是通过不断
分享50条经典的Python一行代码
今天浩道跟大家分享python学习过程中非常经典的50条一行代码,让大家体验它简洁而功能强大的特点。同时给大家分享号主收集到的所有关于python的电子书籍,所有电子书以网盘打包,免费分享给大家学习!福利在文末喔~
发表于 08-16 15:00
•596次阅读
优化Python代码有哪些工具
代码。 1. Jupyter Notebook:这个交互式笔记本工具允许您在浏览器中编写和运行Python代码,并以文档形式保存。Jupyter Notebook使得代码的测试和实验更
评论