我们在进行爬虫的时候，首先，最重要的也是请求问题，只有先做好请求，才可以进行之后的一系列操作，因此，要怎么去写这个内容呢？开始小编也不清楚要教大家如何去实现，直到有小伙伴说希望去了解urllib的请求操作，那就针对这个内容，给大家讲述下实现方式吧~
一、urllib
urllib作为Python的标准库，基本上涵盖了基础的网络请求功能。
二、发起POST请求
urlopen()默认的访问方式是GET，当在urlopen()方法中传入data参数时，则会发起POST请求。注意：传递的data数据需要为bytes格式。timeout参数还可以设置超时时间，如果请求时间超出，那么就会抛出异常。from urllib import request
resp = request.urlopen('http://httpbin.org/post', data=b'word=hello', timeout=10)
print(resp.read().decode())
1234
三、使用带参数的POST方法：>>> import urllib
>>> params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
>>> f = urllib.urlopen("http://www.musi-cal.com/cgi-bin/query", params)
>>> print f.read()
1234
以上就是关于post请求问题了，一共就几个步骤，大家可以直接把代码拿去跑程序试试呢~看下是不是满足大家的需求哦~如果还想查询其他内容，可以到云海天教程网了解下哈~

本例中所用数据封装格式为{“json”:json数据格式}，即
{"json":{"MSG":10000, "name" : "2015", "password": "123456"}}
开发环境 win7+Eclipse+Pydev，代码如下：
import urllib
import urllib2
class Interface_post():
    
    def __init__ (self, url, values, interfaceName):	
        self.url = url
        self.values = values
        self.interfaceName = interfaceName
           
    def _post(self):							
        json_val = {"json":self.values} 
        data = urllib.urlencode(json_val)				#对数据url编码
        
    try:     
            req = urllib2.Request(self.url)       			#post请求
            response = urllib2.urlopen(req, data)
            re = response.read()

            print "接口名字: ", self.interfaceName
            print "服务器响应代号：  ", response.getcode()
            print "服务器返回值为：  ",re

    except URLError, e:
            print e.reason
def regist():
	#regist = Interface_post(url,values,interfaceName)  		#实例化对象

	regist = Interface_post(

		  		'http://10.10.10.10:8080/working/regist', #网址

		  		 {
		   		  "MSG":10000, 
				  "name" : "2015", 
				  "password": "123456"
		  		 },					#数据
		  		"接口编号1,regist"			#其他参数	，用时调用 self.interfacaName

		 		)
	return regist._post()						#调用_post方法
def login():#..略
try:
    print "统计数据中---\n"
    regist()
    login()		#调用函数发送请求，响应慢时建议对多个接口使用多线程控制
except Exception, e:
    print e.reason





Python中文参数传递出错的一种解决办法：
详见http://blog.csdn.net/y396397735/article/details/47421719





本程序以爬取 'http://httpbin.org/post' 为例
格式：
导入urllib.request
导入urllib.parse
数据编码处理，再设为utf-8编码:  bytes(urllib.parse.urlencode({'word': 'hello'}), encoding = 'utf-8')
打开爬取的网页: response = urllib.request.urlopen('网址', data = data)
读取网页代码: html = response.read()
打印:
1.不decode
print(html) #爬取的网页代码会不分行，没有空格显示，很难看
2.decode
print(html.decode()) #爬取的网页代码会分行，像写规范的代码一样，看起来很舒服
查询请求结果：
a. response.status # 返回 200：请求成功  404：网页找不到，请求失败
b. response.getcode() # 返回 200：请求成功  404：网页找不到，请求失败
1.不decode的程序如下：import urllib.request
import urllib.parsse
data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding = 'utf-8')
response = urllib.request.urlopen(' data = data )
html = response.read()
print(html)
print("------------------------------------------------------------------")
print("------------------------------------------------------------------")
print(response.status)
print(response.getcode())
运行结果：
2.带decode的程序如下：import urllib.request
import urllib.parsse
data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding = 'utf-8')
response = urllib.request.urlopen(' data = data )
html = response.read()
print(html.decode())
print("------------------------------------------------------------------")
print("------------------------------------------------------------------")
print(response.status)
print(response.getcode())
运行结果：{
"args": {},
"data": "",
"files": {},
"form": {
"word": "hello"
},
"headers": {
"Accept-Encoding": "identity",
"Connection": "close",
"Content-Length": "10",
"Content-Type": "application/x-www-form-urlencoded",
"Host": "httpbin.org",
"User-Agent": "Python-urllib/3.4"
},
"json": null,
"origin": "106.14.17.222",
"url": "http://httpbin.org/post"
}
------------------------------------------------------------------
------------------------------------------------------------------
200
200
为什么要用bytes转换？
因为data = urllib.parse.urlencode({'word': 'hello'}) ##没有用bytes
response = urllib.request.urlopen('http://httpbin.org/post', data = data )
html = response.read()
错误提示：Traceback (most recent call last):
File "/usercode/file.py", line 15, in 
response = urllib.request.urlopen('http://httpbin.org/post', data = data )
File "/usr/lib/python3.4/urllib/request.py", line 153, in urlopen
return opener.open(url, data, timeout)
File "/usr/lib/python3.4/urllib/request.py", line 453, in open
req = meth(req)
File "/usr/lib/python3.4/urllib/request.py", line 1104, in do_request_
raise TypeError(msg)
TypeError: POST data should be bytes or an iterable of bytes. It cannot be of type str.
由此可见，post方式需要将请求内容用二进制编码。
classbytes([source[, encoding[, errors]]])
Return a new “bytes” object, which is an immutable sequence of integers in the range 0 <= x 
Accordingly, constructor arguments are interpreted as for bytearray().

import urllib.request
import urllib.parse

cname = input('请输入要查询的城市:')

post_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'
data = {
	'cname': cname,
	'pid': '',
	'pageIndex': '1',
	'pageSize': '10',
}
data = urllib.parse.urlencode(data).encode('utf8')
headers = {
	'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
}

request = urllib.request.Request(post_url, headers=headers)

response = urllib.request.urlopen(request, data=data)

print(response.read().decode('utf8'))