-
2022-04-01 21:56:46
📢📢📢📢📢📢
哈喽!大家好,我是 【梦想橡皮擦】,10 年产研经验,致力于 Python 相关技术栈传播 💗
🌻 本文如果觉得不错,动动小手点个赞赞吧 👍
🌻 本文如果发现错误,欢迎在评论区中指正哦 💗
👍 技术博客日更者,我喜欢写文章,如果任意一篇文章对你有帮助,就挺好的~ 👍
📣📣📣📣📣📣欢迎大家订阅专栏 ⭐️ ⭐️ 《Python 爬虫 120》⭐️ ⭐️
📆 最近更新:2022 年 3 月 23 日,橡皮擦的第 610 篇原创博客
文章目录
⛳️ 实战案例场景
这篇博客涉及的知识点很小,就是为了获取 HTTP 响应数据,其中包括响应头和响应体两部分内容,如果配合开发者工具查阅,本文对应的数据查看地址如下所示:
更多相关内容 -
js获取网络时间(axios获取响应头时间)
2021-01-19 14:47:25由于new Date获取的是客户本地时间,有些情况下我们需要获取网络时间,避免用户更改本地时间而产生的某些功能冲突,则我们可以通过如下方法从浏览器获取我们服务器上的时间! 你也可以获取不同网址上的时间,如:...js 获取网络时间:
由于
new Date
获取的是客户本地时间,有些情况下我们需要获取网络时间,避免用户更改本地时间而产生的某些功能冲突,则我们可以通过如下方法从浏览器获取我们服务器上的时间! 你也可以获取不同网址上的时间,如:www.baidu.com
const request = new XMLHttpRequest(); request.open("GET", "/", true); // 中间参数可以改成 www.baidu.com request.send(); //该属性每次变化时会触发 request.onreadystatechange = function(){ if(request.readyState === 4 && request.status === 200){ console.log(request.getResponseHeader("Date")) //请求服务器的响应时间 console.log(Date.parse(request.getResponseHeader("Date"))) //获取到的时间戳 } }
同步获取:(封装获取网络时间方法)
方法一:
axios 获取服务器时间
response.header.date
扩展:(axios 请求头缺失date的原因)
需要服务端设置字段:Access-Control-Expose-Headers
https://github.com/axios/axios/issues/606
https://stackoverflow.com/questions/37897523/axios-get-access-to-response-header-fields没有设置请求头缺失 如下:
// { content-type: "application/json; charset=utf-8", cache-control: "max-age=0, private, must-revalidate" }
方法二:
// 封装同步获取获取网络时间方法 function getServerTime(){ return new Promise((resolve) => { const request = new XMLHttpRequest() request.open("GET", "/", true) request.send() request.onreadystatechange = function(){ const serverTime = request.getResponseHeader("Date") if (serverTime) { resolve(Date.parse(serverTime)) } else { resolve(new Date().valueOf()) //没网情况获取本地时间 } } }) } //使用 getServerTime().then((time) => { console.log(time) })
-
python requests获取服务器响应时间
2021-03-05 14:28:35requests.get(url=url).elapsed.total_seconds() #时间为秒 可以获取从发起请求到服务器响应的时间 如,延时响应一秒,获取服务器响应时间 延时响应3秒,获取服务器响应时间requests.get(url=url).elapsed.total_seconds() #时间为秒
可以获取从发起请求到服务器响应的时间
如,延时响应一秒,获取服务器响应时间
延时响应3秒,获取服务器响应时间
-
http/https监控获取响应时间(DNS解析时间,RRT时间,服务器处理时间等)
2020-10-20 17:24:46有时候为了测试网络情况,需要返回每个阶段的耗时时间,比如DNS解析耗时,建立连接所消耗的时间,从建立连接到准备传输所使用的时间,从建立连接到传输开始所使用的时间,整个过程耗时,下载的数据量,下载速度,...有时候为了测试网络情况,需要返回每个阶段的耗时时间,比如DNS解析耗时,建立连接所消耗的时间,从建立连接到准备传输所使用的时间,从建立连接到传输开始所使用的时间,整个过程耗时,下载的数据量,下载速度,上传数据量,上传速度等等
有时候为了测试网络情况,需要返回每个阶段的耗时时间,比如DNS解析耗时,建立连接所消耗的时间,从建立连接到准备传输所使用的时间,从建立连接到传输开始所使用的时间,整个过程耗时,下载的数据量,下载速度,上传数据量,上传速度等等。下面的脚本获取以上信息:
CURL的资料参见: http://curl.haxx.se/libcurl/c/curl_easy_getinfo.html
###################################
### author: www.ttlsa.com ###
### QQ群: 39514058 ###
### E-mail: service@ttlsa.com ###
###################################
use strict;
use Data::Dumper;
use WWW::Curl::Easy;if(!@ARGV){
print "Usaging: $0 url\n";
print "For example: $0 www.ttlsa.com\n";
exit;
}my $curl = new WWW::Curl::Easy;
open my $response_body,">/dev/null";
$curl->setopt(CURLOPT_HEADER,1);
$curl->setopt(CURLOPT_URL, $ARGV[0]);
$curl->setopt(CURLOPT_WRITEDATA,\$response_body);
$curl->perform;
my $err = $curl->errbuf;
if(!$err){
my $st = &getTime;
my $http_code = $curl->getinfo(CURLINFO_RESPONSE_CODE);
my $http_dns_time = $curl->getinfo(CURLINFO_NAMELOOKUP_TIME);
my $http_conn_time = $curl->getinfo(CURLINFO_CONNECT_TIME);
#my $http_APP_time = $curl->getinfo(CURLINFO_APPCONNECT_TIME);
my $http_PRE_TRAN_time = $curl->getinfo(CURLINFO_PRETRANSFER_TIME);
my $http_START_TRAN_time = $curl->getinfo(CURLINFO_STARTTRANSFER_TIME);
my $http_TOTAL_time = $curl->getinfo(CURLINFO_TOTAL_TIME);
my $http_SIZE_DOWN = $curl->getinfo(CURLINFO_SIZE_DOWNLOAD);
my $http_SPEED_DOWN = $curl->getinfo(CURLINFO_SPEED_DOWNLOAD);printf "local_time: %s, http_code: %d, dns_time: %.3fms, conn_time: %.3fms, pre_tran_time: %.3fms, start_tran_time: %.3fms, total_time: %.3fms, size_download: %dB, speed_download: %dB/s",($st,$http_code,$http_dns_time,$http_conn_time,$http_PRE_TRAN_time,$http_START_TRAN_time,$http_TOTAL_time,$http_SIZE_DOWN,$http_SPEED_DOWN);
write;format STDOUT_TOP=
站点各类响应时间明细-@||
$%
=========================
+---------------------+------+-------------+--------------+--------------------------+------------------------+-------------+-----------+------------+
| 本地时间 | 状态 | DNS解析时间 | 建立连接时间 | 从建立连接到准备传输时间 |从建立连接到开始传输时间| 整个过程时间| 下载数据量|平均下载速度|
+---------------------+------+-------------+--------------+--------------------------+------------------------+-------------+-----------+------------+
.format STDOUT=
|@<<<<<<<<<<<<<<<<<<<<| @<<<<| @<<<<<<<<<<<| @<<<<<<<<<<<<| @<<<<<<<<<<<<<<<<<<<<<<<<| @<<<<<<<<<<<<<<<<<<<<<<| @<<<<<<<<<<<| @<<<<<<<<<| @<<<<<<<<<<|
$st,$http_code,$http_dns_time."ms",$http_conn_time."ms",$http_PRE_TRAN_time."ms",$http_START_TRAN_time."ms",$http_TOTAL_time."ms",$http_SIZE_DOWN."B",$http_SPEED_DOWN."B/s"
+---------------------+------+-------------+--------------+--------------------------+------------------------+--------------+----------+------------+
.
}else{
print "Error: $err\n";
}sub getTime()
{
my @time=(localtime)[5,4,3,2,1,0];
$time[0]+=1900;
$time[1]+=1;
return sprintf("%04u-%02u-%02u %02u:%02u:%02u",@time);
}
shell命令下也有相同的命令如下所示:
# curl -o /dev/null -s -w %{http_code}:%{http_connect}:%{time_namelookup}:%{time_connect}:%{time_pretransfer}:%{time_starttransfer}:%{time_total}:%{size_download}:%{speed_download} www.ttlsa.com
不解释了,具体参见 man curl
使用 cURL 获取站点的各类响应时间 – dns解析时间,响应时间,传输时间
curl -o /dev/null -s -w %{http_code}:%{http_connect}:%{content_type}:%{time_namelookup}:%{time_redirect}:%{time_pretransfer}:%{time_connect}:%{time_starttransfer}:%{time_total}:%{speed_download} digdeeply.org
这是一个本人博客站点执行 curl 命令的情况。输出通常是 HTML 代码,通过 -o 参数发送到 /dev/null。-s 参数去掉所有状态信息。-w 参数让 curl 输出的计时器的状态信息。
一次http请求中的各个时间段-dns解析,等待服务器响应,获取内容等
下边对-w参数做个详细的解释,由我(DigDeeply)翻译。有不对的地方请大家指出。(英文原文:http://curl.haxx.se/docs/manpage.html)
以下是可用的变量名:
-w, --write-out
以下变量会按CURL认为合适的格式输出,输出变量需要按照%{variable_name}的格式,如果需要输出%,double一下即可,即%%,同时,\n是换行,\r是回车,\t是TAB。
url_effective The URL that was fetched last. This is most meaningful if you've told curl to follow location: headers.
filename_effective The ultimate filename that curl writes out to. This is only meaningful if curl is told to write to a file with the --remote-name or --output option. It's most useful in combination with the --remote-header-name option. (Added in 7.25.1)
http_code http状态码,如200成功,301转向,404未找到,500服务器错误等。(The numerical response code that was found in the last retrieved HTTP(S) or FTP(s) transfer. In 7.18.2 the alias response_code was added to show the same info.)
http_connect The numerical code that was found in the last response (from a proxy) to a curl CONNECT request. (Added in 7.12.4)
time_total 总时间,按秒计。精确到小数点后三位。 (The total time, in seconds, that the full operation lasted. The time will be displayed with millisecond resolution.)
time_namelookup DNS解析时间,从请求开始到DNS解析完毕所用时间。(The time, in seconds, it took from the start until the name resolving was completed.)
time_connect 连接时间,从开始到建立TCP连接完成所用时间,包括前边DNS解析时间,如果需要单纯的得到连接时间,用这个time_connect时间减去前边 time_namelookup时间。以下同理,不再赘述。(The time, in seconds, it took from the start until the TCP connect to the remote host (or proxy) was completed.)
time_appconnect 连接建立完成时间,如SSL/SSH等建立连接或者完成三次握手时间。(The time, in seconds, it took from the start until the SSL/SSH/etc connect/handshake to the remote host was completed. (Added in 7.19.0))
time_pretransfer 从开始到准备传输的时间。(The time, in seconds, it took from the start until the file transfer was just about to begin. This includes all pre-transfer commands and negotiations that are specific to the particular protocol(s) involved.)
time_redirect 重定向时间,包括到最后一次传输前的几次重定向的DNS解析,连接,预传输,传输时间。(The time, in seconds, it took for all redirection steps include name lookup, connect, pretransfer and transfer before the final transaction was started. time_redirect shows the complete execution time for multiple redirections. (Added in 7.12.3))
time_starttransfer 开始传输时间。在发出请求之后,Web 服务器返回数据的第一个字节所用的时间(The time, in seconds, it took from the start until the first byte was just about to be transferred. This includes time_pretransfer and also the time the server needed to calculate the result.)
size_download 下载大小。(The total amount of bytes that were downloaded.)
size_upload 上传大小。(The total amount of bytes that were uploaded.)
size_header 下载的header的大小(The total amount of bytes of the downloaded headers.)
size_request 请求的大小。(The total amount of bytes that were sent in the HTTP request.)
speed_download 下载速度,单位-字节每秒。(The average download speed that curl measured for the complete download. Bytes per second.)
speed_upload 上传速度,单位-字节每秒。(The average upload speed that curl measured for the complete upload. Bytes per second.)
content_type 就是content-Type,不用多说了,这是一个访问我博客首页返回的结果示例(text/html; charset=UTF-8);(The Content-Type of the requested document, if there was any.)
num_connects Number of new connects made in the recent transfer. (Added in 7.12.3)
num_redirects Number of redirects that were followed in the request. (Added in 7.12.3)
redirect_url When a HTTP request was made without -L to follow redirects, this variable will show the actual URL a redirect would take you to. (Added in 7.18.2)
ftp_entry_path The initial path libcurl ended up in when logging on to the remote FTP server. (Added in 7.15.4)
ssl_verify_result ssl认证结果,返回0表示认证成功。( The result of the SSL peer certificate verification that was requested. 0 means the verification was successful. (Added in 7.19.0))
若多次使用-w参数,按最后一个的格式输出。If this option is used several times, the last one will be used. -
Ajax获取Http的响应头
2018-05-19 23:44:26$.ajax({ type: 'HEAD', // 获取头信息,type=HEAD即可 url : window.location.href, complete: function( xhr,data ){ // 获取相关Http Response header var wpoInfo = { // 服务器端时间 ... -
umi.request获取响应头headers里面的内容
2021-10-22 14:47:08在请求的标头里面,响应头中,是函数个参数名叫date的参数,它是本条请求发送到服务器,服务器返回时所记录的时间,但是!请注意!,这里的date时间时世界时间,也就是说,这个时间不是北京时间,不能直接拿来用,... -
如何获取服务器当前时间
2017-05-08 17:25:04原理:获取服务器返回的头部信息中的Date属性 由于得到的是GMT(格林尼治时间) 所以要转换成东八区的时间 这个就是响应服务器的当前时间。 //首先设置时区为东八区,也就是我国的标准时间所在区.Asia/Hong_... -
路由器服务器无响应怎么办
2021-08-01 07:48:41路由器服务器无响应的解决办法有:1、先确认下不接路由,宽带线直接连接电脑是否需要拨号上网,如果需要路由上网方式选择ADSL拨号,如果不需要拨号就可以上网,路由上网方式选择自动获取。2、如果是有光猫,看下是否... -
获取WEB各阶段响应时间
2018-09-20 20:02:10【web性能】Web performance 获取web各个阶段响应时间:DNS解析时间、TCP建立连接时间、首页白屏时间、dom渲染完成时间、页面onload时间等 准确地测量web应用程序的性能特性是使web应用程序更快的一个重要方面 ... -
C# 获取页面的响应时间
2014-10-22 11:19:07//响应时间.(毫秒) } } 用WebBrowser打开: 为WebBrowser添加Navigating和DocumentCompleted事件. 分别在两个方法中记录当前时间.最后用DocumentCompleted-Navigating的时间差即为响应时间 -
dhcp服务器没有响应
2021-08-08 05:02:51dhcp服务器没有响应 内容精选换一换ELB与后端服务器建立连接后,四层和七层监听器的默认超时时间如表1所示,修改超时时间的操作请参见修改监听器。共享型负载均衡支持配置和修改TCP/HTTP/HTTPS的超时时间,不支持UDP... -
深入理解OkHttp源码(二)——获取响应
2016-11-17 21:22:34从上面的代码可以看出,创建了streamAllocation对象,streamAllocation负责为连接分配流,接下来调用传进来的chain参数继续获取响应,可以看到如果获取失败了,在各个异常中都会调用recover方法尝试恢复请求,从响应... -
python 服务器和客户端 学习http请求和响应报文头
2017-09-29 15:23:03学习《计算机网络自顶向下方法》时的一个课后小作业,一个简单的python 服务器和客户端,主要是为了学习和体验http请求和响应的首部。计算机网络自顶向下方法作业,python服务器和客户端 -
自定义设置HTTP响应头
2018-12-29 11:24:57HTTP消息头准确描述了正在获取的资源、服务器或客户端的行为,定义了HTTP事务中的具体操作参数。 在HTTP消息头中,按其出现的上下文环境,分为通用头、请求头、响应头等。HTTP响应头参数可供自定义取值,参数解释... -
HTTP中的请求头和响应头属性解析
2021-12-03 22:41:34文章目录HTTP中的请求头和响应头属性解析General Headers 通用信息头Response Headers 响应头Request Headers 请求头 General Headers 通用信息头 Response Headers 响应头 Request Headers 请求头 ... -
iOS开发之HTTP的请求头和响应头 以及常见的响应状态码
2017-08-24 19:10:44*************请求头************** 请求头:包含了对客户端的环境描述、客户端请求信息等 ...Host: 120.25.226.186:32812 //客户端想访问的服务器主机地址 User-Agent: Mozilla/5.0 //客户端的类型, -
js向服务器发送请求,获取服务器时间
2017-11-10 15:09:35获取响应头里的时间戳 time = xhr.getResponseHeader("Date" ); console.log(xhr.getAllResponseHeaders()) curDate = new Date(time); document.getElementById( "time").innerHTML = "服务器时间是:"+... -
dns服务器未响应【操作方向】
2021-08-07 04:08:26虽然电脑已经很普遍了,但是...dns服务器未响应具体处理方法如下:DNS服务器未响应是什么意思问:我是WIN7的系统,用无线连接网络,前段时间还能一直连上,这段时间一连...答:在这种情况下,首先要做的是查看其他人... -
通过CURL获取站点的各类响应时间(DNS查询时间、SSL时间、首包时间等)
2018-12-05 10:41:16由于我们拥有较多的服务器,因而如何尽快地知道服务器上的某项服务是否挂了就是一个运维人员需要解决的问题。基本的想法就是开发一个监控服务,我将其取名ServerDog,设置Service模块,其会按照设定的频率与各种服务... -
js获取response header响应头信息
2019-10-03 13:25:20$.ajax({ type: 'HEAD', // 获取头信息,type=HEAD即可 url : window.location.href, //url:"http://device.qq.com/cgi-bin/device_cgi/remote_bind_get_Verify", complete: function( xhr,data ){ ... -
curl获取响应时间及常用方法
2018-09-21 11:56:073、监控网页的响应时间 curl -o /dev/null -s -w "time_connect: %{time_connect}\ntime_starttransfer: %{time_starttransfer}\ntime_total: %{time_total}\n" "http://www.htcview.com" time_connect: 0.015 ... -
【CSDN实训】HTTP与HTTPS以及HTTP协议的请求头与响应头
2021-11-22 22:18:17HTTP与HTTPS以及HTTP协议的请求头与响应头HTTP与HTTPSHTTP请求头和响应头,请求方式及响应码请求报文请求行请求头响应报文状态行HTTP响应头 HTTP与HTTPS HTTP:超文本传输协议(HyperText Transfer Protocol),是... -
Android系列之网络(二)----获取HTTP请求头与响应头
2015-11-17 14:35:15Date头域表示消息发送的时间,服务器响应中要包含这个头部,因为缓存在评估响应的新鲜度时要用到,其时间的描述格式由RFC822定义。例如,Date:Mon, 31 Dec 2001 04:25:57 GMT。Date描述的时间表示世界标准时,换算... -
JavaWeb - 常用的HTTP请求头与响应头
2018-06-25 10:32:52一、HTTP头引入:正确的设置HTTP头部信息有助于搜索引擎判断网页及提升网站访问速度。...服务器以一个状态行作为响应,相应的内容包括消息协议的版本,成功或者错误编码加上包含服务器信息、实体元信息以及... -
asp.net Cookie请求头以及响应头值的获取
2015-04-29 16:20:05今天再次运行项目时发现报错了,单步运行程序发现Cookie的名字竟然变化了,前面的文章是把name写死了,显然不行,需要动态获取Cookie的name以及value。在开始解决问题之前,我们还是先简单了解一下Cookie的基础知识... -
C#如何获取服务器时间
2015-08-21 15:45:14因为获取网络标准时间,不仅很慢而且有时会获取不了出错/没响应,所以可以选择简单而快速地获取服务器时间。 只需 写SQL语句 select getdate() -
python发送请求给服务器参数传递方式以及服务器响应方式
2022-03-26 09:21:05python发送请求给服务器参数传递方式以及服务器响应方式1、(一) 关于json相关内容参考 1、(一) 客户端请求方式: 如下:其中image_crop是ndarray类型的图像片段列表,传输前利用tolist()方法转换成了list格式 ... -
Android基础入门教程——7.1.2 Android Http请求头与响应头的学习
2015-09-07 14:39:36Android基础入门教程——7.1.2 Android Http请求头与响应头的学习标签(空格分隔): Android基础入门教程本节引言: 上节中我们对Android涉及的网络编程进行了了解,也学习了下Http的基本概念,而本节我们 要... -
说说HTTP缓存Cache-Control响应头
2022-02-20 16:36:01先看下响应头Cache-Control的一些常见用法。 第一种:Cache-Control:max-age=N 浏览器获取到资源内容后,将资源内容缓存在本地,缓存有效期是N秒。 若过期前再次访问资源,直接使用本地缓存;过期后再访问,则向... -
Request Headers 和Response Headers——请求头和响应头
2020-11-25 17:22:19作为一个前端开发工程师看不懂每条请求的请求头和响应头,实在是一件很难受的事情。最近花了一些时间整理了一篇文档,一起来看看前后端交互时每个资源的信息。 谷歌浏览器调试工具——查看请求资源的信息数据 通过...