精华内容
下载资源
问答
  • URL结构详解

    千次阅读 2018-01-14 20:40:50
    URL(Uniform Resource Locator,统一资源定位符),作为网络资源的标准名称,使用一系列的信息标识来帮助我们定位网络资源,同时也告诉我们如何来获取资源。 实际上,URL是URI(Uniform Resource Identifier,统一...

    URL(Uniform Resource Locator,统一资源定位符),作为网络资源的标准名称,使用一系列的信息标识来帮助我们定位网络资源,同时也告诉我们如何来获取资源。

    实际上,URL是URI(Uniform Resource Identifier,统一资源标识符)的子集,URI作为一个基本概念,由URL和URN(Uniform Resource Name,统一资源名称)两部分组成。URL通过描述资源的位置来定位资源,而URN通过名字来查找资源,而不管资源是否被迁移。

    但是,目前URN使用非常少,为了更有效的工作,URN需要一个支撑架构来解析资源的位置;所以,几乎所有的URI都是URL,因此,一般的网页链接我们可以称之为URL。


    URL的一般格式为(“[]”内的为可选):

    protocol://hostname[:port]/path/[;parameters][?query]#fragment

    例如:

    http://www.imailtone.com:80/news/index.asp?name=tom&;age=20#resume

    从上面的URL可以看出,一个完整的URL包括以下几个部分:

    1.协议部分:指访问服务器获取资源时,需要使用哪种协议。常用的有http、https、ftp协议等。本例中http后面的“//“为分隔符。

    2.域名部分:指资源宿主服务器的主机名或IP地址。本例中的域名部分为:www.imailtone.com。URL中也可以使用IP作为域名。

    3.端口部分:域名和端口之间使用“:“作为分隔符,端口不是一个URL必须的部分。http服务的默认端口是80,这种情况下端口号可以省略,如果使用了其他端口必须知名,例如:http://www.cnblogs.com:90/

    注:80和8080是两种不同的端口。

    80端口是http协议开放的,该协议为上网冲浪次数最多的协议,主要用于www(world wide web)即万维网传输的协议。
    8080端口是被用于www代理服务的,可以实现网页浏览,经常在访问某个网站或者使用了代理服务时,会加上“:8080“端口号。另外,Apache Tomcat web server 安装后,默认的服务端口是8080。

    4.虚拟目录部分:该部分说明了资源位于服务器的什么地方。从域名后的第一个“/“开始到最后一个“/“为止,是虚拟目录部分。本例中的虚拟目录是“/news/”。

    5.文件名部分:从域名的最后一个”/“开始到”?“为止,是文件名部分。如果没有”?“,则是从域名后的最后一个“/”开始到“#”为止,是文件部分,如果没有“?”和“#”,那么从域名后的最后一个“/”开始到结束,都是文件名部分。文件名部分也不是一个URL必须的部分,如果省略该部分,则使用默认的文件名。本例中的文件名是“index.asp”。

    注:以上”4和5“的部分,就组成了path部分。

    6.参数部分:为了向应用程序提供他们所需要的输入参数,以便正确的与服务器进行交互。URL中有个参数组件,由字符”;“将其与URL的其余部分分隔。

    例如:”;type=7;nam=true“就是两个参数。

    ftp://prep.mit.edu/pub;type=7;nam=true

    7.查询部分:很多资源,比如数据库服务、搜索引擎,都可以通过提问问题或进行查询来缩小请求资源的范围。由字符串”?“将其与URL的其余部分分隔开来。从“?”开始到“#”为止之间的部分为参数部分。参数可以允许有多个,参数与参数之间用“&”作为分隔符。本例中的参数部分为“name=tom&;age=20”。

    9.锚部分:”#“代表网页中的一个位置,其右面的字符就是该位置的标识符(一般情况下,锚链接会用到)。从“#”开始到最后,都是锚部分。本例中的锚部分是“resume”。锚部分也不是一个URL必须的部分。



    参考文件链接:
    1.http://blog.csdn.net/youyounou/article/details/41073399
    2.http://blog.csdn.net/ergouge/article/details/8185219/
    3.http://blog.csdn.net/c1052981766/article/details/79010446

    展开全文
  • URL组成详解

    万次阅读 2018-06-02 22:36:11
    转自:https://blog.csdn.net/ergouge/article/details/8185219转自:http://www.cnblogs.com/woodyblog/p/6005414.htmlURL的组成格式最近在学习...URL组成格式图中中括号是可选项protocol 协议,常用的协议是httph...

    转自:https://blog.csdn.net/ergouge/article/details/8185219

    转自:http://www.cnblogs.com/woodyblog/p/6005414.html

    URL的组成格式

    最近在学习js的Ajax方面的内容,发现自己对基础的计算机网络知识认识不足,所以大概了解了下。

    URL组成格式

    Paste_Image.png
    图中中括号是可选项

    • protocol 协议,常用的协议是http
    • hostname 主机地址,可以是域名,也可以是IP地址
    • port 端口 http协议默认端口是:80端口,如果不写默认就是:80端口
    • path 路径 网络资源在服务器中的指定路径
    • parameter 参数 如果要向服务器传入参数,在这部分输入
    • query 查询字符串 如果需要从服务器那里查询内容,在这里编辑
    • fragment 片段 网页中可能会分为不同的片段,如果想访问网页后直接到达指定位置,可以在这部分设置

    关于域名的一些认识

    首先,我们要知道万维网不是网际网络,万维网只是运行在网际网络上的一个应用。它的功能就是能够实现网络资源之间的互访。最初的方式是通过IP地址来访问的,但是IP地址是计算机或计算机组的数字标识,对人类来讲不方便记忆,所以后来实现了一种字符标识的方法,也就是我们所说的域名。实现这种域名和IP地址映射的东西叫域名系统,它是一个分布式数据库,具体的查询方法可见下面的例子(引用自维基百科):

    以查询zh.wikipedia.org为例:

    • 客户端发送查询报文"query zh.wikipedia.org"至DNS服务器,DNS服务器首先检查自身缓存,如果存在记录则直接返回结果。
    • 如果记录老化或不存在,则
    1. DNS服务器向根域名服务器发送查询报文"query zh.wikipedia.org",根域名服务器返回.org域的权威域名服务器地址,这一级首先会返回的是顶级域名的权威域名服务器。
    2. DNS服务器向.org域的权威域名服务器发送查询报文"query zh.wikipedia.org",得到.wikipedia.org域的权威域名服务器地址。
    3. DNS服务器向.wikipedia.org域的权威域名服务器发送查询报文"query zh.wikipedia.org",得到主机zh的A记录,存入自身缓存并返回给客户端。

    URL和URI的区别

    URI是统一资源标识符,而URL是统一资源定位符,我们把URL理解为是URI的一个方法,而另一种方法是URN。

    引用自维基百科

    最后上一张我整理的mindmap

    这里要说一下,有两个名词的缩写都是DNS,域名系统(domain name system)和域名服务器(domain name server),下图也有说明。

    Paste_Image.png



    就以下面这个URL为例,介绍下普通URL的各部分组成

    http://www.aspxfans.com:8080/news/index.asp?boardID=5&ID=24618&page=1#name

    从上面的URL可以看出,一个完整的URL包括以下几部分:
    1、协议部分:该URL的协议部分为“http:”,这代表网页使用的是HTTP协议。在Internet中可以使用多种协议,如HTTP,FTP等等本例中使用的是HTTP协议。在"HTTP"后面的“//”为分隔符

    2、域名部分:该URL的域名部分为“www.aspxfans.com”。一个URL中,也可以使用IP地址作为域名使用

    3、端口部分:跟在域名后面的是端口,域名和端口之间使用“:”作为分隔符。端口不是一个URL必须的部分,如果省略端口部分,将采用默认端口80

    4、虚拟目录部分:从域名后的第一个“/”开始到最后一个“/”为止,是虚拟目录部分。虚拟目录也不是一个URL必须的部分。本例中的虚拟目录是“/news/”

    5、文件名部分:从域名后的最后一个“/”开始到“?”为止,是文件名部分,如果没有“?”,则是从域名后的最后一个“/”开始到“#”为止,是文件部分,如果没有“?”和“#”,那么从域名后的最后一个“/”开始到结束,都是文件名部分。本例中的文件名是“index.asp”。文件名部分也不是一个URL必须的部分,如果省略该部分,则使用默认的文件名

    6、锚部分:从“#”开始到最后,都是锚部分。本例中的锚部分是“name”。锚部分也不是一个URL必须的部分

    7、参数部分:从“?”开始到“#”为止之间的部分为参数部分,又称搜索部分、查询部分。本例中的参数部分为“boardID=5&ID=24618&page=1”。参数可以允许有多个参数,参数与参数之间用“&”作为分隔符。


    展开全文
  • 一个URL地址的组成结构

    千次阅读 2019-12-27 10:44:33
    URL的组成 包括:协议部分、端口部分、虚拟目录部分、文件名部分、参数部分、锚部分 1⃣️协议部分:如http、https、ftp都属于协议部分 2⃣️域名部分:如www.xiaomi.com,也可以使用ip地址作为域名使用 3⃣️...

    URL的组成

    包括:协议部分、端口部分、虚拟目录部分、文件名部分、参数部分、锚部分

     

    1⃣️协议部分:如http、https、ftp都属于协议部分

    2⃣️域名部分:如www.xiaomi.com,也可以使用ip地址作为域名使用

    3⃣️端口部分:跟在域名后的微端口,以“:”符号作为分隔符。端口部分不是必须的

    4⃣️虚拟目录部分:从域名后的第一个“/”到最后一个“/”是虚拟目录部分,也不是必须的

    5⃣️文件名部分:从域名的最后一个“/”到“?”为止,是文件名部分;如果没有“?”,则是从最后一个“/”到“#”为止是文件名部分;如果没有“?”和“#”,那么从域名后最后一个“/”到结束都是文件名部分。文件名部分也不是必须的部分

    6⃣️参数部分:从“?”开始到“#”为止之间的部分都是参数部分,又称搜索部分、查询部分。如“boardID=5&ID=24618&page=1”。参数可以允许有多个参数,参数与参数之间用“&”作为分隔符。

        如果没有"#"号,则"?"开始到结尾都是参数部分。

        如果不存在"?",则说明没有参数部分。

    7⃣️“#”后的都为锚点的,起到页面定位作用,但不回造成服务器请求

    展开全文
  • 什么是HTTP协议:  协议是指计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则,超文本传输协议(HTTP)是一种通信协议,它... ... ... 当我们打开浏览器,在地址栏中输入URL,然后我们就看到了网页。

    什么是HTTP协议

      协议是指计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则,超文本传输协议(HTTP)是一种通信协议,它允许将超文本标记语言(HTML)文档从Web服务器传送到客户端的浏览器

      目前我们使用的是HTTP/1.1 版本。

    Web服务器,浏览器,代理服务器

      当我们打开浏览器,在地址栏中输入URL,然后我们就看到了网页。 原理是怎样的呢?

      实际上我们输入URL后,我们的浏览器给Web服务器发送了一个Request, Web服务器接到Request后进行处理,生成相应的Response,然后发送给浏览器, 浏览器解析Response中的HTML,这样我们就看到了网页,过程如下图所示


    我们的Request 有可能是经过了代理服务器,最后才到达Web服务器的。过程如下图所示:


    代理服务器就是网络信息的中转站,有什么功能呢?

      1. 提高访问速度,大多数的代理服务器都有缓存功能。

      2. 突破限制,也就是翻墙了。

      3. 隐藏身份。


    URL详解:

    URL(Uniform Resource Locator) 地址用于描述一个网络上的资源,  基本格式如下:

    schema://host[:port#]/path/.../[;url-params][?query-string][#anchor]

    scheme              指定低层使用的协议(例如:http, https, ftp)

    host                   HTTP服务器的IP地址或者域名

    port#                 HTTP服务器的默认端口是80,这种情况下端口号可以省略。如果使用了别的端口,必须                           指明,例如 http://www.cnblogs.com:8080/

    path                   访问资源的路径

    url-params

    query-string      发送给http服务器的数据

    anchor-              锚


    HTTP协议是无状态的:

      http协议是无状态的,同一个客户端的这次请求和上次请求是没有对应关系,对http服务器来说,它并不知道这两个请求来自同一个客户端。 为了解决这个问题, Web程序引入了Cookie机制来维护状态.


    HTTP消息的结构:

      先看Request 消息的结构,   Request 消息分为3部分,第一部分叫请求行, 第二部分叫http header, 第三部分是body. header和body之间有个空行, 结构如下图

      第一行中的Method表示请求方法,比如"POST","GET",  Path-to-resoure表示请求的资源, Http/version-number 表示HTTP协议的版本号

      当使用的是"GET" 方法的时候, body是为空的。

    我们再看Response消息的结构, 和Request消息的结构基本一样。 同样也分为三部分,第一部分叫request line, 第二部分叫request header,第三部分是body. header和body之间也有个空行,  结构如下图

      HTTP/version-number表示HTTP协议的版本号,  status-code 是状态码,message 是状态码描述。



    展开全文
  • URL结构

    千次阅读 2017-02-16 15:09:26
    完整URL由这几个部分构成:scheme://host:port/path?query#hash: scheme:通信协议,常用的有http、https、ftp、mailto等。 host:主机域名或IP地址。 port:端口号,可选。省略时使用协议的默认端口,如http...
  • 知乎爬虫过程详解(附完整代码)

    万次阅读 多人点赞 2019-07-25 21:37:16
    项目流程:爬虫代码(Python)→非结构化数据(Mongo)→结构化数据(MySQL)→结构化数据(Access) 数据的爬取以知乎话题下内容为爬取对象。通过python设计实现了爬虫程序,对知乎问答社区的资料进行了爬取,作为研究问题...
  • 手把手教你利用爬虫爬网页(Python代码)

    万次阅读 多人点赞 2019-05-14 14:34:48
    通过上面的网络爬虫结构,我们可以看到读取URL、下载网页是每一个爬虫必备而且关键的功能,这就需要和HTTP请求打交道。接下来讲解Python中实现HTTP请求的三种方式:urllib2/urllib、httplib/urllib以及Requests。 1....
  • 一方面认为根据目录结构自动生成url虽然比较简单,少写了一些代码,但是无法通过控制器上标注的@RequestMapping中的参数直接看出url,代码的可读性不是太好。另一方面认为,这个方法大大的简化了我们代码的编写,...
  • URL结构分解

    千次阅读 2017-02-17 20:54:10
    完整URL由这几个部分构成:scheme://host:port/path?query#hash: scheme:通信协议,常用的有http、https、ftp、mailto等。 host:主机域名或IP地址。 port:端口号,可选。省略时使用协议的默认端口,如http默认...
  • 首页:www.abc.com/ 栏目页:www.abc.com/seo/ 文章页:www.abc.com/seo/1.html 将abc.com301重定向至www.abc.com首页地址唯一www.abc.com集中权重 http://qxu1587810490.my3w.com/ ...解决方法: 1、主机控...
  • 讲解URL首先我们要找个完整例子好做解释; 如:“http://www.baidu.com/index.html?name=mo&age=25#dowell”这算是一个比较完整URL了 ,我就拿这个为例作为讲 解; 这个URL 包括:协议部分、域名、端口.....
  • 基于URL特征的网站结构信息挖掘

    千次阅读 2013-03-25 21:27:15
    基于URL特征的网站结构信息挖掘 王晓飞11 (北京邮电大学模式识别实验室) 摘要:本章首先深入的研究了网站的结构URL的特征,然后制定了三元组节点的URL层次树的构建规则,利用建立的URL层次树描述网站的层次结构...
  • jQuery 获取URL, 拆分URL结构

    千次阅读 2014-12-24 11:57:48
    jQuery 获取URL, 拆分URL结构 在做网站的时候,经常会遇到对url进行分类,不同的url显示不同的布局或者让用户很清晰的知道当前在哪个页面。如果在每个不同页面写方法,工程量大,代码重复率太高,也不便于修改。...
  • Python爬虫基础-01-带有请求参数的爬虫

    万次阅读 多人点赞 2018-06-06 19:06:23
    在上一篇文章Python爬虫入门中,Python爬虫程序爬取了指定网页的信息,爬虫发出的请求是一个固定的URL和部分请求信息,并没有请求参数,但是爬虫工作过程中发出的请求一般都需要加上请求参数,以完成对指定内容的...
  • C#分析URL结构

    千次阅读 2014-10-21 14:23:41
    今天程序里需要对URL分析,网上查询了一下,很多人使用正则表达式、或字符串分隔实现。实际C#的Uri类已经实现了
  • 完整渲染过程——从URL到页面

    千次阅读 2017-10-06 10:52:17
    当用户输入一串URL(统一资源定位符)到完整的页面渲染出来,到底经历了什么呢~下面我来描述一下整个过程。 先列出他的大致流程: 浏览器根据请求的URL交给DNS域名解析,找到真实的IP,向服务器发起请求; 服务器...
  • URL的语法

    千次阅读 2019-07-17 15:49:28
    URL的语法 URL与URI很像,两者的格式几乎差不多,但是我们接触的还是URL比较多,就以URL为例说明 URL提供了一种访问定位因特网上任意资源的手段,但是这些资源可以通过不同的方法(例如HTTP、FTP、SMTP)来访问,...
  • url_list = get_url_list(start_url) print("开始爬取") get_data(url_list, wordType) print("一种类型爬取完毕") print("全部爬取完毕") finally: connection.close() 在这里的关键词我简单的选了几个,...
  • 全网采集壁纸360网站全网壁纸

    万次阅读 热门讨论 2020-01-02 12:59:05
    url1[0][-2:] + "/" +url1[0] + ".jpg" 最后一个的话可能就是翻页问题了,观察一下倒数第二页和最后一页的网页结构 所以采集页数和终止条件如下: 3.整体代码: 采集最高清的图片,本人采集用了代理,我不确定不用...
  • URL 设计常识

    千次阅读 2017-12-03 22:19:42
    URL的设计。 URL(资源定位符)用来指定方向 URL指向的东西可以和URL名称上毫无关系,但是可以通过URL访问到。
  • 静态、动态、伪静态的URL结构到底哪种更利于SEO 时间: 2012-03-28 / 分类: SEO经验交流 / 浏览次数: / 70个评论 发表评论 静态、动态、伪静态的URL结构到底哪种更利于SEO 如果对SEO有了解的朋友都应该比较清楚,...
  • URL拼接规则 js解析URL中参数

    千次阅读 2017-09-13 15:16:44
    1.URL拼接规则 例子:detail.html?title=新闻标题&name=新闻名字 拼接规则:在路径末尾以一个“?”开头后接“参数名1=参数值1”&“参数名2=参数值2”········ 总结:拼接位置:路径末尾 ,其中只有...
  • C语言URL解析器(代码分享)

    千次阅读 2016-06-12 21:07:24
    C语言URL解析器(代码分享)  By qianghaohao(Xqiang)  本程序可以解析出URL中每个字段的然后存入结构体  中.也可以调用提供的API只获取需要的部分.  本URL解析器代码来自https://github.com/jwerle/url.h  在...
  • JAVA上百实例源码以及开源项目

    千次下载 热门讨论 2016-01-03 17:37:40
    Java日期选择控件完整源代码 14个目标文件 内容索引:JAVA源码,系统相关,日历,日期选择  Java语言开发的简洁实用的日期选择控件,源码文件功能说明:  [DateChooser.java] Java 日期选择控件(主体类) [public]  ...
  • 一个完整react项目的目录结构

    万次阅读 多人点赞 2018-12-26 00:22:15
    2.create-react-app自动生成的webpack中集成了:eslint(代码检测)、url-loader(图片BASE64 [小于10000kb的图片])、babel-loader(ES6和JSX语法解析)、style-loader、css-loader(CSS代码解析)、...
  • 浏览器中url的组成部分详解

    千次阅读 2018-06-24 22:37:59
    一: 什么是URL 书籍有 ISBN 号,公交车有...URL 是通过描述资源的位置来标识资源的,而 URN 则是通过名字来识别资源的,与它们当前所处位置无关。那么看一下它的组成部分二:URL的组成部分 例如:https://www...
  • URL详解

    千次阅读 2016-02-29 22:29:16
    一,URL结构 例如:scheme://login:password@address:port/path/to/resource?query_string#fragment。这是一个符合规范的绝对URL,它包括了访问特定资源所需要的全部信息,绝对URL和访问时的状态无关,与之相...
  • 认为,一个网站的url结构应该清晰、层次分明具有指示性。无忧主机结合seo教程,结合案例来说说网站url结构设计的一些规范,使网站url符合seo优化标准,更具有阅读性。 本教程针对所有目前主流cms开源网站,而且网站...
  • 干货 | Logstash Grok数据结构化ETL实战

    千次阅读 2019-07-13 13:15:06
    0、题记 日志分析是ELK起家的最核心业务场景之一。 如果你正在使用Elastic Stack...本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。 1、认知前提 老生常谈,夯实基础认知。 ELK Stac...
  • url 命名规范

    千次阅读 2020-05-19 13:32:58
    1、网站URL结构已经成为网站搜索引擎友好的最大基础性问题,网站URL结构问题,早发现早优化,越是往后放,最后就成了制约网站运营和产品开发的决定性因素。 2、无论是网站的可用性还是网站对搜索引擎的吸引力,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 703,521
精华内容 281,408
关键字:

url完整结构