展开全部
Ajax 技术是一种在无需重新加载整个网页的情62616964757a686964616fe58685e5aeb931333365633964况下，能够更新部分网页的技术，在这种技术的情况下，虽然网页的地址没有变化，但并不代表客户端与服务器没有进行数据的请求与接收。
对于此类网页，如果想要采集数据，通常需要找到 ajax 向服务器发送的数据请求 url，比如，如下的 ajax 请求数据的代码(JQuery)：//ajax 带参数请求数据
$(function () {
$("#btnName").click(function () {
var strname = $("#txtName").val();
$.ajax({
type: "post",
contentType: "application/json",
url: "demo.aspx/getName",  //ajax访问的网址
data: "{strName:'" + strname + "'}",
contentType: "application/json",
success: function (result) {
alert(result.d);
}
})
})
});
其中的 url 就是采集时的地址，而 data 就是返回值(通常为 JSON 格式)。
要找到 ajax 这些 url ，可以查看网页源代码(ajax 代码通常会写在客户端)，也可以直接用网络监控工具，如 chrome 中的“开发者工具”，查看发送的各种请求。

在初学爬虫（二）：爬取静态网页之（2）获取网页响应内容——requests.get()函数中讲解了如何使用requests函数获取网页响应内容。

但是，有些网页不能如上直接被获取，而是需要对requests中的参数进行设置才能获取需要的数据。
1、设置传递URL（网络地址）参数
如果需要请求获取特定的数据，就需要在URL（网络地址）的查询字符串中加入一些数据来实现。

在requests中，直接使用params参数就可以实现设置URL参数：
import requests

key_dict = {'k1': 'v1', 'k2': 'v2'} #创建一个字典
r = requests.get('http://httpbin.org/get', params=key_dict) #用params参数将字典内容构建到URL中
print ("设置URL参数后的网址:", r.url)
print ("设置URL参数后的网址的内容: \n", r.text)


原网址http://httpbin.org/get内容：



设置URL参数后的网址http://httpbin.org/get?k1=v1&k2=v2内容：



可以发现我们设置的参数内容已经加进了网页的内容中。
2、自定义请求头
（1）怎么找请求头？
以找谷歌浏览器的请求头为例：
进入谷歌浏览器在页面右键 > 检查 > 选择network



在name栏中任意选择一项

例如我这里选择第一项：

在新出现的菜单栏中选择headers > request headers



滑到最下面出现的user-agent即为谷歌浏览器的请求头



查看其它浏览器的请求头与上述方法相似！！！
（2）自定义请求头
import requests #导入requests库

#更改请求头
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36',#伪装为谷歌浏览器

#使用requests.get()函数获取指定网页的内容，返回的是一个response相应对象（里面存储了服务器相应的内容）
r = requests.get('https://www.csdn.net/', headers=headers) #获取目标网页内容

print("服务器内容使用的文本编码：",r.encoding)
print("状态响应码：",r.status_code)#返回200，表示请求成功；返回4xx，表示客户端错误；返回5xx，表示服务器错误响应。
print("服务器响应的内容：\n",r.text)
}


由上图可知我们成功的爬取了目标网页的内容。

java如何使用session或cookie记录当前浏览网页的地址，并能在登陆后直接返回到该页面？
java如何使用session或cookie记录当前浏览网页的地址，并能在登陆后直接返回到该页面？

Java session Cookie
分享到：


------解决方案--------------------
/**
   * 获取完整的URL
   * @param request
   * @return
   */
  public static String getRequestURL(HttpServletRequest request) {
    if (request == null) {
      return "";
    }

    String url = "";
    url = request.getContextPath();
    url = url + request.getServletPath();

    java.util.Enumeration names = request.getParameterNames();
    int i = 0;
//    String requestPageUrl = "";
    if (names != null) {
      while (names.hasMoreElements()) {
        String name = (String) names.nextElement();
        if (name.equals("requestPageUrl") 
------解决方案--------------------
 name.indexOf("log") != -1) {
//          requestPageUrl = request.getParameter(name);
          continue;
        }

        if (i == 0) {
          url = url + "?";
        }
        else {
          url = url + "&";
        }
        i++;

        String value = request.getParameter(name);
        if (value == null) {
          value = "";
        }

        url = url + name + "=" + value;
      }
    }

    try {
      java.net.URLEncoder.encode(url, "ISO-8859");
    }
    catch (Exception e) {

    }
    return url;
}
在前台jsp里面隐含一个<input type="hidden" name="requestUrl" >
在提交的后台action 或则 servlet中，调用我刚写的这个方法，就可以把当前的url放到 requestUrl里了啊，登陆后在跳到这个url就可以了 

php怎么get网址
PHP实现获取url--地址参数详解：
//获取域名或主机地址echo $_SERVER['HTTP_HOST']."
"; #localhost//获取网页地址echo $_SERVER['PHP_SELF']."
"; #/blog/testurl.php//获取网址参数echo $_SERVER["QUERY_STRING"]."
"; #id=5//获取用户代理echo $_SERVER['HTTP_REFERER']."
";//获取完整的urlecho 'http://'.$_SERVER['HTTP_HOST'].$_SERVER['REQUEST_URI'];echo 'http://'.$_SERVER['HTTP_HOST'].$_SERVER['PHP_SELF'].'?'.$_SERVER['QUERY_STRING'];#http://localhost/blog/testurl.php?id=5//包含端口号的完整urlecho 'http://'.$_SERVER['SERVER_NAME'].':'.$_SERVER["SERVER_PORT"].$_SERVER["REQUEST_URI"];# http ://localhost:80/blog/testurl.php?id=5//只取路径$url='http://'.$_SERVER['SERVER_NAME'].$_SERVER["REQUEST_URI"];echo dirname($url);因此获取网址可以通过'http://'.$_SERVER['HTTP_HOST'].$_SERVER['PHP_SELF'].'?'.$_SERVER['QUERY_STRING'];。