精华内容
下载资源
问答
  • Java获取网页代码

    千次阅读 2013-10-06 16:01:20
    Java获取网页代码

    Java获取网页源代码

    public class HtmlParser {
    
    	public static String getHtmlContent(URL url, String encode) {
    			StringBuffer contentBuffer = new StringBuffer();
    
    			int responseCode = -1;
    			HttpURLConnection con = null;
    			try {
    				con = (HttpURLConnection) url.openConnection();
    				con.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");// IE代理进行下载
    				con.setConnectTimeout(60000);
    				con.setReadTimeout(60000);
    				// 获得网页返回信息码
    				responseCode = con.getResponseCode();
    				if (responseCode == -1) {
    					System.out.println(url.toString() + " : connection is failure...");
    					con.disconnect();
    					return null;
    				}
    				if (responseCode >= 400) // 请求失败
    				{
    					System.out.println("请求失败:get response code: " + responseCode);
    					con.disconnect();
    					return null;
    				}
    
    				InputStream inStr = con.getInputStream();
    				InputStreamReader istreamReader = new InputStreamReader(inStr, encode);
    				BufferedReader buffStr = new BufferedReader(istreamReader);
    
    				String str = null;
    				while ((str = buffStr.readLine()) != null)
    					contentBuffer.append(str);
    				inStr.close();
    			} catch (IOException e) {
    				e.printStackTrace();
    				contentBuffer = null;
    				System.out.println("error: " + url.toString());
    			} finally {
    				con.disconnect();
    			}
    			return contentBuffer.toString();
    		}
    
    		public static String getHtmlContent(String url, String encode) {
    			if (!url.toLowerCase().startsWith("http://")) {
    				url = "http://" + url;
    			}
    			try {
    				URL rUrl = new URL(url);
    				return getHtmlContent(rUrl, encode);
    			} catch (Exception e) {
    				e.printStackTrace();
    				return null;
    			}
    		}
    		
    		public static void main(String argsp[]){
    			System.out.println(getHtmlContent("blog.csdn.net/powmxypow","utf-8")) ;
    		}
    }
    (转载请注明出处:http://blog.csdn.net/powmxypow/article/details/12349099 毛兴宇)
    展开全文
  • java代码实现网页源码爬取

    千次阅读 多人点赞 2020-12-14 15:42:21
    java代码实现网页源码爬取 java代码基于Eclipse简单实现网页源码爬取 哈哈,大家好!我是yanxiaolxy,前天四级英语考试考完了,作业也不多了,感觉整个人都变得轻松了许多。 今天给大家分享我的最新java学习进程--java...

    java代码实现网页源码爬取

    java代码基于Eclipse简单实现网页源码爬取

    哈哈,大家好!我是yanxiaolxy,前天四级英语考试考完了,作业也不多了,感觉整个人都变得轻松了许多。
    今天给大家分享我的最新java学习进程--java网页源码爬虫,废话不多说盘代码。
    

    仅需一页代码:

    package 网站爬虫2;
    /**
     * 爬取目标网页源代码示例
     * @作者 YanXiaolxy
     * @版本 2020.03
     * @时间 2020年12月14日 下午1:14:14
     */
    import java.io.BufferedWriter;
    import java.io.ByteArrayOutputStream;
    import java.io.File;
    import java.io.FileWriter;
    import java.io.InputStream;
    import java.net.HttpURLConnection;
    import java.net.URL;
    public class webHtmlCrawer {
    	public static void main(String[] args) {
    		newFile();
    	}
    	public static String getConnection() {
    		String path = "https://www.taobao.com/";
    		try {
    			HttpURLConnection conn = (HttpURLConnection) new URL(path).openConnection();
    			conn.setRequestMethod("GET");
                conn.setConnectTimeout(5000);
                if (conn.getResponseCode() == 200) {
                    InputStream xml = conn.getInputStream();
                    byte[] data = read(xml);
                    //System.out.println(xml);
                    return new String(data);
                }else {
                    System.out.println("连接失败!");
                }
    		} catch (Exception e) {
    			e.printStackTrace();
    		}
    		return null;
    	}
    	//读取数据流,转换为字符串
        public static byte[] read(InputStream xml) throws Exception {
            ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
            byte[] buffer = new byte[1024];
            int len = 0;
            while ((len = xml.read(buffer)) != -1) {
                outputStream.write(buffer, 0, len);
    
            }
            xml.close();
            return outputStream.toByteArray();
        }
        public static void newFile() {
            String html = getConnection();
            String dir = "D:/javafile/";//定义创建目录位置
            File contents = new File(dir);
            contents.mkdirs();//创建文件目录
            try {
                byte bytes[] = {1, 2, 3, 4};
                File file = new File("D:/javafile/test.txt");
                //判断文件是否存在,如果不存在就创建
                if (!file.exists()) {
                    file.createNewFile();
                }
                FileWriter fw = new FileWriter(file.getAbsoluteFile());
                BufferedWriter bw = new BufferedWriter(fw);
                System.out.println("正在写入.....");
                bw.write(html);
                bw.close();
                System.out.println("录入完毕");
            } catch (Exception e) {
            	e.getStackTrace();
            }    
        }    
    }
    

    使用注意:

    1.图中红色标记为设置目标网站路径.
    图片: 1在这里插入图片描述2.设置网页源代码存放目录和文件创建
    在这里插入图片描述欢迎各位发表评论和问题。

    展开全文
  • java——获取网页代码

    千次阅读 2018-08-30 09:04:13
    import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.net.URL; import java.net.URLConnection; //数据抓取核心类 ... // 获取网页数据 /*...
    
    import java.io.BufferedReader;
    import java.io.IOException;
    import java.io.InputStreamReader;
    import java.net.URL;
    import java.net.URLConnection;
    
    
    
    //数据抓取核心类
    public class Copy {
    
        // 获取网页数据
        /*
         * @param url:目标网址
         * 
         * @param encoding:编码
         */
        public static String getHtmlResourceByUrl(String url, String encoding) {
    
    
            StringBuffer buffer=new StringBuffer();
            InputStreamReader isr=null;
    
            try {
                // 建立网络连接
                URL urlObj = new URL(url);
                // 打开网络连接
                URLConnection uc = urlObj.openConnection();
                /*
                 * io 流
                 * 从服务器下载源码到本地
                 * */
                isr =new InputStreamReader(uc.getInputStream(),encoding);//建立文件的输入流
                BufferedReader reader =new BufferedReader(isr);//缓冲
    
                String line=null;
                while ((line=reader.readLine())!=null) {
    
                    buffer.append(line+"\n");
    
                }
    
    
            } catch (Exception e) {
                e.printStackTrace();
            }
            finally{
    
                    try{
                    if(null!=isr)isr.close();}
                    catch(IOException e){
                        e.printStackTrace();
                    }
            }
            return buffer.toString();
    
        }
    
        // 主函数
        public static void main(String[] args) {
    
            String htmlString=getHtmlResourceByUrl("http://www.qq.com", "gbk");
            System.out.println(htmlString);
    
        }
    
    }
    
    展开全文
  • java获取响应网页代码

    千次阅读 2017-10-06 19:57:34
    java使用BZip算法压缩解压缩文件、数据流、byte[]字节数组需要添加org.apache.commons.compress包,下载测试代码public static void main(String[] args) { try { String inputStr = "zlex@zlex
    
        ad1.jpg
    

    全栈工程师开发手册 (作者:栾鹏)
    java教程全解

    java获取网页网页源代码

    测试代码

    public static void main(String[] args) {
    		System.out.println(getwebcode("http://blog.csdn.net/luanpeng825485697?viewmode=contents","UTF-8"));
    	}
    

    发送申请,获取响应网页源代码函数实现,输入参数为网址和解码器类型

    //获取网页源代码
    	public static String  getwebcode(String urlpath,String encoder) {
    		StringBuilder sb=new StringBuilder();
    		InputStream in = null;   
            try {
                // 建立输入输出流
                URL url = new URL(urlpath); 
                in = url.openStream();        
                // 从 URL 拷贝到输出流
                byte[] buffer = new byte[4096];
                int bytes_read;
                while((bytes_read = in.read(buffer)) != -1)
                {
                    sb.append(new String(buffer,encoder));
                }
            }
            // 捕获异常,输出报错信息
            catch (Exception e) {
                System.err.println(e);
                System.err.println("Usage: java GetURL <URL> [<filename>]");
            }
            finally {  // 保证关闭输入流和输出流
                try { in.close();  } catch (Exception e) {}
            }
            return sb.toString();
    	}
    
    
    
    展开全文
  • 我的操作步奏: 1、Eclipse里面写个简单的jsp页面,加入CNZZ统计脚本,启动服务器。 2、浏览器访问。...求高手解答,总之,我的目的:java代码模拟浏览器,访问网页;使网页中的统计代码能执行。
  • java 获取网页代码

    万次阅读 2013-01-24 11:32:23
    要分析某个网页中的代码构成,需要某个结点下的内容。用此原始方法可以得到整个网页的源码。其实更简单的方法是使用 WebClient 或 HtmlUtil 等开源方式 。 public class HtmlParser { public static String ...
  • java获取网页HTML代码

    千次阅读 2012-03-23 09:14:11
    package com.web.network; import java.io.BufferedReader; import java.io.FileOutputStream; import java.io.FileReader; import java.io.InputStream; import java.io.InputStreamReader; import java.
  • java代码实现网页程序自动登录

    千次阅读 2011-10-18 11:59:16
    Java代码实现网页程序自动登录 Java解析Html工具 Java HTML Parser提供了一组Tag对象,这些对象可以深入解析一棵可搜索的结构树。 HtmlRipper是一个Java包能够按照预先定义好的规则设置来从Web页中抽取...
  • 这篇文章主要介绍了Java获取任意http网页代码的方法,可实现获取网页代码以及去除HTML标签的代码功能,涉及Java正则操作相关实现技巧,需要的朋友可以参考下 本文实例讲述了JAVA获取任意http网页代码。分享...
  • 如何用Java获取网页代码

    千次阅读 2013-07-10 15:18:32
    import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.net.HttpURLConnection; import java.net.URL; public class
  • 通过java获取html网页代码

    千次阅读 2015-03-03 11:29:18
    最近这段时间想学爬虫来自己获取数据,因此找了几篇简单的java爬虫教程博客来。令人失望的是这些爬虫基本都用不了。而复杂的爬虫又不适合初学者。由于我只是想做一个类似于脚本的东西,因此想了想,还是自己动手吧...
  • package com.mashensoft.net; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.io.InputStream; import java.io.PrintWriter; import j
  • JAVA 代码

    千次阅读 2015-01-27 18:02:39
    笔者当初为了学习JAVA,收集了很多经典源码,源码难易程度分为初级、中级、高级等,详情源码列表,需要的可以直接下载! 这些源码反映了那时那景笔者对未来的盲目,对代码的热情、执着,对IT的憧憬、向往!此时...
  • java之爬虫:爬取网页代码

    千次阅读 2016-06-26 19:06:40
    import java.io.BufferedInputStream; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.net.
  • 在吃夜宵的时候利用短暂的时间做个爬虫小程序,代码没时间优化,但是功能全实现了。eclipse的项目结构如下图: 代码如下: package com.jiaxun.test; import java.io.FileInputStream; import java.io....
  • java爬虫,提供链接直接爬取网页代码

    千次阅读 2017-10-10 11:16:46
    其实我只想要爬到整个网页的源代码的就好.通过java的一个包jsoup,就可以直接爬取了,后面有下载源代码(含jsoup包)的链接. 输入:网页链接 输出:网页代码 代码比较简单,解析都在代码中: import org.jsoup.Jsoup...
  • java代码 弹出浏览器并访问网页

    千次阅读 2013-11-25 14:36:41
    应同学要求需要几个调用浏览器的java代码 这段代码需要jdk1.6版本以上支持 public static void main(String[] args) throws IOException, URISyntaxException { String webSite = "http://www.baidu.com"; ...
  • 一段将网页静态化的JAVA代码

    千次阅读 2008-12-20 07:24:00
    不多说,直接代码,思路很简单,用URLConnection读取页面,然后保存就行了。import java.io.BufferedReader;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStreamReader...
  • JAVA微信公众平台源代码(包含网页授权)

    千次下载 热门讨论 2016-01-06 13:40:55
    JAVA微信公众平台源代码(包含网页授权) 关注、取消关注、自动回复、文本回复、图片回复、视频回复、音乐回复。 值得学习一下。
  • java 获取网页代码 (防乱码)

    千次阅读 2011-02-10 17:27:00
    // 获取网页代码 public String getWebCon(String pageURL,String encoding) { // StringBuffer sb = new StringBuffer(); try { URL url = new URL(pageURL); BufferedReader in =
  • java代码转Smali代码

    千次阅读 2017-09-13 12:44:00
    很麻烦,所以找了找如何将java代码转成smali,记录下来。2.过程 首先,准备好要转化的java类。使用javac编译成.class文件 这里出现的一个问题是,java编译器并不能找到android自己的工具库。莫慌,找到这个库加入...
  • Java代码是怎么运行的

    万次阅读 2018-07-24 21:29:50
    Java代码有很多运行方式。 在开发工具中运行 双击jar文件运行 在命令行中运行 在网页中运行 当然,上述运行方式都离不开JRE,&nbsp;也就是Java运行时环境。 JRE仅包含Java程序的必须组件,包括Java虚拟机...
  • java代码输出万年历

    万次阅读 2016-08-01 13:39:01
    基于java基础代码的日历,对于初学者有很大的帮助,可以看看
  • 项目没有,只给了一个网站,打开里面的源码,如何将图片里面的网址修改掉?
  • java jsp 获得网页代码三种方式

    千次阅读 2011-12-29 09:36:22
    一、GetURL.java import java.io.*; import java.net.*; public class GetURL { public static void main(String[] args) { InputStream in = null; OutputStream out = null; try {
  • 初探JAVA代码在虚拟机中的运行机制

    千次阅读 2018-08-04 00:06:13
    作为一名Android程序员,我们都知道Java代码有很多种运行方式,比如:可以在命令行中运行,可以在开发工具中运行,可以以jar文件的形式运行,甚至可以在网页中运行。这些执行的方式都离不开JRE(Java Runtime ...
  • Java 代码实现验证码功能

    千次阅读 2019-05-26 00:29:10
    Java 代码实现验证码功能
  • 现有一个java爬虫项目,需要获取网页中的javascript执行后生成的完整的网页源码([color=#FF0000]通常使用的右键-查看源代码不到js执行后的内容的,用firefox的firebug看到的代码就是js执行后的代码[/color])...
  • Java模拟浏览器访问并获取网页代码

    千次阅读 2020-01-20 17:58:07
    一般的网页可以直接通过URL直接获取HTML的代码 public static void main(String[] args) throws Exception { //获取url URL url = new URL("https://www.baidu.com"); //下载资源 InputStream is = url.open...
  • Java获取源代码自己知道的几种方式,在这里总结一下。 1:GetSourceCode.java package kalision; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 288,166
精华内容 115,266
关键字:

网页的java代码怎么看

java 订阅