精华内容
下载资源
问答
  • 我们在前面讲到httpclient抓取网页内容的时候 通常都是获取到页面的源...那么如果我们除了获得页面源代码之外 还想页面保存到本地存成html应该怎么做呢? 其实很简单 我们先来看访问页面获取content的代码 private


    我们在前面讲到httpclient抓取网页内容的时候 通常都是获取到页面的源代码content存入数据库。

    详见下文:

    HTTPClient模块的HttpGet和HttpPost

    httpclient常用基本抓取类

    那么如果我们除了获得页面源代码之外 还想把页面保存到本地存成html应该怎么做呢?


    其实很简单 我们先来看访问页面获取content的代码

    	private static String getUrlContent(DefaultHttpClient httpPostClient,
    			String urlString) throws IOException, ClientProtocolException {
    		HttpGet httpGet = new HttpGet(urlString);
    		HttpResponse httpGetResponse = httpPostClient.execute(httpGet);// 其中HttpGet是HttpUriRequst的子类
    		httpPostClient.getParams().setParameter(
    				CoreConnectionPNames.CONNECTION_TIMEOUT, 10000);// 连接时间20s
    		httpPostClient.getParams().setParameter(
    				CoreConnectionPNames.SO_TIMEOUT, 8000);// 数据传输时间60s
    		if (httpGetResponse.getStatusLine().getStatusCode() == 200) {
    			HttpEntity httpEntity = httpGetResponse.getEntity();
    			if (httpEntity.getContentEncoding() != null) {
    				if ("gzip".equalsIgnoreCase(httpEntity.getContentEncoding()
    						.getValue())) {
    					httpEntity = new GzipDecompressingEntity(httpEntity);
    				} else if ("deflate".equalsIgnoreCase(httpEntity
    						.getContentEncoding().getValue())) {
    					httpEntity = new DeflateDecompressingEntity(httpEntity);
    				}
    			}
    			String result = enCodetoString(httpEntity, encode);// 取出应答字符串
    			// System.out.println(result);
    			return result;
    		}
    		return "";
    	}

    	public static String enCodetoStringDo(final HttpEntity entity,
    			Charset defaultCharset) throws IOException, ParseException {
    		if (entity == null) {
    			throw new IllegalArgumentException("HTTP entity may not be null");
    		}
    		InputStream instream = entity.getContent();
    		if (instream == null) {
    			return null;
    		}
    		try {
    			if (entity.getContentLength() > Integer.MAX_VALUE) {
    				throw new IllegalArgumentException(
    						"HTTP entity too large to be buffered in memory");
    			}
    			int i = (int) entity.getContentLength();
    			if (i < 0) {
    				i = 4096;
    			}
    			Charset charset = null;
    			try {
    				// ContentType contentType = ContentType.get(entity);
    				// if (contentType != null) {
    				// charset = contentType.getCharset();
    				// }
    			} catch (final UnsupportedCharsetException ex) {
    				throw new UnsupportedEncodingException(ex.getMessage());
    			}
    			if (charset == null) {
    				charset = defaultCharset;
    			}
    			if (charset == null) {
    				charset = HTTP.DEF_CONTENT_CHARSET;
    			}
    			Reader reader = new InputStreamReader(instream, charset);
    			CharArrayBuffer buffer = new CharArrayBuffer(i);
    			char[] tmp = new char[1024];
    			int l;
    			while ((l = reader.read(tmp)) != -1) {
    				buffer.append(tmp, 0, l);
    			}
    			return buffer.toString();
    		} finally {
    			instream.close();
    		}
    	}

    我们得到content之后就可以直接 把它存成本地文件 就 可以了。

    我们可以参考

     

    java读写txt


    把txt后缀改成html即可

    1. public static void writeToFile(String fileName, String content) {  
    2.         String time = DATE_FORMAT.format(Calendar.getInstance().getTime());  
    3.           
    4.         File dirFile = null;  
    5.         try {  
    6.             dirFile = new File("e:\\" + time);  
    7.             if (!(dirFile.exists()) && !(dirFile.isDirectory())) {  
    8.                 boolean creadok = dirFile.mkdirs();  
    9.                 if (creadok) {  
    10.                     System.out.println(" ok:创建文件夹成功! ");  
    11.                 } else {  
    12.                     System.out.println(" err:创建文件夹失败! ");  
    13.                 }  
    14.             }  
    15.         } catch (Exception e) {  
    16.             e.printStackTrace();  
    17.         }  
    18.         String fullPath = dirFile + "/" + fileName + ".txt";  
    19.         write(fullPath, content);  
    20.     }  
    21.   
    22.     /** 
    23.      * 写文件 
    24.      *  
    25.      * @param path 
    26.      * @param content 
    27.      */  
    28.     public static boolean write(String path, String content) {  
    29.         String s = new String();  
    30.         String s1 = new String();  
    31.         BufferedWriter output = null;  
    32.         try {  
    33.             File f = new File(path);  
    34.             if (f.exists()) {  
    35.             } else {  
    36.                 System.out.println("文件不存在,正在创建...");  
    37.                 if (f.createNewFile()) {  
    38.                     System.out.println("文件创建成功!");  
    39.                 } else {  
    40.                     System.out.println("文件创建失败!");  
    41.                 }  
    42.             }  
    43.             BufferedReader input = new BufferedReader(new FileReader(f));  
    44.             while ((s = input.readLine()) != null) {  
    45.                 s1 += s + "\n";  
    46.             }  
    47.             System.out.println("原文件内容:" + s1);  
    48.             input.close();  
    49.             s1 += content;  
    50.             output = new BufferedWriter(new FileWriter(f));  
    51.             output.write(s1);  
    52.             output.flush();  
    53.             return true;  
    54.         } catch (Exception e) {  
    55.             e.printStackTrace();  
    56.             return false;  
    57.         } finally {  
    58.             if (output != null) {  
    59.                 try {  
    60.                     output.close();  
    61.                 } catch (IOException e) {  
    62.                     e.printStackTrace();  
    63.                 }  
    64.             }  
    65.         }  
    66.     }  



    展开全文
  • 如何将网页保存保存为PDF格式?

    万次阅读 2019-03-22 23:39:03
    如何将网页保存保存为PDF格式? 如上例所示,将网页在WPS中打开后(参考上例,不再放图),依次点击左上角“文件”、“另存为”菜单: 选取文件要保存的路径,输入要保存的文件名和文件类型,注意:文件类型要选...

    如何将网页保存保存为PDF格式?
    如上例所示,将网页在WPS中打开后(参考上例,不再放图),依次点击左上角“文件”、“另存为”菜单:
    在这里插入图片描述
    选取文件要保存的路径,输入要保存的文件名和文件类型,注意:文件类型要选"PDF文件格式(*.pdf)",然后点击“保存”即可。
    在这里插入图片描述

    欢迎使用Markdown编辑器

    你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。

    新的改变

    我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:

    1. 全新的界面设计 ,将会带来全新的写作体验;
    2. 在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样式 进行展示;
    3. 增加了 图片拖拽 功能,你可以将本地的图片直接拖拽到编辑区域直接展示;
    4. 全新的 KaTeX数学公式 语法;
    5. 增加了支持甘特图的mermaid语法1 功能;
    6. 增加了 多屏幕编辑 Markdown文章功能;
    7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能,功能按钮位于编辑区域与预览区域中间;
    8. 增加了 检查列表 功能。

    功能快捷键

    撤销:Ctrl/Command + Z
    重做:Ctrl/Command + Y
    加粗:Ctrl/Command + B
    斜体:Ctrl/Command + I
    标题:Ctrl/Command + Shift + H
    无序列表:Ctrl/Command + Shift + U
    有序列表:Ctrl/Command + Shift + O
    检查列表:Ctrl/Command + Shift + C
    插入代码:Ctrl/Command + Shift + K
    插入链接:Ctrl/Command + Shift + L
    插入图片:Ctrl/Command + Shift + G

    合理的创建标题,有助于目录的生成

    直接输入1次#,并按下space后,将生成1级标题。
    输入2次#,并按下space后,将生成2级标题。
    以此类推,我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

    如何改变文本的样式

    强调文本 强调文本

    加粗文本 加粗文本

    标记文本

    删除文本

    引用文本

    H2O is是液体。

    210 运算结果是 1024.

    插入链接与图片

    链接: link.

    图片: Alt

    带尺寸的图片: Alt

    居中的图片: Alt

    居中并且带尺寸的图片: Alt

    当然,我们为了让用户更加便捷,我们增加了图片拖拽功能。

    如何插入一段漂亮的代码片

    博客设置页面,选择一款你喜欢的代码片高亮样式,下面展示同样高亮的 代码片.

    // An highlighted block
    var foo = 'bar';
    

    生成一个适合你的列表

    • 项目
      • 项目
        • 项目
    1. 项目1
    2. 项目2
    3. 项目3
    • 计划任务
    • 完成任务

    创建一个表格

    一个简单的表格是这么创建的:

    项目 Value
    电脑 $1600
    手机 $12
    导管 $1

    设定内容居中、居左、居右

    使用:---------:居中
    使用:----------居左
    使用----------:居右

    第一列 第二列 第三列
    第一列文本居中 第二列文本居右 第三列文本居左

    SmartyPants

    SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如:

    TYPE ASCII HTML
    Single backticks 'Isn't this fun?' ‘Isn’t this fun?’
    Quotes "Isn't this fun?" “Isn’t this fun?”
    Dashes -- is en-dash, --- is em-dash – is en-dash, — is em-dash

    创建一个自定义列表

    Markdown
    Text-to-HTML conversion tool
    Authors
    John
    Luke

    如何创建一个注脚

    一个具有注脚的文本。2

    注释也是必不可少的

    Markdown将文本转换为 HTML

    KaTeX数学公式

    您可以使用渲染LaTeX数学表达式 KaTeX:

    Gamma公式展示 Γ(n)=(n1)!nN\Gamma(n) = (n-1)!\quad\forall n\in\mathbb N 是通过欧拉积分

    Γ(z)=0tz1etdt&ThinSpace;. \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,.

    你可以找到更多关于的信息 LaTeX 数学表达式here.

    新的甘特图功能,丰富你的文章

    Mon 06Mon 13Mon 20已完成 进行中 计划一 计划二 现有任务Adding GANTT diagram functionality to mermaid
    • 关于 甘特图 语法,参考 这儿,

    UML 图表

    可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图::

    张三李四王五你好!李四, 最近怎么样?你最近怎么样,王五?我很好,谢谢!我很好,谢谢!李四想了很长时间,文字太长了不适合放在一行.打量着王五...很好... 王五, 你怎么样?张三李四王五

    这将产生一个流程图。:

    链接
    长方形
    圆角长方形
    菱形
    • 关于 Mermaid 语法,参考 这儿,

    FLowchart流程图

    我们依旧会支持flowchart的流程图:

    Created with Raphaël 2.2.0开始我的操作确认?结束yesno
    • 关于 Flowchart流程图 语法,参考 这儿.

    导出与导入

    导出

    如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ,生成一个.md文件或者.html文件进行本地保存。

    导入

    如果你想加载一篇你写过的.md文件或者.html文件,在上方工具栏可以选择导入功能进行对应扩展名的文件导入,
    继续你的创作。


    1. mermaid语法说明 ↩︎

    2. 注脚的解释 ↩︎

    展开全文
  • 爬取内容:将目标网址,整个html页面保存下来 实现步骤: 导入requess模块 发送请求,获取响应(包含了url指向) 获取响应内容 将响应保存到本地 整个目标网址页面所呈现的样式 二、代码 # 1、导包 import...

    一、页面分析

    目标网址:https://www.baidu.com/more/
    爬取内容:将目标网址,整个html页面保存下来
    实现步骤:
    		导入requess模块
    		发送请求,获取响应(包含了url指向)
    		获取响应内容
    		将响应保存到本地
    

    整个目标网址页面所呈现的样式
    在这里插入图片描述

    二、代码

    # 1、导包
    import requests
    
    # 2、发送请求,获取响应
    response = requests.get(url='https://www.baidu.com/more/')
    # 3、获取响应内容
    print(response)
    # 查看状态码
    print(response.status_code)
    # 查看响应头
    print(response.headers)
    # 重点:响应正文。
    # 问题:文本数据有哪两种格式?
    # 字符串响应正文:
    # print(response.text)
    # bytes二进制的响应正文:
    print(response.content)
    # 解决乱码问题:
    # 第一种方法:
    response_str = response.content.decode(encoding='utf-8')
    # 第二种方法:
    # response.text是通过response.ecoding这个属性设置的值来进行编程字符串。
    # response.ecoding是通过resquests模块自动识别的。(基本识别都对的。)
    print(response.encoding)
    response.encoding = 'utf-8'
    # 4、将响应内容保存到本地。
    with open('index.html', 'w', encoding='utf-8') as fp:
        fp.write(response.text)
    

    三、请求结果分析

    验证结果的时候,整个页面,输入与目标网址呈现的内容的关键词即可

    请求结果:
    在这里插入图片描述

    与目标网址源代码一致:
    在这里插入图片描述

    打开页面源代码:
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 整个网页下载下来的方法

    千次阅读 2019-10-27 19:56:02
    在这个网站上根据教程先wget安装完成 https://blog.csdn.net/qq_31163325/article/details/84344774 然后键盘 win + r 输入 wget -m -U “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)” -r -k -nc ...

    win10系统
    在这个网站上根据教程先把wget安装完成
    https://blog.csdn.net/qq_31163325/article/details/84344774

    然后键盘 win + r
    输入

    wget -m -U “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)” -r -k -nc -P 输入你要保存的目录 和 文件夹名称 需要下载的地址

    下面是参照例子:
    wget -m -U “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)” -r -k -nc -P D:\xxx https://www.xxx.com

    下载后的文件夹,是层层包裹的,需要你一进去,里面就会出现你下载好的网页

    在这里插入图片描述

    展开全文
  • 先打开网页,复制网页地址。再打开字处理软件如Microsoft Word,单击文件—打开,在文件名中粘贴刚才复制的网址,单击打开,就搞定了。 
  • 1.按f12,控制台调出来。...2.按键盘ctrl+shift+p,调出功能搜索,然后选择功能:Capture full size screenshot(只输前几个字母就能找到),敲下回车,网页就会弹出下载图片框,保存就行了。 ...
  • JAVA实现把网页的图片下载下来

    千次阅读 2019-01-24 11:28:03
    在Java下抓取网页上的图片并保存到本地文件夹中 技术实现: import java.net.URL; import java.net.MalformedURLException; import java.io.IOException; import java.io.FileNotFoundException; import java....
  • 天猫,自从有了淘宝,就出了各种各样的网购平台,天猫淘宝京东三个算是国内的三个大大大大的巨头了。很多天猫淘宝卖家,或者图片爱好者,想要保存天猫图片,该怎么去保存呢,怎么才能保存...登录后,复制的链接粘...
  • 03.html转pdf 在得到子网页的链接后,接下来就是将html的子网页保存为pdf文件。小编使用的pdfkit库,pdfkit库可以将网页保存为pdf文档。首先小编来介绍一下pdfkit库的安装。 下载...
  • 谷歌浏览器保存网页为PDF

    千次阅读 2020-05-09 16:06:18
    今天在浏览器上发现了一篇觉得不错的文章,想将它保存下来,但文章比较长,截长图的话不易翻阅,直接保存网页的话不易保存,偶然发现谷歌浏览器保存网页第三式:将网页存为PDF。 测试页面:...
  • 快速保存网页图片

    千次阅读 2018-02-06 11:57:31
    使用整站抓取网页图片的方法,我试过Teleport Ultra 软件抓取的效果不是很理想有些图片还是抓取不到。 使用网页另存的方式图片更是少的可怜。 本来想写个程序利用抓取网页的图片,由于项目时间紧张,所以还是赶紧...
  • C#访问网页保存网页

    千次阅读 2015-10-03 15:02:18
    很喜欢看经典书籍,所以就想网络上的书籍下载下来,做成kindle的电子书籍,以便于阅读。查了一些网络资料,实现了自己的想法,下面这段代码,是从国学导航网站(http://www.guoxue123.com)《北史》的全部内部...
  • 用过IE浏览器的用户都知道,IE有一个很方便的功能,那就是可以当前网页的所有内容(包括图片等)保存为一个文件,供以后离线浏览。如果你正在苦恼为什么自己喜欢用的谷歌浏览器为什么没有这样的功能呢?那么你读完...
  • 如果有可能我再找一个练题网站,题导进去,这样大家可以在手机里面练题,接下来说明一下网页保存的方法,和上传的方法。 如果有小伙伴对我写的python感兴趣,我也会抽空再写一篇文章,讲一讲思路,并公布源码,...
  • 网页保存视频最有效的几种方法

    千次阅读 2019-07-29 17:29:23
    推荐 3 种鲜为人知的视频下载方式,帮你保存全网任意视频 ...在网上看到了一些优质的资源,也想保存下来观看 …… 总而言之,我们有很多时候想要把网页中的视频下载来了。 如何解决呢? 今天给各...
  • 如何保存网页并编辑

    千次阅读 2013-03-15 10:23:18
    浏览网页那是必然,作为一个IT工作者,经常会浏览一下编程网站,看一些技术文档(很多也是全英文的),在学习的过程中,有些知识点是需要记录或者注释,一般以后再看时方便,所以想将碰到的网站上的各种文档原样的保存...
  • OneNote使用技巧????将网页内容保存到...1)如果你使用的是Chrome浏览器,增加插件:OneNote Web Clipper,此插件可以将当前网页内容以四种形式保存到你的OneNote账户中,分别是:整页保存网页所有内容,包括...
  • 网页保存成图片插件

    千次阅读 2011-04-20 16:04:00
    firefox 将网页保存成图片插件Pearl Crescent Page Saver Basic
  • 浏览器将网页保存为pdf

    千次阅读 2020-06-24 14:11:27
    参考
  • 当你觉得某网页上的内容很不错,想保存下来,另存为下来的时候,存的是 html 页面,存的内容比较多,不好。下面介绍保存为PDF 的方法。 1、Chrome 浏览器 通过下图的方法打开打印页面或者通过右键上面的 “打印(P)...
  • 原文地址:... google chrome是简洁的、快速的。 说它简洁,是它更多的屏幕空间留给了网页浏览区,没了窗口标题栏,没了状态栏,一切就跟google首页一样简单。 但功能依然强大,webkit内核,v8引
  • 在桌面上得到了这样一个文件,大小是1263×6083,可见的确非常长,所有分页都保存下来了。 查看该图片 如果要保存的网页有子页面 如图所示 滚动条只在子页面才存在 将鼠标放到子页...
  • Chrome浏览器很强大,最近发现一种利用Chrome可以将网页保存为pdf的方法,写下来分享给大家。 1,以csdn首页为例,在Chrome浏览器中,打开网页,按Ctrl+P,会弹出打印机对话框,如下图 2,找到左侧“目标打印机...
  • 保存网页图片的方法

    千次阅读 2017-12-20 11:01:05
    手把手教你保存网页图片......
  • 学习Three.js的时候,看到官方提供了很多很多的example,实在太多了,但并不是每个我都感兴趣,想去了解,但我又记不住每个链接对对应的效果是什么样的,于是我想,能不能所有的案例用图片保存下来,用图片来对异性每一个...
  • 谷歌Chrome浏览器保存网页为PDF

    千次阅读 2019-01-20 21:39:51
    人,一旦没(察觉到)压力,就会变得...通常大家遇到自己心仪的网页或博客,就很想内容保存下来,供自己随时查阅。 一般操作:保存整个页面(文件夹的形式),或者直接Ctrl+S; 高级操作:右键打印为pdf,或者Ctrl+P...
  • 利用python模块pandas获取网页表格,并保存为csv 读取网页表格,保存网页表格
  • 今天在浏览网页时看到一张图片不错,想保存下来,在图片上点击右键》图片另存为,结果试了好多次都没有反应。环境: Windows 7操作系统 Chrome 版本 41.0.2272.76 m (64-bit)原因: 后来发现是这个安全警告框的...
  • 1、需求:长按页面中的一部分(里面有动态获取的用户昵称、头像及动态生成的二维码),弹出下载框,点击后将这部分保存为图片下载到手机里(如图) 2、分析:由于有动态获取数据,需等DOM元素生成之后,再将这一...
  • 保存网页的好方法

    千次阅读 2004-06-24 00:49:00
    介绍了一种保存网页的好方法:.mht格式。发表于《电脑爱好者》2000年第18期。这是我在《电脑爱好者》...在IE5.0以前,浏览器自带的保存功能只能把网页的htm文件保存下来,图片等资料就全丢失了。从IE5开始,提供了网页

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 122,569
精华内容 49,027
关键字:

怎么把网页保存下来