网站定义
网站是因特网上一块固定的面向全世界发布消息的地方，由域名(也就是网站地址)和网站空间构成，通常包括主页和其他具有超链接文件的页面。"百度"、"网易"、"新浪"、"腾讯"等,即是俗称的"网站",简单的说,就是一种通迅工具,就象布告栏一样,人们可以通过网站发布自已想要公开的信息,或者利用网站提供相关的网络服务,网站由许许多多的网页构成。

网页(Homepage) 是构成网站的基本元素,是承载各种网站应用的平台.   网页经由网址(url)来识别与存取,当我们在浏览输入网址后,经过一段复杂而又快速的程序,网页文件会很快被传送到你的计算机,然后通过浏览器解释网页的内容,在展示到你的眼前.

网站分静态网站与动态网站

静态网页使用语言：HTML（超文本标记语言）或XML（可扩展标记语言）

动态网页使用语言：HTML＋ASP 或HTML+ASP.NET或 HTML＋PHP 或 HTML＋JSP 等

 

静态网页：运行于客户端的程序、网页、插件、组件，属于静态网页，例如html页、Flash、JavaScript、VBScript等等，它们是永远不变的。

 

动态网页：程序是否在服务器端运行，是重要标志。在服务器端运行的程序、网页、组件，属于动态网页，它们会随不同客户、不同时间，返回不同的网页，例如ASP、PHP、JSP、ASP,net、CGI等。

 

使用定义名称的方式指定数据区域，数据增减后，这个名称不能自动更新引用范围，如果需要实现类似于表格的自适应扩展，那么就需要使用动态名称。使用Offset和Counta函数如下图所示可以定义动态名称，这个动态名称可以自适应引用A1单元格所在的连续数据区域。


动态名称虽然实现了自适应调整引用区域，但是这样定义的名称，无法像普通名称一样使用【数据】选项卡中的【从表格】功能导入PQ中。
对于动态名称定义的表格（单元格区域），可以按照如下步骤操作导入PQ。
步骤1：依次单击【数据】选项卡=>【新建查询】=>【从其他源】=>【空白查询】


步骤 2：在PQ对话框的公式编辑框中输入= Excel.CurrentWorkbook()


步骤3：在【查询】对话框中就可以看到动态名称DynamicTab，保留第一列。


步骤4：点击标题行的展开按钮。


步骤5：取消勾选【使用原始列名作为前缀】，单击【确定】按钮。


步骤6：提升第一行作为标题行。


至此，动态名称定义的表格就成功导入到了PQ中。

什么是动态表单？
               根据爱因斯坦相对论有动态表单说明是有静态表单的存在，生活中乃至世界任何两个有质量的物体都是运动的，这只是相对论的狭隘解析即狭义相对论，平常我们讨论的也往往是狭义相对论，这一理论的提出给物理学带来了革命性的变化，共同奠定了现代物理学的基础。相对论极大地改变了人类对宇宙和自然的“常识性”观念，丰富了我们的常识。
            看到动态表单也许你会想到动态、静态网页，它们和动态表单有什么区别呢？我觉的它们本质没有区别只是生成的时间不同而已，静态网页在编码阶段即可固定，以后它的内容也不会再有所改变；动态网页虽然编码阶段结构也确定了但是它的内容可以改变，可以让用户自己选择、可以和用户交互。
            动态表单的目的是为了根据业务流程不同灵活设计显示页面，显然，在业务流程设计阶段不用过多的考虑表单如何实现，将业务流程与表单显示分离开了，充分体现了MVC思想，我们可以把动态表单看成了V层的具体实现。
动态表单建模
              记得前几天看了一本小书叫《成交》，深刻剖析了一个大型IT公司的发展历程以及各个人物的思想活动里面有一句“攻城为下，攻心为上”，这句话说的的确很对，在生成表单时只有知道表单核心组成元素才能组装出表单，生成动态表单时也展现出了另一个编程思想OOP面向对象编程，生成表单也就是组装过程，按照这个思想我们把表单拆分、建模，持久化到数据库中。
           下图是抽象出来的表单类图
           
 
                 一个表单是由多个表单域组成，每个表单域有名称、输入框类型、输入数据类型，如果是列表框还会有条目的添加，这就是最简单的动态表单，如果表单上还有一些复杂控件会麻烦一些但是流程是一样的。
 
持久化到数据库中
               将表单数据保存到数据库中，等需要的时候直接从数据库里面加载即可，看一下生成的一些表。
            
           
            
 表单的显示
                  下一篇博客中将介绍表单显示，通过freemarker插件来动态显示页面！

       前面所讲的都是对静态网页进行抓取，本博客介绍动态网站的抓取。 动态网站的抓取 相比静态网页来说困难一些，主要涉及的技术是Ajax和动态Html。简单的网页访问是无法获取完整的数据，需要对数据加载流程进行分析。针对不同的动态网页爬取方法，将分别用具体实例进行介绍。本博客主要是直接利用Ajax来获取数据。

 

页面分析

本博客以MTime电影网为例，主要爬取电影的评分票房等信息。首先使用火狐浏览器的控制台来查看页面信息。



对于页面中的票房信息是无法在HTML中获取到，其是通过js进行动态加载获得的，那么就查找相应的js响应。就是从一堆js请求中查看一些含有Ajax字段的请求。http://service.library.mtime.com/Movie.api?Ajax_CallBack=true&Ajax_CallBackType=Mtime.Library.Services&Ajax_CallBackMethod=GetMovieOverviewRating&Ajax_CrossDomain=1&Ajax_RequestUrl=http%3A%2F%2Fmovie.mtime.com%2F242129%2F&t=2020512134567406&Ajax_CallBackArgument0=242129



点进去之后查看返回的数据：



找到相应的链接和返回数据之后，就需要分析这个链接的构造方法和分析返回的数据。

（1）在链接中一共有7个参数，我们首先需要分析那些参数是不变的哪些是更具不同电影变化的。通过对比两个不同的电影链接可以发现其中有4个参数不变，有3个参数是动态变化的，分别是Ajax_RequestRrl、t和Ajax_CallBackArgument0。通过分析可以发现这三个参数分别表示的是当前页面url、当前请求时间和电影表示的数字。

（2）提取响应数据。响应内容主要分为三种，分别是正在上映的电影信息，一种即将上映的电影信息，最后一种是还有比较长时间才能上映的电影信息。具体的在代码中展示。

 

具体实现代码

本文代码是基于博客实现的，本博客只是将其中需要更改的部分修改了。

网页解析

在HtmlParser类中定义一个parser_url方法，代码如下：

 def parser_url(self, page_url, response):
        pattern = re.compile(r'(http://movie.mtime.com/(\d+)/)')
        urls = pattern.findall(response)
        if urls != None:
            return list(set(urls))
        else:
            return None

提取响应数据中的有效数据：

 def parser_json(self, page_url, respone):
        """
        解析响应
        :param page_url:
        :param respone:
        :return:
        """
        #将“=”和“；”之间的内容提取出来
        pattern = re.compile(r'=(.*?);')
        result = pattern.findall(respone)[0]

        if result != None:
            value = json.loads(result)
            try:
                isRelease = value.get('value').get('isRelease')
            except Exception,e:
                print(e)
                return None
            if isRelease:
                if value.get('value').get('hotValue') == None:
                    return self._parser_release(page_url, value)
                else:
                    self._parser_no_release(page_url, value, isRelease = 2)
            else:
                return self._parser_no_release(page_url, value)


    def _parser_release(self, page_url, value):
        """
        解析已上映的影片
        :param page_url:
        :param value:
        :return:
        """
        try:
            isRelease = 1
            movieRating = value.get('value').get('movieRating')
            boxOffice = value.get('value').get('boxOffice')
            movieTitle = value.get('value').get('movieTitle')
            RPictureFinal = movieRating.get('RPictureFinal')
            RStoryFinal = movieRating.get('RStoryFinal')
            RDirectorFinal = movieRating.get('RDirectorFinal')
            ROtherFinal = movieRating.get('ROtherFinal')
            RatingFinal = movieRating.get('RatingFinal')

            MovieId = movieRating.get('MovieId')
            Usercount = movieRating.get('Usercount')
            AttitudeCount = movieRating.get('AttitudeCount')

            TotalBoxOffice = boxOffice.get('TotalBoxOffice')
            TotalBoxOfficeUnit = boxOffice.get('TotalBoxOfficeUnit')
            TodayBoxOffice = boxOffice.get('TodayBoxOffice')
            TodayBoxOfficeUnit = boxOffice.get('TodayBoxOfficeUnit')

            showDays = boxOffice.get('ShowDays')

            try:
                Rank = boxOffice.get('Rank')
            except Exception,e:
                Rank = 0
            return (MovieId,movieTitle,RatingFinal,
                    ROtherFinal,RPictureFinal,RDirectorFinal,
                    RStoryFinal,Usercount,AttitudeCount,
                    TotalBoxOffice+TotalBoxOfficeUnit,
                    TodayBoxOffice+TodayBoxOfficeUnit,
                    Rank,showDays,isRelease)
        except Exception,e:
            print(e,page_url,value)
            return None


    def _parser_no_release(self,page_url,value,isRelease = 0):

        try:
            movieRating = value.get('value').get('movieRating')
            movieTitle = value.get('value').get('movieTitle')

            RPictureFinal = movieRating.get('RPictureFinal')
            RStoryFinal = movieRating.get('RStoryFinal')
            RDirectorFinal = movieRating.get('RDirectorFinal')
            ROtherFinal = movieRating.get('ROtherFinal')
            RatingFinal = movieRating.get('RatingFinal')

            MovieId = movieRating.get('MovieId')
            Usercount = movieRating.get('Usercount')
            AttitudeCount = movieRating.get('AttitudeCount')

            try:
                Rank = value.get('value').get('hotValue').get('Ranking')
            except Exception,e:
                Rank = 0
            return (MovieId,movieTitle,RatingFinal,
                    ROtherFinal,RPictureFinal,RDirectorFinal,
                    RStoryFinal,Usercount,AttitudeCount,u'无',
                    u'无',Rank,0,isRelease)
        except Exception,e:
            print(e, page_url, value)
            return None

爬虫调度器

    def dynamic_crawl(self, root_url):
        content = self.downloader.download(root_url)
        urls = self.parser.parser_url(root_url,content)
        for url in urls:
            try:
                t = time.strftime("%Y%m%d%H%M%S3282", time.localtime())
                rank_url ='http://service.library.mtime.com/Movie.api'\
                    '?Ajax_CallBack=true'\
                    '&Ajax_CallBackType=Mtime.Library.Services'\
                    '&Ajax_CallBackMethod=GetMovieOverviewRating'\
                    '&Ajax_CrossDomain=1'\
                    '&Ajax_RequestRrl=%s'\
                    '&t=%s'\
                    '&Ajax_CallBackArgument0=%s'%(url[0],t,url[1])
                rank_content = self.downloader.download(rank_url)
                data = self.parser.parser_json(rank_url,rank_content)
                print(data)
            except Exception,e:
                print('Crawl failed')

if __name__=="__main__":
    spider_main = SpiderMain()
    spider_main.dynamic_crawl("http://theater.mtime.com/China_Beijing/")