一晃眼八月份过去了，回想七月份给八月份制定的计划，没有几项是切实完成的。武汉的鬼天气真让人恼火，八月份有一半的时间都在生病...其中八月份有一项很重要的工作没有完成，就是关于 计划制定 的总结， 原本计划完成后会交给别人审阅的，最后却不了了之( 客观上天气太热，完全静不下心写东西， 主观上能总结的东西感觉无法语言确切表达，写的东西感觉很无力，没有任何的说服力和实用价值，就像是在说大道理，谁都懂，但不是谁都能做到， 有时候连普通的激励都做不到........)
    八月份主要工作在代码的复查以及3D这一块，顺带的看了软件架构设计这本书，并学习了UML建模。软件架构设计这本书泛读完后，感觉仍然没有清晰的概念，书里写的很多东西都不是很实用，倒是每章前面的名言名句有些看头，感觉做学术不能太浮躁啊........
    对于软件开发人员来说，最大的动力以及乐趣来源于 解决问题 的成就感。DRY（do not repeat yourself ），不断的重复是有悖于这个原则的。如果在工作中无法找到突破口，总是在不断重复自己，也就是说遇到了瓶颈，我想这样的情况在职业生涯中是不可避免的吧，那么怎么去解决这个矛盾呢，到底是跳槽还是继续等待，等待时机，等待可能会有的晋升，以磨灭自己的创造力为代价（或许这个代价可以被替换？）。这两个选择是很难做的吧。
    如何去寻找工作中的突破口呢，有的人会说去创造机会，并时刻准备着，准备着什么呢？等着被晋升？等着不可预知的职位空缺，等着老板哪天心情好给你加薪？在竞争日益激烈的今天，这样的机会少之又少。那如何去寻找出路呢？还是说高级程序员，架构师是另外的出路？ 在重复自己的过程中寻找别的代价来进行弥补？编程越来越民工化的今天，做管理才是唯一出路？能够学术和商业的完美结合么？我是在做自主研发么？在这个快节奏，高压力的社会，想不浮躁很难啊。
    看到别人说经验的积累是很重要的，但体验多并不代表经验多，也就是行业只是以及背景的积累是很重要的一个方面，在这行业里呆的越久，对这个行业的理解越深刻，知识面越广博。行业方向在哪呢？难道这就是要不断重复自己的理由，需要不断忍耐，等待，煎熬，磨练，等到最终被赏识，最终被重用，然后给自己喘息的机会？实在是佩服那些从中出头的人，呵呵，可惜不符合我的风格啊～
    不能再等了，寻找突破口吧！

	（一）学习方面


	无


	（二）健康方面


	①步行688


	（三）思维方面


	①增加一些配置的小功能


	②时间过的很快，应该为2月份的时间做一个规划，避免浪费掉，很快就要面向社会了


	（四）明日计划


	①二月份计划安排表


	②大数据比赛准备学习
本文固定链接: http://boeek.cn/?post=134
转载请注明: : APan 2018年1月30日 于 APan的博客 发表



    
       


最后编辑：2018-01-30
作者：APan
来自一个程序猿的经典独白
 站内专栏  邮箱

	

思路:
scrapy爬取整个网站的流程(以爬取所有省份的所有城市的所有年份的所有季度的所有月份的每一天为例)

在scarpy的类中，定义一个开始的url

通过第一个函数和url来获取每一个省份的所有城市的url链接，对于每一个url链接，通过yield方法和callback函数来调用第二个函数并且通过yield方法传入各个城市的url信息

在第二个函数中，通过bs4或者xpath或者正则表达式来实现对每个城市每年的每个季度的每个月份得到url信息的获取，通过callback调用第三个函数和yield方法给第三个函数传入url信息

在第三个函数中，通过bs4或者xpath或者正则表达式来实现对每个城市每年每月每日的天气的信息的获取

至此，实现了通过scrapy库对全站信息的爬取

具体代码实现:
# -*- coding: utf-8 -*-
import scrapy
from bs4 import BeautifulSoup
from scrapy import Request
from lxml import etree
from Weather.items import WeatherItem


class WeatherSpider(scrapy.Spider):
    name = 'dmoz'  # 爬虫的名字
    # 允许爬虫的网站容器
    # allowed_domains = ['tianqihoubao']
    start_urls = ['http://www.tianqihoubao.com/lishi/']

    # 解析http://www.tianqihoubao.com/lishi/网页，获取每个省中的每个城市的信息的url
    def parse(self, response):
        soup = BeautifulSoup(response.text, 'lxml')
        citylists = soup.find_all(name='div', class_='citychk')
        # 获取到了省份的城市列表
        for citys in citylists:
            # 获取每个省份中的每个城市列表
            for city in citys.find_all(name='dd'):
                # 通过每个省中的每个城市信息来组成每一个城市的url信息
                url = 'http://www.tianqihoubao.com' + city.a['href']
                # 返回Request对象，作为新的url由框架进行调度请求，返回的response有回调函数parse_citylist进行解析
                yield Request(url=url,callback=self.parse_citylist)

    # 例如解析http://www.tianqihoubao.com/lishi/beijing.html，获取到每一个城市每一年具体到每一个月的天气的url
    def parse_citylist(self, response):
        soup = BeautifulSoup(response.text, 'lxml')
        # 可以获取2011年到2019年的全部信息,这里是获取一年的天气信息
        monthlist = soup.find_all(name='div', class_='wdetail')
        for months in monthlist:
            # 遍历每一个li标签下的月份信息
            for month in months.find_all(name='li'):
                if month.text.endswith("季度:"):
                    continue
                else:
                    url = month.a['href']
                    url = 'http://www.tianqihoubao.com' + url
                    # 返回Request对象，作为新的url由框架进行调度请求，返回的response由parse_weather进行解析
                    yield Request(url=url,callback=self.parse_weather)

    # 通过每一个月的url,来获取到每一天的天气信息
    def parse_weather(self, response):
        url = response.url
        # 获取城市名称
        cityname = url.split('/')[4]

        weather_html = etree.HTML(response.text)
        # 每一条详细信息的集合
        table = weather_html.xpath('//table//tr//td//text()')
        listall = []
        # 获取每一条的详细内容
        for t in table:
            # 如果标签内没有信息的话
            if t.strip() == '':
                continue
            # 替换元素中的空格和\r\n
            t1 = t.replace(' ', '')
            t2 = t1.replace('\r\n', '')
            listall.append(t2.strip())
        # 对提取到的列表数据进行拆分，将一个月的天气数据拆分成每天的天气情况
        n = 4
        # 这里相当于把元祖里面的元素四个重组成一个元素了
        sublist = [listall[i:i + n] for i in range(0, len(listall), n)]
        # 删除表头标题那一行，去除不需要的标题信息
        sublist.remove(sublist[0])

        # 将列表元素中的最高和最低气温拆分，方便后续数据分析，并插入城市代码 这里是对于每一个列表
        for sub in sublist:
            # sublist[0]中不存在任何信息
            if sub == sublist[0]:
                pass
            # 可以切片，将温度分为为最高温度和最低温度
            sub2 = sub[2].split('/')
            sub.remove(sub[2])
            sub.insert(2, sub2[0])
            sub.insert(3, sub2[1])
            sub.insert(0, cityname)

            Weather = WeatherItem()  # 使用items中定义的数据结构

            Weather['cityname'] = sub[0]
            Weather['date'] = sub[1]
            Weather['tq'] = sub[2]
            Weather['maxtemp'] = sub[3]
            Weather['mintemp'] = sub[4]
            Weather['fengli'] = sub[5]
            yield Weather

结果:


代码来源: https://www.cnblogs.com/lxbmaomao/p/10367181.html

	（一）学习方面


	①学习PHP了解PHP如何进行MYsql数据库的操作，研究了一早上没研究出什么，到晚上才有点门路，出现


	的问题总是连接进去了，无法查询到数据库表，到晚上解决了，现在进行增删改的操作，打算写个接口，但是


	这样写的话一旦暴露就会面临sql注入的危险。


	（二）健康方面


	①步行1022步


	（三）思维方面


	①二月份时间紧张，做好一切准备，学习


	②PHP很强大，回顾PHP，学习更多新东西


	（四）明日计划


	①学习
本文固定链接: http://boeek.cn/?post=135
转载请注明: : APan 2018年1月31日 于 APan的博客 发表



    
       


最后编辑：2018-01-31
作者：APan
来自一个程序猿的经典独白
 站内专栏  邮箱