随笔记录方便自己和同路人查阅。
#------------------------------------------------我是可耻的分割线-------------------------------------------
在前面电话号码正则表达式的例子中，你知道\d可以代表任何数字。也就是说，\d是正则表达式(0|1|2|3|4|5|6|7|8|9)的缩写。
有许多这样的“缩写字符分类”。如：
\d表示0到9的任何数字
\D表示除0到9的数字以外的任何字符
\w表示任何字符、数字或下划线字符(可以认为是匹配“单词”字符)
\W表示除字符、数字或下划线字符以外的任何字符
\s表示空格、制表符或换行符(可以认为是匹配“空白”字符)
\S表示除空格、制表符和换行符以外的任何字符
字符分类对于缩短正则表达式很有用。字符分类[0-5]只匹配数字 0 到 5，这比输入(0|1|2|3|4|5)要短很多。
#------------------------------------------------我是可耻的分割线-------------------------------------------
示例代码：
#! python 3
# -*- coding:utf-8 -*-
# Autor: Li Rong Yang
import re#导入模块
xmasRegex = re.compile(r'\d+\s\w+')
xmasRegex = xmasRegex.findall('''12 drummers, 11 pipers, 10 lords, 9 ladies,
8 maids, 7swans, 6 geese, 5 rings, 4 birds, 3 hens, 2 doves, 1 partridge''')
print(xmasRegex)
运行结果：

follwing-sibling

following-sibling 选取当前节点之后的所有同级节点,跟preceding-sibling一样都是选取同级同父的节点，只不过following是取对应节点之后的节点，preceding-sibling取的是该节点之前的节点。

1. 遍历京东图书的伪代码：
# 获取所有大分类标签dt
        dt_list = '//*[@id="booksort"]/div[2]/dl/dt'
        
        #遍历52个大分类
        for dt in dt_list:
            category = './a/text()'
            # 根据大分类找小分类
            em_list = './following-sibling::* [1]/em'
            
            for em in em_list:
                small_category = '.a/text()'
                # 注意点： 小分类的链接需要拼接 加 http
                small_link = 'http' + './a/@href'
           

2.scrapy数据数据解析：
 response.xpah().extract()
 response.xpah().extract_first() 取一个数据



检验爬取大分类下对应的小分类：

class BookSpider(scrapy.Spider):
    name = 'book'
    allowed_domains = ['jd.com']
    # 第一层 爬取所有图书--首页
    start_urls = ['https://book.jd.com/booksort.html']

    def parse(self, response):
        # 获取所有大分类标签dt
        dt_list = response.xpath('//*[@id="booksort"]/div[2]/dl/dt[1]')

        # 遍历52个大分类
        for dt in dt_list:
            # 完整的 图书数据包括 ： 大分类 小分类 名字 作者 出版社 价格
            # item{} 设置一个容器 用来存储解析来的数据 方便与以后添加进数据库
            item = {}
            item['category'] = dt.xpath('./a/text()').extract_first()

            # 根据大分类找小分类
            em_list = dt.xpath('./following-sibling::* [1]/em')

            for em in em_list:
                item['small_category'] = em.xpath('./a/text()').extract_first()
                # 注意点： 小分类的链接需要拼接 加 http
                small_link = 'http' + em.xpath('./a/@href').extract_first()
                print(item)


4. 开始遍历60本书
 # 遍历解析 60本书的详细信息
	 list_book = '//*[@id="plist"]/ul/li'
        for book in list_book :
            # 书名
            name = './/div[@class="p-name"]/a/em/text()'
            
            # 作者
            author = './/span[@class="p-bi-name"]/span/a/text()'
            
            # 出版社
            store = './/span[@class="p-bi-store"]/a/text()' 
                     
            # 价格
            price = './/div/strong[@class="J_price"]/i/text()'
            
            # 图片地址
            default_image = "https:"+'.//div/div[@class="p-img"]/a/img/@src'


代码：
    def parse_book(self,response):
        item = response.meta.get('book')
        # 解析所有书的数据 --60本
        list_book = response.xpath('//*[@id="plist"]/ul/li/div')

        # 遍历解析 60本书的详细信息
        for book in list_book[:2]:
            # 书名
            item['name'] = book.xpath('.//div[@class="p-name"]/a/em/text()').extract_first()

            # 作者
            item['author'] = book.xpath('.//span[@class="p-bi-name"]/span/a/text()').extract_first()

            # 出版社
            item['store'] = book.xpath('.//span[@class="p-bi-store"]/a/text()').extract_first()

            # 价格
            item['price'] = book.xpath('.//strong[@class="J_price"]/i/text()').extract_first()

            # 图片地址
            item['default_image'] = book.xpath('.//div/div[@class="p-img"]/a/img/@src').extract_first()

            print(item)

结果：


5在控制台输入: scrapy crawl book -o data.json

之后会生成data.json 文件，看不懂就粘贴复制到：https://www.json.cn/

输出层的神经元数应该与分类数匹配(分类数大于等于2)则是一个监督学习任务，对吗？
  不对！

  解析：这与输出的编码(encoding)方式有关，如果是one-hot encoding，就满足条件，不过你也可以以二进制的方式来输出分类结果，比如00，01，10，11代表不同的四类。

    
随笔记录方便自己和同路人查阅。
#------------------------------------------------我是可耻的分割线-------------------------------------------
　　有时候你想匹配一组字符，但缩写的字符分类(\d、\w、\s)太宽泛。你可以用用方括号定义自己的字符分类。
列如，字符分类[aeiouAEIOU]将匹配所有元音字符，不论大小写。
#------------------------------------------------我是可耻的分割线-------------------------------------------
　　示例代码：

#! python 3
# -*- coding:utf-8 -*-
# Autor: Li Rong Yang
import re#导入re模块
vowelRegex = re.compile(r'[aeiouAEIOU]')#建立自己的分类，匹配所有的[aeiouAEIOU]方括号的内容
mo = vowelRegex.findall('RoboCop eats baby food. BABY FOOD.')#查找文本内容
print(mo)#打印内容


　　运行结果：

 

转载于:https://www.cnblogs.com/lirongyang/p/9575256.html