2017-04-19 20:28:10 coffee801 阅读数 1065
  • Python数据分析实战-Pandas

    深度学习、机器学习和数据分析必须用pandas。pandas是在python直接流行的数据处理框架。可以说,如果不会使用pandas,就谈不上会用python做数据分析。本课程会使用奥林匹克一个真实的数据作为实验数据,从初级到各种pandas的常用操作,到常用的数据可视化,让你在短的时间内掌握好pandas,轻松愉快的玩转数据分析。

    2344 人正在学习 去看看 阿勒拉哈

小编最近在学习Python网络爬虫爬取数据,发现一本挺不错的教材《Python网络数据采集》,推荐给大家,有需要Python学习资料的可以来这个群,首先是四七二,中间是三零九,最后是二六一,里面有大量的学习资料可以下载。当然也会写一些小的爬虫程序,欢迎留言交流。

案例分享:为了找一份Python实习,我用爬虫收集数据

import requests,xlwt,os

from bs4 import BeautifulSoup

from lxml import etree

from fake_useragent import UserAgent

ua = UserAgent()

headers = {'User-Agent': 'ua.random'}

job = []

location = []

company = []

salary = []

link = []

for k in range(1, 10):

url = 'http://www.shixiseng.com/interns?k=python&p=' + str(k)

r = requests.get(url, headers=headers).text

s = etree.HTML(r)

job1 = s.xpath('//a/h3/text()')

location1 = s.xpath('//span/span/text()')

company1 = s.xpath('//p/a/text()')

salary1 = s.xpath('//span[contains(@class,"money_box")]/text()')

link1 = s.xpath('//div[@class="job_head"]/a/@href')

for i in link1:

url = 'http://www.shixiseng.com' + i

link.append(url)

salary11 = salary1[1::2]

for i in salary11:

salary.append(i.replace('\n\n', ''))

job.extend(job1)

location.extend(location1)

company.extend(company1)

detail = []

for i in link:

r = requests.get(i, headers=headers).text

soup = BeautifulSoup(r, 'lxml')

word = soup.find_all(class_="dec_content")

for i in word:

a = i.get_text()

detail.append(a)

book = xlwt.Workbook()

sheet = book.add_sheet('sheet', cell_overwrite_ok=True)

path = 'D:\\Pycharm\\spider'

os.chdir(path)

j = 0

for i in range(len(job)):

try:

sheet.write(i + 1, j, job[i])

sheet.write(i + 1, j + 1, location[i])

sheet.write(i + 1, j + 2, company[i])

sheet.write(i + 1, j + 3, salary[i])

sheet.write(i + 1, j + 4, link[i])

sheet.write(i + 1, j + 5, detail[i])

except Exception as e:

print('出现异常:' + str(e))

continue

book.save('d:\\python.xls')

好书推荐:Python网络数据采集(附代码)

好书推荐:Python网络数据采集(附代码)

好书推荐:Python网络数据采集(附代码)

好书推荐:Python网络数据采集(附代码)


2018-10-17 21:28:32 lsxxx2011 阅读数 3373
  • Python数据分析实战-Pandas

    深度学习、机器学习和数据分析必须用pandas。pandas是在python直接流行的数据处理框架。可以说,如果不会使用pandas,就谈不上会用python做数据分析。本课程会使用奥林匹克一个真实的数据作为实验数据,从初级到各种pandas的常用操作,到常用的数据可视化,让你在短的时间内掌握好pandas,轻松愉快的玩转数据分析。

    2344 人正在学习 去看看 阿勒拉哈

经过10多个月的努力,《从零开始学Python--数据分析与挖掘》的新书上市啦,在此感谢清华大学出版社对本书提出的宝贵建议,也感谢广大网友及粉丝对我的期待。本书一共包含16章的内容,涉及四大模块,分别是Python基础储备、Python数据运算与整理、Python数据可视化和Python数据挖掘理论与实战

 

 

在招聘平台上搜索数据分析或挖掘岗时,绝大多数的招聘方都要求应聘者掌握Python、R语言、SAS或SPSS等统计分析工具,尤其是开源的Python和R语言,如果你对她们并不是很了解,那也许你无法胜任这样的岗位。本书的初衷就是站在数据分析与挖掘的岗位,将Python中基本而重要的内容呈现给大家,使零基础的朋友可以按部就班地掌握数据分析与挖掘的操作流程,使有经验的朋友可以进一步地提升数据分析与挖掘的实操技能。

 

各章内容

  • 第一章,数据分析与挖掘概览

  • 第二章,从收入的预测分析开始

  • 第三章,Python入门基础

  • 第四章,Python数值计算工具--Numpy

  • 第五章,Python数据处理工具--Pandas

  • 第六章,Python数据可视化--Matplotlib

  • 第七章,基于线性回归模型的预测

  • 第八章,岭回归与LASSO回归模型的比较和应用

  • 第九章,基于Logistic回归模型的分类

  • 第十章,决策树与随机森林的比较和应用

  • 第十一章,基于KNN模型的预测和分类

  • 第十二章,三类朴素贝叶斯模型的比较和应用

  • 第十三章,SVM模型的应用

  • 第十四章,提升树之GBDT模型的应用与发展

  • 第十五章,Kmeans聚类分析的应用

  • 第十六章,DBSCAN与层次聚类的比较和应用

 

本书特色

  • 通俗易懂,结合易于理解的案例讲解Python的相关知识点,尤其对于数据挖掘部分,通过简单的语言解释深奥的理论,降低读者朋友对数据挖掘的畏惧感;

  • 结构清晰,基于数据分析的流程,涵盖数据的读取、清洗、整理、运算、可视化、建模和评估,使读者朋友在学习的过程中掌握其中的技巧;

  • 内容丰富,书中包含十几种数据处理的常用方法(如类型转换、正则表达式、缺失值填充、异常值识别、多数据源的合并与连接等)、十几种常见的统计图形(如饼图、条形图、直方图、小提琴图、折线图、散点图、雷达图等)以及十大数据挖掘算法的实战(如回归型模型、树型模型、距离型模型、概率型模型、无监督的聚类模型);

  • 易于上手,免费提供所有章节的源代码以及数据源,源代码中包含详细的中文注释和解说,读者朋友可以轻松地在Python3中跑代码;

 

适用人群

  • 统计学、数学、经济学、金融学、管理学以及相关理工科专业的本科生、研究生;

  • 希望从事或转型数据分析或挖掘的在校学生或在职人员;

  • 对数据分析或挖掘感兴趣的在校学生或在职人员;

  • 希望提升数据分析或挖掘水平和技能的数据咨询、研究员或分析师等在职人员;

 

致谢

最后再次感谢清华大学出版社的编辑以及其他默默为本书付出的出版工作者,真诚地感谢广大网友及粉丝朋友的期待和关注,是你们给了我动力坚持将Python内容写好写足。同时,也期待你们在新书上市后,给予指正和建议。

2019-05-24 15:05:28 haikuotiankong7 阅读数 397
  • Python数据分析实战-Pandas

    深度学习、机器学习和数据分析必须用pandas。pandas是在python直接流行的数据处理框架。可以说,如果不会使用pandas,就谈不上会用python做数据分析。本课程会使用奥林匹克一个真实的数据作为实验数据,从初级到各种pandas的常用操作,到常用的数据可视化,让你在短的时间内掌握好pandas,轻松愉快的玩转数据分析。

    2344 人正在学习 去看看 阿勒拉哈

半路出家,学习机器学习,参加了一系列大数据竞赛,取得了较为不错的成绩

想给有同样想法的人推荐一波自己的学习之路

1.python必看教程:

        Magnus Lie Hetland 著,袁国忠 译的  Python基础教程(第3版) 链接(京东): https://item.jd.com/12279949.html

        推荐看些基础概念,python的应用在很多方面,真正的掌握主要依赖于后续项目的实践

 

2.机器学习必看书籍:

书籍:

        李航老师的统计学习      链接(京东): https://item.jd.com/12385906.html 

        周志华老师的机器学习   链接(京东):https://item.jd.com/11867803.html

视频: 吴恩达老师 的机器学习视频  

网易云课堂免费,链接:https://study.163.com/course/introduction/1004570029.htm

 

3.python机器学习实践:

当基本了解python和机器学习的理论后,需要上手些项目进行实践,

           机器学习Python 实践   链接(京东):https://item.jd.com/12252293.html

           机器学习实战                链接(京东):https://item.jd.com/11242112.html

这两本书主要涉及分类回归等基本算法,有些小项目可以直接上手,很值得推荐

 

4. 项目&实践

划重点划重点:

对于没有项目的小伙伴们,推荐打比赛提高自己的技能

国外: Kaggle,  KDD

国内: 天池大数据、京东大数据、DataCastle平台、科赛平台

 

5.深度学习必看教程:

视频  :  还是推荐吴恩达老师的视频,同样在网易云课堂

           链接:https://study.163.com/courses-search?keyword=吴恩达

如果涉及图像,推荐李飞飞老师的《深度学习与计算机视觉》 

链接:https://study.163.com/courses-search?keyword=李飞飞

书籍 :框架的话自己最开始接触的是tensorflow,就介绍下当时看tensorflow的基本书

TensorFlow:实战Google深度学习框架     链接(京东):https://item.jd.com/12287533.html

TensorFlow实战   链接(京东):https://item.jd.com/12125568.html

最后,推荐一波自己的公众号,Python机器学习进阶之路

 

2018-07-31 19:07:29 geekmubai 阅读数 1707
  • Python数据分析实战-Pandas

    深度学习、机器学习和数据分析必须用pandas。pandas是在python直接流行的数据处理框架。可以说,如果不会使用pandas,就谈不上会用python做数据分析。本课程会使用奥林匹克一个真实的数据作为实验数据,从初级到各种pandas的常用操作,到常用的数据可视化,让你在短的时间内掌握好pandas,轻松愉快的玩转数据分析。

    2344 人正在学习 去看看 阿勒拉哈

一、将Python对象转换成json对象

import json
def python_to_json():
    """ 将python对象转换成json """
    d = {
        'name': 'python书籍',
        'price': 62.3,
        'is_valid': True
    }
    rest = json.dumps(d, indent=4) //设置首行缩进
    print(rest)

二、将json转换成python

def json_to_python():
""" 将json转换成python """
data = '''
    {
        "name": "Python书籍",
        "origin_price": 66,
        "pub_date": "2018-4-14 17:00:00",
        "store": ["京东", "淘宝"],
        "author": ["张三", "李四", "Jhone"],
        "is_valid": true,
        "is_sale": false,
        "meta": {
            "isbn": "abc-123",
            "pages": 300
        },
        "desc": null
    }
'''
rest = json.loads(data)
print(rest)
print(rest['name'])

三、从文件读取内容,并转换成python对象

def json_to_python_from_file():
    """ 从文件读取内容,并转换成python对象 """
    f = open('./static/book.json', 'r', encoding='utf-8') 以只读的格式,utf-8 的编码读取
    s = f.read()
    print(s)
    rest = json.loads(s)
    print(rest['name'])
    f.close()  //打开文件后一定要关闭
2016-07-09 16:27:53 GarfieldEr007 阅读数 6531
  • Python数据分析实战-Pandas

    深度学习、机器学习和数据分析必须用pandas。pandas是在python直接流行的数据处理框架。可以说,如果不会使用pandas,就谈不上会用python做数据分析。本课程会使用奥林匹克一个真实的数据作为实验数据,从初级到各种pandas的常用操作,到常用的数据可视化,让你在短的时间内掌握好pandas,轻松愉快的玩转数据分析。

    2344 人正在学习 去看看 阿勒拉哈
杜客 ,CS231n授权翻译中
李小琴 ,只答,不问。
H Hsu ,Quant Analyst, Machine Learning
黄哥 ,python培训
子珂 ,土木+互联网产品
匿名用户
neng candy ,复旦金融硕
Spark ,我说的白是(255,255,255)
文敏 ,学生
冬冬 ,伟大的歌名家,死相家,厮人,靴子,总撑…
Lawliet ,算命工程师
小白学量化 ,从事量化交易的主动投资者
没有更多推荐了,返回首页