13518219792
作者看着网上各种数据分析的知识泛滥， 但是没有什么体系，初学者不知道学哪些， 不知道学多少， 不知道学多深， 单纯一个python语言， 数据分析会用到那种程度， 不可能说像开发那样去学， numpy如果不是做算法工程师用到的知识并不多， pandas知识杂乱无章， 哪些才是最常用的功能等等， 作者不忍众生皆苦， 决定写一套python数据分析的全套教程， 目前已完成一部分课件的制作。需要说明的是， 作为一名数据分析师， 你应该先会一点Excel和SQL知识，相关的内容， 网上很多。但是， 即便你一点Excel和SQL都不会也不会影响这部分的学习 ！目前作者整理的大纲如下：
在井陉矿等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供成都网站制作、做网站、外贸营销网站建设 网站设计制作按需规划网站,公司网站建设,企业网站建设,品牌网站建设,全网整合营销推广,外贸网站制作,井陉矿网站建设费用合理。
第一章 python编程基础
1.1 python语言概述 1.2 数据科学神器--Anaconda介绍与安装 1.3 标准输入输出 1.4 变量定义与赋值 1.5 数据类型 1.6 流程控制语句 1.7 函数
1.8 面向对象编程 第二章 python数据清洗之numpy 2.1 核心ndarray对象的创建 2.2 ndarray对象常用的属性和方法 2.3 ndarray对象的索引和切片 2.4 ndarray对象的分割与合并 2.5 ndarray对象的广播(Broadcast) 2.6 numpy中的算术运算函数 2.7 numpy中的统计函数 2.8 numpy中的排序 搜索 计数 去重函数 2.9 numpy中的字符串函数 2.10 numpy中可能会用到的线性代数模块（后期机器学习会用到一点）
第三章 数据清洗神器pandas
3.1 pandas核心对象之Series对象的创建 常用属性和方法 3.2 pandas核心对象之DataFrame对象的创建 常用属性和方法 3.3 DataFrame对象的列操作和行操作 3.4 DataFrame对象的索引和切片 3.5 DataFrame对象的布尔索引 3.6 数据的读入与导出 3.7 groupby分组运算 3.8 数据合并与数据透视
第四章 数据可视化matplotlib seaborn pyecharts
4.1 包括常用图形的绘制，略
第五章 实战案列
5.1 拉勾网数据分析相关职位分析 5.2 boss直聘数据分析相关职位分析 5.3 珍爱网女性用户数据分析
第六章 机器学习
机器学习部分， 简单的算法会讲手写， 难的就用scikit-learn实现， 可能有小伙伴说， 这是调包侠干的， 小哥哥！小姐姐！哪有那么多公司， 那么多人自己干写算法的， 有几个人敢说他写的算法比scikit-learn写得好？ 再说了， 你是数据分析师， 这些是你的工具， 解决问题的！不是一天到晚拉格朗日对偶性！先来个机器学习介绍， 然后如下：
6.1 K近邻算法 6.2 Kmeans算法 6.3 决策树 阶段案列：决策树案列(保险行业) 6.4 线性回归 岭回归 Lasso回归 6.5 逻辑回归 6.6 朴素贝叶斯 阶段案列：推荐系统(电商玩具) 6.7 随机森林 6.8 Adaboost 6.9 梯度提升树GBDT 6.10 极端梯度提升树Xgboost 6.11 支持向量机SVM 6.12 神经网络 阶段案例：Xgboost案例
------------------------------本节内容-----------------------------------------
python语言概述
在说python之前， 我们还是先来看看计算机软硬件的发展历史。
1 计算机硬件的发展历史
第一代计算机-电子管计算机（1946-1957）
无论如何，一项技术的突破必然伴随着其他行业的突破，简而言之，电子计算机的出现，前提必须有电子技术的进步，否则一切都是空谈！下面是我列举出计算机硬件的发展过程中， 一些比较重要的事件。
1906年， 美国的Lee De Forest 发明了电子管。在这之前造出数字电子计算机是不可能的。这为电子计算机的发 展奠定了基础。
1924年2月， 一个具有划时代意义的公司成立，IBM。
1935年， IBM推出IBM 601机。 这是一台能在一秒钟算出乘法的穿孔卡片计算机。这台机器无论在自然科学还是在商业意义上都具有重要的地位。大约造了1500台。
1937年， 英国剑桥大学的Alan M. Turing (1912-1954)出版了他的论文 ，并提出了被后人称之为"图灵机"的数学模型。
1937年， 美国贝尔试验室的George Stibitz展示了用继电器表示二进制的装置。尽管仅仅是个展示品，但却是世界上第一台二进制电子计算机。
1941年， Atanasoff和学生Berry完成了能解线性代数方程的计算机，取名叫"ABC"（Atanasoff-Berry Computer），用电容作存储器，用穿孔卡片作辅助存储器，那些孔实际上是"烧"上的。 时钟频率是60HZ，完成一次加法运算用时一秒。这就是ABC计算机。
1946年， 美国宾夕法尼亚大学，第一台通用电子计算机ENIAC (Electronic Numerical Integrator 和 Computer)诞生， 总工程师埃克特在当时年仅25岁。
这时的计算机的基本线路是采用电子管结构，程序从人工手编的 机器指令程序（0 1），过渡到符号语言（汇编），电子管计算机是计算工具革命性发展的开始，它所采用的进位制与程序存贮等基本技术思想，奠定了现代电子计算机技术基础。以冯·诺依曼为代表。
第二代计算机——晶体管计算机（时间1957~1964）
电子管时代的计算机尽管已经步入了现代计算机的范畴，但其体积之大、能耗之高、故障之多、价格之贵大大制约了它的普及应用。直到晶体管被发明出来，电子计算机才找到了腾飞的起点，一发而不可收……
20世纪50年代中期，晶体管的出现使计算机生产技术得到了根本性的发展，由晶体管代替电子管作为计算机的基础器件，用 磁芯或磁鼓作存储器，在整体性能上，比第一代计算机有了很大的提高。
第三代计算机——中小规模集成电路计算机（时间1964~1971）
20世纪60年代中期， 计算机发展历程随着半导体工艺的发展，成功制造了集成电路。中小规模集成电路成为计算机的主要部件，主存储器也渐渐过渡到 半导体存储器，使计算机的体积更小，大大降低了计算机计算时的功耗，由于减少了 焊点和 接插件，进一步提高了计算机的可靠性。
第四代计算机——大规模和超大规模集成电路计算机（时间1971~至今）
随着大规模集成电路的成功制作并用于计算机硬件生产过程，计算机的体积进一步缩小，性能进一步提高。集成更高的大容量半导体存储器作为内存储器，发展了并行技术和多机系统，出现了 精简指令集计算机（RISC），软件系统工程化、理论化，程序设计自动化。微型计算机在社会上的应用范围进一步扩大，几乎所有领域都能看到计算机的“身影”。
第五代计算机——泛指具有人工智能的计算机（至今~未来）
目前还没有明确地定义
2 简述计算机软件的发展历史
编程语言的发展
计算机软件系统的发展，也伴随着编程语言的发展。计算机程序设计语言的发展，经历了从机器语言、汇编语言到高级语言的历程。
机器语言：简单点说，机器本身也只认识0和1，电路无非就只有通和断两种状态，对应的二进制就是二进制的1和1。
汇编语言：汇编语言只是把一些特殊的二进制用特殊的符号表示，例如，机器要传送一个数据，假设“传送”这个指令对应的机器码是000101，则人们把000101用一个特殊符号，比如mov来表示，当人们要用这个指令时用mov就行，但是mov的本质还是000101，没有脱离硬件的范围，有可能这个指令不能在其他机器上用。
高级语言：高级语言完全脱离了硬件范畴，所有的语法更贴近人类的自然语言，人们只需要清楚高级语言的语法，写出程序就行了，剩下的交给编译器或者解释器去编译或者解释成机器语言就行了，看，这样就完全脱离了硬件的范畴，大大提高了程序的开发效率。接下来我们就来看看高级语言的发展，高级语言非常多，我们主要看看比较经典的几个。
高级语言的发展
B语言与Unix
20世纪60年代，贝尔实验室的研究员Ken Thompson（肯·汤普森）发明了B语言，并使用B编了个游戏 - Space Travel，他想玩自己这个游戏，所以他背着老板找到了台空闲的机器 - PDP-7，但是这台机器没有操作系统，于是Thompson着手为PDP-7开发操作系统，后来这个OS被命名为 - UNIX。
C语言
1971年，Ken Thompson（肯·汤普森）的同事D.M.Ritchie（DM里奇），也很想玩Space Travel，所以加入了Ken Thompson，合作开发UNIX，他的主要工作是改进Thompson的B语言。最终，在1972年这个新语言被称为C，取BCPL的第二个字母，也是B的下一个字母。
C语言和Unix
1973年，C主体完成。Ken Thompson和D.M.Ritchie迫不及待的开始用C语言完全重写了UNIX。此时编程的乐趣已经使他们完全忘记了那个“Space Travel”，一门心思的投入到了UNIX和C语言的开发中。自此，C语言和UNIX相辅相成的发展至今。
类C语言起源、历史
C++（C plus plus Programming Language） - 1983
还是贝尔实验室的人，Bjarne Stroustrup（本贾尼·斯特劳斯特卢普） 在C语言的基础上推出了C++，它扩充和完善了C语言，特别是在面向对象编程方面。一定程度上克服了C语言编写大型程序时的不足。
Python （Python Programming Language）--1991
1989年圣诞节期间，Guido van Rossum 在阿姆斯特丹，Guido van Rossum为了打发圣诞节的无趣，决心开发一个新的脚本解释程序，做为ABC语言的一种继承。之所以选中Python（大蟒蛇的意思）作为该编程语言的名字，是因为他是一个叫Monty Python的喜剧团体的爱好者。第一个Python的版本发布于1991年。
Java（Java Programming Language） - 1995
Sun公司的Patrick Naughton的工作小组研发了Java语言，主要成员是James Gosling（詹姆斯·高斯林）
C（C Sharp Programming Language） - 2000
Microsoft公司的Anders Hejlsberg（安德斯·海尔斯伯格）发明了C，他也是Delphi语言之父。
当然现在还有一些新语言，比如2009年Google的go语言，以及麻省理工的julia等。
3 为什么是Python
Python有哪些优点
1 语法简单 漂亮：我们可以说Python是简约的语言，非常易于读写。在遇到问题时，我们可以把更多的注意力放在问题本身上，而不用花费太多精力在程序语言、语法上。
2 丰富而免费的库：Python社区创造了各种各样的Python库。在他们的帮助下，你可以管理文档，执行单元测试、数据库、web浏览器、电子邮件、密码学、图形用户界面和更多的东西。所有东西包括在标准库，然而，除了它，还有很多其他的库。
3 开源：Python是免费开源的。这意味着我们不用花钱，就可以共享、复制和交换它，这也帮助Python形成了丰富的社区资源，使其更加完善，技术发展更快。
4 Python既支持面向过程，也支持面向对象编程。在面向过程编程中，程序员复用代码，在面向对象编程中，使用基于数据和函数的对象。尽管面向对象的程序语言通常十分复杂，Python却设法保持简洁。
5 Python兼容众多平台，所以开发者不会遇到使用其他语言时常会遇到的困扰。
Python有哪些作用
Python是什么都能做，但是我们学的是数据分析，我们看看在数据分析领域Python能做什么。
数据采集：以Scrapy 为代表的各类方式的爬虫
数据链接：Python有大量各类数据库的第三方包，方便快速的实现增删改查
数据清洗：Numpy、Pandas，结构化和非结构化的数据清洗及数据规整化的利器
数据分析：Scikit-Learn、Scipy，统计分析，科学计算、建模等
数据可视化：Matplotlib、Seaborn等等大量各类可视化的库
所以说总结， 为什么数据科学选的是python， 最重要就是两个原因：
1 语法简单漂亮
2 大量丰富免费的第三方库
raw_input("")
start()
改成上面这样，raw_input()会等待用户输入，只有用户输入了信息后，才会执行start（）
这个问题，300分你还真舍得，我还以为我的回答消失了呢。。。原来是两个问题。。
Python2.x与3.x版本区别
Python的3.0版本，常被称为Python 3000，或简称Py3k。相对于Python的早期版本，这是一个较大的升级。
为了不带入过多的累赘，Python 3.0在设计的时候没有考虑向下相容。
许多针对早期Python版本设计的程式都无法在Python 3.0上正常执行。
为了照顾现有程式，Python 2.6作为一个过渡版本，基本使用了Python 2.x的语法和库，同时考虑了向Python 3.0的迁移，允许使用部分Python 3.0的语法与函数。
新的Python程式建议使用Python 3.0版本的语法。
除非执行环境无法安装Python 3.0或者程式本身使用了不支援Python 3.0的第三方库。目前不支援Python 3.0的第三方库有Twisted, py2exe, PIL等。
大多数第三方库都正在努力地相容Python 3.0版本。即使无法立即使用Python 3.0，也建议编写相容Python 3.0版本的程式，然后使用Python 2.6, Python 2.7来执行。
Python 3.0的变化主要在以下几个方面:
print 函数
print语句没有了，取而代之的是print()函数。 Python 2.6与Python 2.7部分地支持这种形式的print语法。在Python 2.6与Python 2.7里面，以下三种形式是等价的：
print "fish"print ("fish") #注意print后面有个空格print("fish") #print()不能带有任何其它参数
然而，Python 2.6实际已经支持新的print()语法：
from __future__ import print_functionprint("fish", "panda", sep=', ')
Unicode
Python 2 有 ASCII str() 类型，unicode() 是单独的，不是 byte 类型。
现在， 在 Python 3，我们最终有了 Unicode (utf-8) 字符串，以及一个字节类：byte 和 bytearrays。
由于 Python3.X 源码文件默认使用utf-8编码，这就使得以下代码是合法的：
中国 = 'china'print(中国)china
Python 2.x
str = "我爱北京天安门" str'æç±å京天å®é¨' str = u"我爱北京天安门" stru'我爱北京天安门'
Python 3.x
str = "我爱北京天安门" str'我爱北京天安门'
除法运算
Python中的除法较其它语言显得非常高端，有套很复杂的规则。Python中的除法有两个运算符，/和//
首先来说/除法:
在python 2.x中/除法就跟我们熟悉的大多数语言，比如Java啊C啊差不多，整数相除的结果是一个整数，把小数部分完全忽略掉，浮点数除法会保留小数点的部分得到一个浮点数的结果。
在python 3.x中/除法不再这么做了，对于整数之间的相除，结果也会是浮点数。
Python 2.x:
1 / 20 1.0 / 2.00.5
Python 3.x:
1/20.5
而对于//除法，这种除法叫做floor除法，会对除法的结果自动进行一个floor操作，在python 2.x和python 3.x中是一致的。
python 2.x:
-1 // 2-1
python 3.x:
-1 // 2-1
注意的是并不是舍弃小数部分，而是执行floor操作，如果要截取小数部分，那么需要使用math模块的trunc函数
python 3.x:
import math math.trunc(1 / 2)0 math.trunc(-1 / 2)0
异常
在 Python 3 中处理异常也轻微的改变了，在 Python 3 中我们现在使用 as 作为关键词。
捕获异常的语法由 except exc, var 改为 except exc as var。
使用语法except (exc1, exc2) as var可以同时捕获多种类别的异常。 Python 2.6已经支持这两种语法。
1. 在2.x时代，所有类型的对象都是可以被直接抛出的，在3.x时代，只有继承自BaseException的对象才可以被抛出。
2. 2.x raise语句使用逗号将抛出对象类型和参数分开，3.x取消了这种奇葩的写法，直接调用构造函数抛出对象即可。
在2.x时代，异常在代码中除了表示程序错误，还经常做一些普通控制结构应该做的事情，在3.x中可以看出，设计者让异常变的更加专一，只有在错误发生的情况才能去用异常捕获语句来处理。
xrange
在 Python 2 中 xrange() 创建迭代对象的用法是非常流行的。比如： for 循环或者是列表/集合/字典推导式。
这个表现十分像生成器（比如。"惰性求值"）。但是这个 xrange-iterable 是无穷的，意味着你可以无限遍历。
由于它的惰性求值，如果你不得仅仅不遍历它一次，xrange() 函数 比 range() 更快（比如 for 循环）。尽管如此，对比迭代一次，不建议你重复迭代多次，因为生成器每次都从头开始。
在 Python 3 中，range() 是像 xrange() 那样实现以至于一个专门的 xrange() 函数都不再存在（在 Python 3 中 xrange() 会抛出命名异常）。
import timeitn = 10000def test_range(n):return for i in range(n):passdef test_xrange(n):for i in xrange(n):pass
Python 2
print 'Python', python_version()print ' timing range()'%timeit test_range(n)print ' timing xrange()'%timeit test_xrange(n)Python 2.7.6timing range()1000 loops, best of 3: 433 µs per looptiming xrange()1000 loops, best of 3: 350 µs per loop
Python 3
print('Python', python_version())print(' timing range()')%timeit test_range(n)Python 3.4.1timing range()1000 loops, best of 3: 520 µs per loop
print(xrange(10))---------------------------------------------------------------------------NameError Traceback (most recent call last)ipython-input-5-5d8f9b79ea70 in module()---- 1 print(xrange(10))NameError: name 'xrange' is not defined
八进制字面量表示
八进制数必须写成0o777，原来的形式0777不能用了；二进制必须写成0b111。
新增了一个bin()函数用于将一个整数转换成二进制字串。 Python 2.6已经支持这两种语法。
在Python 3.x中，表示八进制字面量的方式只有一种，就是0o1000。
python 2.x
0o1000512 01000512
python 3.x
01000File "stdin", line 101000^SyntaxError: invalid token 0o1000512
不等运算符
Python 2.x中不等于有两种写法 != 和
Python 3.x中去掉了, 只有!=一种写法，还好，我从来没有使用的习惯
去掉了repr表达式``
Python 2.x 中反引号``相当于repr函数的作用
Python 3.x 中去掉了``这种写法，只允许使用repr函数，这样做的目的是为了使代码看上去更清晰么？不过我感觉用repr的机会很少，一般只在debug的时候才用，多数时候还是用str函数来用字符串描述对象。
def sendMail(from_: str, to: str, title: str, body: str) - bool:pass
多个模块被改名（根据PEP8）
旧的名字
新的名字
_winreg winreg
ConfigParser configparser
copy_reg copyreg
Queue queue
SocketServer socketserver
repr reprlib
StringIO模块现在被合并到新的io模组内。 new, md5, gopherlib等模块被删除。 Python 2.6已经支援新的io模组。
httplib, BaseHTTPServer, CGIHTTPServer, SimpleHTTPServer, Cookie, cookielib被合并到http包内。
取消了exec语句，只剩下exec()函数。 Python 2.6已经支援exec()函数。
5.数据类型
1）Py3.X去除了long类型，现在只有一种整型——int，但它的行为就像2.X版本的long
2）新增了bytes类型，对应于2.X版本的八位串，定义一个bytes字面量的方法如下：
b = b'china' type(b)type 'bytes'
str对象和bytes对象可以使用.encode() (str - bytes) or .decode() (bytes - str)方法相互转化。
s = b.decode() s'china' b1 = s.encode() b1b'china'
3）dict的.keys()、.items 和.values()方法返回迭代器，而之前的iterkeys()等函数都被废弃。同时去掉的还有 dict.has_key()，用 in替代它吧 。
