13518219792
kde(kernel density estimation)是核密度估计。核的作用是根据离散采样，估计连续密度分布。
成都创新互联公司为客户提供专业的成都网站制作、成都做网站、程序、域名、空间一条龙服务，提供基于WEB的系统开发. 服务项目涵盖了网页设计、网站程序开发、WEB系统开发、微信二次开发、移动网站建设等网站方面业务。
如果原始采样是《阴阳师》里的式神，那么kernel（核函数）就相当于御魂。
假设现在有一系列离散变量X = [4, 5, 5, 6, 12, 14, 15, 15, 16, 17],可见5和15的概率密度应该要高一些，但具体有多高呢？有没有三四层楼那么高，有没有华莱士高？如果要估计的是没有出现过的3呢？这就要自己判断了。
核函数就是给空间的每个离散点都套上一个连续分布。最简单的核函数是Parzen窗，类似一个方波：
这时候单个离散点就可以变成区间，空间或者高维空间下的超立方，实质上是进行了升维。
设h=4，则3的概率密度为：
(只有4对应的核函数为1，其他皆为0)
kernel是非负实值对称可积函数，表示为K，且一本满足：
这样才能保证cdf仍为1。
实际上应用最多的是高斯核函数(Gaussian Kernel)，也就是标准正态分布。所谓核密度估计就是把所有离散点的核函数加起来，得到整体的概率密度分布。核密度估计在很多机器学习算法中都有应用，比如K近邻、K平均等。
在支持向量机里，也有“核”的概念，同样也是给数据升维，最常用的还是高斯核函数，也叫径向基函数(Radial Basis Funtion)。
seaborn.kdeplot内置了多种kerne，总有一款适合你。
import pandasas pd
import numpyas np
import seabornas sns
import matplotlib.pyplotas plt
pd.set_option('display.max_columns', 10000)
pd.set_option('display.max_rows', 10000000000)
pd.set_option('display.width', 100000)
income = pd.read_excel(r'D:\bigData\0629demo\dataSource\income.xlsx')
fill_data = income.fillna(value={'workclass': income.workclass.mode()[0], 'occupation': income.occupation.mode()[0],
'native-country': income['native-country'].mode()[0]}, inplace=True)
# print(income.apply(lambda x: np.sum(x.isnull())))
# print(income)
print(income.describe())
print(income.describe(include=['object']))
# 设置绘图风格
plt.style.use('ggplot')
# 设置多图形组合
fig, axes = plt.subplots(2, 1)
# 绘制不同收入水平下的年龄核密度图
# kind='kde', label='=50K', ax=axes[0], legend=True, linestyle='-'
# kind='kde', label='50K', ax=axes[0], legend=True, linestyle='--'
income['age'][income.income ==' =50K'].plot(kind='kde', ax=axes[0], label='=50K', legend=True, linestyle='-')
income['age'][income.income ==' 50K'].plot(kind='kde', ax=axes[0], label='50K', legend=True, linestyle='--')
# 绘制不同收入水平下的周工作小时数核密度图
# kind='kde', label='= 50K', ax=axes[1], legend=True, linestyle='-'
# kind='kde', label=' 50K', ax=axes[1], legend=True, linestyle='--'
income['hours-per-week'][income.income ==' =50K'].plot(kind='kde', label='= 50K', ax=axes[1], legend=True,
linestyle='-')
income['hours-per-week'][income.income ==' 50K'].plot(kind='kde', label=' 50K', ax=axes[1], legend=True,
linestyle='--')
plt.show()
# 构造不同收入水平下各种族人数的数据
race = pd.DataFrame(income.groupby(by=['race', 'income']).agg(np.size).loc[:, 'age'])
# 重设行索引
race = race.reset_index()
# 变量重命名
race.rename(columns={'age':'counts'}, inplace=True)
print(race)
# 排序
race.sort_values(by=['race', 'counts'], ascending=False, inplace=True)
# 构造不同收入水平下各家庭关系人数的数据
relationship = pd.DataFrame(income.groupby(by=['relationship', 'income']).agg(np.size).loc[:, 'age'])
relationship = relationship.reset_index()
relationship.rename(columns={'age':'counts'}, inplace=True)
relationship.sort_values(by=['relationship', 'counts'], ascending=False, inplace=True)
plt.figure(figsize=(15, 10))
sns.barplot(x='race', y='counts', hue='income', data=race)
plt.show()
plt.figure(figsize=(15, 10))
sns.barplot(x='relationship', y='counts', hue='income', data=relationship)
plt.show()
pairplot函数。7在python中快速浏览数据集调用pairplot函数，此函数使用散点图和直方图，还可以在非对角线上绘制回归图，在对角线上绘制核密度估计图。
不写出y=f(x)这样的表达式，由隐函数的等式直接绘制图像，以x²+y²+xy=1的图像为例，使用sympy间接调用matplotlib工具的代码和该二次曲线图像如下（注意python里的乘幂符号是**而不是^，还有，python的sympy工具箱的等式不是a==b，而是a-b或者Eq(a,b)，这几点和matlab的区别很大）
直接在命令提示行的里面运行代码的效果
from sympy import *;
x,y=symbols('x y');
plotting.plot_implicit(x**2+y**2+x*y-1);
作者：迈克尔·贝耶勒（Michael Beyeler）
如需转载请联系华章 科技
如果已安装Anaconda Python版本，就已经安装好了可以使用的 Matplotlib。否则，可能要访问官网并从中获取安装说明：
正如使用np作为 NumPy 的缩写，我们将使用一些标准的缩写来表示 Matplotlib 的引入：
在本书中，plt接口会被频繁使用。
让我们创建第一个绘图。
假设想要画出正弦函数sin(x)的线性图。得到函数在x坐标轴上0≤x＜10内所有点的值。我们将使用 NumPy 中的 linspace 函数来在x坐标轴上创建一个从0到10的线性空间，以及100个采样点：
可以使用 NumPy 中的sin函数得到所有x点的值，并通过调用plt中的plot函数把结果画出来：
你亲自尝试了吗？发生了什么吗？有没有什么东西出现？
实际情况是，取决于你在哪里运行脚本，可能无法看到任何东西。有下面几种可能性：
1. 从.py脚本中绘图
如果从一个脚本中运行 Matplotlib，需要加上下面的这行调用：
在脚本末尾调用这个函数，你的绘图就会出现！
2. 从 IPython shell 中绘图
这实际上是交互式地执行Matplotlib最方便的方式。为了让绘图出现，需要在启动 IPython 后使用所谓的%matplotlib魔法命令。
接下来，无须每次调用plt.show()函数，所有的绘图将会自动出现。
3. 从 Jupyter Notebook 中绘图
如果你是从基于浏览器的 Jupyter Notebook 中看这段代码，需要使用同样的%matplotlib魔法命令。然而，也可以直接在notebook中嵌入图形，这会有两种输出选项：
在本书中，将会使用inline选项：
现在再次尝试一下：
上面的命令会得到下面的绘图输出结果：
如果想要把绘图保存下来留作以后使用，可以直接在 IPython 或者 Jupyter Notebook 使用下面的命令保存：
仅需要确保你使用了支持的文件后缀，比如.jpg、.png、.tif、.svg、.eps或者.pdf。
作为本章最后一个测试，让我们对外部数据集进行可视化，比如scikit-learn中的数字数据集。
为此，需要三个可视化工具：
那么开始引入这些包吧：
第一步是载入实际数据：
如果没记错的话，digits应该有两个不同的数据域：data域包含了真正的图像数据，target域包含了图像的标签。相对于相信我们的记忆，我们还是应该对digits稍加 探索 。输入它的名字，添加一个点号，然后按Tab键：digits.TAB，这个操作将向我们展示digits也包含了一些其他的域，比如一个名为images的域。images和data这两个域，似乎简单从形状上就可以区分。
两种情况中，第一维对应的都是数据集中的图像数量。然而，data中所有像素都在一个大的向量中排列，而images保留了各个图像8×8的空间排列。
因此，如果想要绘制出一副单独的图像，使用images将更加合适。首先，使用NumPy的数组切片从数据集中获取一幅图像：
这里是从1797个元素的数组中获取了它的第一行数据，这行数据对应的是8×8=64个像素。下面就可以使用plt中的imshow函数来绘制这幅图像：
上面的命令得到下面的输出：
此外，这里也使用cmap参数指定了一个颜色映射。默认情况下，Matplotlib 使用MATLAB默认的颜色映射jet。然而，在灰度图像的情况下，gray颜色映射更有效。
最后，可以使用plt的subplot函数绘制全部数字的样例。subplot函数与MATLAB中的函数一样，需要指定行数、列数以及当前的子绘图索引（从1开始计算）。我们将使用for 循环在数据集中迭代出前十张图像，每张图像都分配到一个单独的子绘图中。
这会得到下面的输出结果：
关于作者：Michael Beyeler，华盛顿大学神经工程和数据科学专业的博士后，主攻仿生视觉计算模型，用以为盲人植入人工视网膜（仿生眼睛），改善盲人的视觉体验。 他的工作属于神经科学、计算机工程、计算机视觉和机器学习的交叉领域。同时他也是多个开源项目的积极贡献者。
本文摘编自《机器学习：使用OpenCV和Python进行智能图像处理》，经出版方授权发布。
自哥本哈根气候会议之后，全球日益关注气候变化和温室效应等问题，并于会后建立了全球碳交易市场，分阶段分批次减碳。本实验获取了美国 1979 - 2011 年间 NASA 等机构对美国各地日均最高气温、降雨量等数据，研究及可视化了气候相关指标的变化规律及相互关系。
输入并执行魔法命令 %matplotlib inline， 并去除图例边框。
数据集介绍：
本数据集特征包括美国 49 个州（State），各州所在的地区（Region），统计年（Year），统计月（Month），平均光照（Avg Daily Sunlight），日均最大空气温度（Avg Daily Max Air Temperature ），日均最大热指数（Avg Daily Max Heat Index ），日均降雨量（Avg Daily Precipitation ），日均地表温度（Avg Day Land Surface Temperature）。
各特征的年度区间为：
导入数据并查看前 5 行。
筛选美国各大区域的主要气候指数，通过 sns.distplot 接口绘制指数的分布图。
从运行结果可知：
光照能量密度（Sunlight），美国全境各地区分布趋势大致相同，均存在较为明显的两个峰（强光照和弱光照）。这是因为非赤道国家受地球公转影响，四季光照强度会呈现出一定的周期变化规律；
从地理区位能看出，东北部光照低谷明显低于其他三个区域；
日均最高空气温度（Max Air Temperature），美国全境各地区表现出较大差异，东北部和中西部趋势大致相同，气温平缓期较长，且包含一个显著的尖峰；西部地区平缓期最长，全年最高温均相对稳定；南部分布则相对更为集中；
日均地表温度（Land Surface Temperature），与最高空气温度类似，不同之处在于其低温区分布更少；
最大热指数（Max Heat Index），西部与中西部分布较为一致，偏温和性温度，东北部热指数偏高，南部偏低；
降雨量（Precipitation），西部明显偏小，南部与东北部大致相同，中西部相对较多。
结合地理知识做一个总结:
东北部及大多数中西部地区，属于温带大陆性气候，四季分明，夏季闷热，降雨较多。
西部属于温带地中海气候，全年气候温和，并且干燥少雨，夏季气候温和，最高温度相对稳定。
南部沿海一带，终年气候温暖，夏季炎热，雨水充沛。
按月计算美国各地区降雨量均值及标准偏差，以均值 ± 一倍标准偏差绘制各地区降雨量误差线图。
从运行结果可知：
在大多数夏季月份，西部地区降雨量远小于其他地区；
西部地区冬季月降雨量高于夏季月；
中西部地区是较为典型的温带大陆性气候，秋冬降雨逐渐减少，春夏降雨逐渐升高；
南部地区偏向海洋性气候，全年降雨量相对平均。
需要安装joypy包。
日均最高气温变化趋势
通过 joypy 包的 joyplot 接口，可以绘制带堆积效应的直方分布曲线，将 1980 年 - 2008 年的日均最高温度按每隔 4 年的方式绘制其分布图，并标注 25%、75% 分位数。
从运行结果可知：
1980 - 2008 年区间，美国全境日均最高温度分布的低温区正逐渐升高，同时高温区正逐渐降低，分布更趋向于集中；
1980 - 2008 年区间，美国全境日均最高温度的 25% 分位数和 75% 分位数有少量偏离但并不明显。
日均降雨量变化趋势
同样的方式对降雨量数据进行处理并查看输出结果。
筛选出加州和纽约州的日均降雨量数据，通过 plt.hist 接口绘制降雨量各月的分布图。
从运行结果可知：
加州地区降雨量多集中在 0 - 1 mm 区间，很少出现大雨，相比而言，纽约州则显得雨量充沛，日均降雨量分布在 2 - 4 mm 区间。
直方图在堆积效应下会被覆盖大多数细节，同时表达聚合、离散效应的箱线图在此类问题上或许是更好的选择。
通过 sns.boxplot 接口绘制加州和纽约州全年各月降雨量分布箱线图.
从箱线图上，我们可以清晰地对比每个月两个州的降雨量分布，既可以看到集中程度，例如七月的加州降雨量集中在 0.1 - 0.5 mm 的窄区间，说明此时很少会有大雨；又可以看到离散情况，例如一月的加州，箱线图箱子（box）部分分布较宽，且上方 10 mm 左右存在一个离散点，说明此时的加州可能偶尔地会出现大到暴雨。
视觉上更为美观且简约的是摆动的误差线图，实验 「美国全境降雨量月度分布」 将所有类别标签的 x 位置均放于同一处，导致误差线高度重合。可通过调节 x 坐标位置将需要对比的序列紧凑排布。
从输出结果可以看出，加州冬季的降雨量不确定更强，每年的的十一月至次年的三月，存在降雨量大，且降雨量存在忽多忽少的现象（误差线长）。
上面的实验均在研究单变量的分布，但经常性地，我们希望知道任意两个变量的联合分布有怎样的特征。
核密度估计 ， 是研究此类问题的主要方式之一， sns.kdeplot 接口通过高斯核函数计算两变量的核密度函数并以等高线的形式绘制核密度。
从运行结果可知：
加州在高温区和低降雨期存在一个较为明显的高密度分布区（高温少雨的夏季）；
纽约州在高温及低温区均存在一个高密度的分布区，且在不同温区降雨量分布都较为均匀。
将美国全境的降雨量与空气温度通过 plt.hist2d 接口可视化。
从运行结果可知：
美国全境最高密度的日均高温温度区域和降雨量区间分别为，78 F （约等于 25 C）和 2.2 mm 左右，属于相对舒适的生活气候区间。
美国全境降雨量与空气温度的关系-核密度估计
在上面实验基础上，在 x， y 轴上分别通过 sns.rugplot 接口绘制核密度估计的一维分布图，可在一张绘图平面上同时获取联合分布和单变量分布的特征。
美国全境降雨量与空气温度的关系-散点分布和直方分布
sns.jointplot 接口通过栅格的形式，将单变量分布用子图的形式进行分别绘制，同时通过散点图进行双变量关系的展示，也是一种较好的展现数据分布的方式。
上面两个实验研究了双变量分布的可视化，以下研究 3 变量聚合结果的可视化。
通过 sns.heatmap 接口可实现对透视数据的可视化，其原理是对透视结果的值赋予不同的颜色块，以可视化其值的大小，并通过颜色条工具量化其值大小。
上面的两个实验可视化了各州随年份日均最高温度的中位数变化趋势，从图中并未看出有较为显著地变化。
以下通过 t 检验的方式查看统计量是否有显著性差异。stats.ttest_ind 接口可以输出 1980 年 与 2010 年主要气候指数的显著性检验统计量及 p 值。
从运行结果可以看出：
检验结果拒绝了降雨量相等的原假设，即 1980 年 与 2010 年两年间，美国降雨量是不同的，同时没有拒绝日均日照、日均最大气温两个变量相等的原假设，说明气温未发生显著性变化。
