数据科学家都应该知道的5个统计学知识
|
副标题[/!--empirenews.page--]
数据科学实际上可以定义为我们从数据中获取额外信息的一个过程，在做数据科学时，我们真正想要做的其实就是解释除了数字之外，所有数据在现实世界中的实际含义。 为了提取潜藏在复杂数据集中的信息，数据科学家采用了许多工具和技术，包括数据挖掘、数据可视化和数据建模等等。数据挖掘中常用的一类非常重要的数学技术是统计学。 在实际意义上，统计数据允许我们定义数据的具体数学摘要。我们可以使用统计信息来描述其中的一些属性，而不是尝试描述每个数据点。而这通常足以让我们提取有关数据结构和构成的某些信息。
有些时候，当人们听到“统计”这个词时，往往会想到一些过于复杂的东西。也可能会有点抽象，但我们并非总是需要诉诸复杂的理论，来从统计中获得某种价值。 统计学中最基本的部分通常是数据科学中最实用的部分。 今天，我们将分享5个对于数据科学有用的统计学方法。这些不是过分抽象的概念，而是相当简单、有长期适用性的技术。 一、集中趋势(Central Tendency) 数据集或特征变量的集中趋势是集的中心或典型值。其思想是，可能有一个单一的值可以(在某种程度上)最好地描述我们的数据集。 例如，假设你有一个以x-y位置(100,100)为中心的正态分布。那么点(100,100)是集中趋势，因为在所有可选择的点中，它提供了对数据最好的总结。 对于数据科学来说，我们可以使用集中趋势进行度量，来快速简单地了解我们数据集的整体情况。我们的数据的“中心”可以是非常有价值的信息，它告诉我们数据集究竟是如何偏置的，因为数据所围绕的任何值本质上都是偏置。 在数学上有两种选择集中趋势的常用方法。 平均数(Mean) 平均数，也就是数据集的平均值，即整个数据围绕其进行散布的一个数字。在定义平均数时，所有用于计算平均数的值的权重都是相等的。 例如，计算以下5个数字的平均数：
平均数非常适合计算实际数学平均值，使用像Numpy这样的Python库计算速度也非常快。 中位数(Median) 中位数是数据集的中间值，即我们将数据从最小值排序到最大值(或从最大值到最小值)，然后取值集合中间的值：那就是中位数。 计算上一个例子中5个数字的中位数：
中值与平均数完全不同。它们没有对错优劣之分，但我们可以根据我们的情况和目标选择一个。 计算中位数需要对数据进行排序——如果数据集很大，这会有点儿不切实际。 另一方面，中位数对于异常值比平均数更稳健，因为如果存在一些非常高的异常值，则平均值将被拉向某一个方向。 平均数和中位数可以用简单的numpy单行计算：
二、扩散(Spread) 在统计学之下，数据的扩散是指指数据被压缩到一个或多个值的程度，这些值分布在更大的范围内。 参考下面的高斯概率分布图——假设这些是描述真实世界数据集的概率分布。 蓝色曲线的扩散值最小，因为它的大部分数据点都在一个相当窄的范围内。红色曲线的扩散值最大，因为大多数数据点所占的范围要大得多。 图例还显示了这些曲线的标准偏差，这将在下一节中介绍。
标准偏差(Standard Deviation) 标准偏差是定量数据扩散程度的最常见的方式。计算标准偏差需要5个步骤：
值越大，意味着我们的数据从平均数“扩散出去”的程度越高。值越小意味着我们的数据越集中于平均数。 计算Numpy的标准偏差：numpy.std(array) 三、百分位数(Percentiles) 我们可以使用百分位数进一步描述整个范围内每个数据点的位置。 百分位数根据数据点在值范围中的位置高低来描述数据点的确切位置。 更正式地说，第p百分位数是数据集中的一个值，在该值处可以将数据集分为两部分。下半部分包含p %个数据，则称其为第p百分位数。 例如以下11个数字的集合：
数字15就是是第70百分位数，因为当我们在数字15处将数据集分成两部分时，有70%个数据小于15。 百分位数与平均数和标准偏差相结合，可以让我们很好地了解特定的点在数据集的扩散/范围内的位置。如果它是一个异常值，那么它的百分位数将接近于终点——小于5%或大于95%。另一方面，如果百分位数接近50那么我们就可以知道它非常接近集中趋势。 数组的第50个百分位数在Numpy中计算：numpy.percentile(array, 50) 四、斜度(Skewness) 数据的偏斜度衡量其不对称性。 偏度为正值，表示值集中在数据点中心的左侧;负偏度表示值集中在数据点中心的右侧。 下图提供了一个很好的说明。
（编辑：晋中站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
