一般数据特征间具有一定程度的线性和非线性关联关系，传统模型如SVM、LR等是难以学习到特征间的这些相关性。因此需要通过辅助方法对特征的相关性进行分析，根据分析结果，再结合相关领域的知识以及对业务问题的专业理解，通过特征组合、特征交叉或者加减乘除的方式去构建出更能描述目标问题的关键特征。常见的特征相关...
标签：思政
云计算的可贵之处在于高灵活性、可扩展性和高性比等，与传统的网络应用模式相比，其具有如下优势与特点： 1、虚拟化技术。必须强调的是，虚拟化突破了时间、空间的界限，是云计算最为显著的特点，虚拟化技术包括应用虚拟和资源虚拟两种。众所周知，物理平台与应用部署的环境在空间上是没有任何联系的，正是通过虚拟平台对...
同比是指与历史同时期进行比较得到的数值，该指标主要反映的是事物发展的相对情况。例如2010年12月与2009年12月相比；环比是指与前一个统计期进行比较得到的数值，该指标主要反映的是事物逐期发展的情况。例如2010年12月与2010年11月相比。
结合领域专业知识和相关任务要求对高维特征进行特征的筛选，可以选出需要的特征来进行后续模型的训练等步骤。常用的特征筛选方法有：（1）方差选择法：该方法是通过计算每一列特征的方差，并根据设定的阅值来判段是否需要保留或者删除特征变量。如果某一列特征的方差很小，那么认为该列特征中所有数据几乎是没有变化的，这...
云计算这个概念从提出到今天，已经差不多10年了。在这10年间，云计算取得了飞速的发展与翻天覆地的变化。现如今，云计算被视为计算机网络领域的一次革命，因为它的出现，社会的工作方式和商业模式也在发生巨大的改变。追溯云计算的根源，它的产生和发展与之前所提及的并行计算、分布式计算等计算机技术密切相关，都促进...
细节分析是通过不同的维度将已知数据细分为不同的层次，再根据漏斗原理进一步分析对比分析是针对同一维度的数据在不同的时间、空间以及标准的情况下的数据对比，对应的对比分析结论可以得到同比数据、环比数据、定基比数据等。
Python语言其实是诞生于1990年。Python主要是被运用于面向对象编程（OOP）及结构化编程。相较于其它编程语言，Python有着易上手，使用范围广和高灵活性的优点。通过import句法，Python可以轻而易举的调取例如Pandas，Numpy，Matplotlib及scikit-lear...
互联网自1960年开始兴起，主要用于军方、大型企业等之间的纯文字电子邮件或新闻集群组服务。直到1990年才开始进入普通家庭，随着web网站与电子商务的发展，网络已经成为了目前人们离不开的生活必需品之一。云计算这个概念首次在2006年8月的搜索引擎会议上提出，成为了互联网的第三次革命。近几年来，云计算...
漏斗分析法从字面上理解就是用类似漏斗的框架对事物进行分析的一种方法，这种方法能对研究对象在“穿越漏斗”时的状态特征进行时序类、流程式的刻画与分析。漏斗分析涉及四个方面的要素：时间、节点、研究对象、指标。时间指的是事件是何时开始、何时结束的，也包括我们应用漏斗模型进行研究的时间段（也即是取数的时间范围...
R语言是诞生于1997年的一门编程语言。虽然早早就已经诞生，但R语言在近些年仍然饱受大量的数据科学家，华尔街金融专家和软件开发者不可或缺的工具。有调查表明，R的使用者已经超过200万人，并且R是数据科学行业最受欢迎的编程语言。R的优点在于它的简单性。通过使用R语言，编程者仅仅需要数行代码就可以完成数...
在数据库技术中,脏数据在临时更新（脏读）中产生。事务A更新了某个数据项X，但是由于某种原因，事务A出现了问题，于是要把A回滚。但是在回滚之前，另一个事务B读取了数据项X的值(A更新后)，A回滚了事务，数据项恢复了原值。事务B读取的就是数据项X的就是一个“临时”的值，就是脏数据。
聚类分析是指将一组数据对象分组到由相似对象组成的多个类中的分析过程。聚类分析可以应用于数据预处理过程。对于结构复杂的多维数据，可以利用聚类分析对数据进行聚合，从而对结构复杂的数据进行标准化。聚类分析还可以用来发现数据项之间的依赖关系，从而去除或合并依赖关系密切的数据项。聚类分析还可以为一些数据挖掘方...
SQL是Structured Query Language的缩写，亦称为结构化查询语言。SQL常常用于存取数据以及管理数据库系统。使用SQL可以调取，更新，清理，数据，其亦可以完成数据可视化作图。相较于其它语言，SQL的优势主要体现在它的效率上——SQL可以快速的检索大量数据，并快速的完成数据提取，...
残缺数据这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来，按缺失的内容分别写入不同Excel文件向客户提交，要求在规定的时间内补全。补全后才写入数据仓库。错误数据这一类错误产生的原因是业务系统不够健全，在...
假设检验(hypothesis testing)，又称统计假设检验，是用来判断样本与样本、样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。显著性检验是假设检验中最常用的一种方法，也是一种最基本的统计推断形式，其基本原理是先对总体的特征做出某种假设，然后通过抽样研究的统计推理，对此假设...
二分搜索是一种在有序数组中查找某一特定元素的搜索算法。搜索过程从数组的中间元素开始，如果中间元素正好是要查找的元素，则搜索过程结束；如果某一特定元素大于或者小于中间元素，则在数组大于或小于中间元素的那一半中查找，而且跟开始一样从中间元素开始比较。如果在某一步骤数组为空，则代表找不到。这种搜索算法每一...
数据清洗– 对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多...
在统计学中，回归分析（regression analysis)指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；按照因变量的多少，可分为简单回归分析和多重回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性...
首先需要做的是，证明你可以完成一些任务，然后证明你可以创造一些东西。在你学会如何创造东西以后，你还需要学会如何讲故事，这样才能告诉大家你为什么想要做这个东西。
一般来说，数据清理是将数据库精简以除去重复记录，并使剩余部分转换成标准可接收格式的过程。数据清理标准模型是将数据输入到数据清理处理器，通过一系列步骤“ 清理”数据，然后以期望的格式输出清理过的数据。数据清理从数据的准确性、完整性、一致性、惟一性、适时性、有效性几个方面来处理数据的丢失值、越界值、不一...