数据挖掘

数据挖掘

数据挖掘

数据挖掘(数据挖掘)

数据挖掘（英语：Data mining），又译为资料探勘、数据采矿。它是数据库知识发现（英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。Data mining (the analysis step of the "

Knowledge Discovery in Databases" process, or KDD), an interdisciplinary subfield of computer science, is the computational process of discovering pattern...

目录 概述 使用 成功案例 经典算法 收缩展开 概述

数据挖掘（Data Mining，DM）是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。 知识发现过程由以下三个阶段组成：（1）数据准备，（2）数据挖掘，（3）结果表达和解释。数据挖掘可以与用户或知识库交互。 数据挖掘是通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示3个步骤。数据准备是从相关的数据源中选取所需的数据并整合成用于数据挖掘的数据集；规律寻找是用某种方法将数据集所含的规律找出来；规律表示是尽可能以用户可理解的方式（如可视化）将找出的规律表示出来。 数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析，等等。 并非所有的信息发现任务都被视为数据挖掘。例如，使用数据库管理系统查找个别的记录，或通过因特网的搜索引擎查找特定的Web页面，则是信息检索（information retrieval）领域的任务。虽然这些任务是重要的，可能涉及使用复杂的算法和数据结构，但是它们主要依赖传统的计算机科学技术和数据的明显特征来创建索引结构，从而有效地组织和检索信息。尽管如此，数据挖掘技术也已用来增强信息检索系统的能力。 起源 需要是发明之母。近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。获取的信息和知识可以广泛用于各种应用，包括商务管理，生产控制，市场分析，工程设计和科学探索等。 数据挖掘利用了来自如下一些领域的思想：(1) 来自统计学的抽样、估计和假设检验，(2)人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论。数据挖掘也迅速地接纳了来自其他领域的思想，这些领域包括最优化、进化计算、信息论、信号处理、可视化和信息检索。一些其他领域也起到重要的支撑作用。特别地，需要数据库系统提供有效的存储、索引和查询处理支持。源于高性能（并行）计算的技术在处理海量数据集方面常常是重要的。分布式技术也能帮助处理海量数据，并且当数据不能集中到一起处理时更是至关重要。 发展阶段 第一阶段：电子邮件阶段 这个阶段可以认为是从70年代开始，平均的通讯量以每年几倍的速度增长。 第二阶段：信息发布阶段 从1995年起，以Web技术为代表的信息发布系统，爆炸式地成长起来，成为目前Internet的主要应用。中小企业如何把握好从“粗放型”到“精准型”营销时代的电子商务。 第三阶段： EC(Electronic Commerce），即电子商务阶段 EC在美国也才刚刚开始，之所以把EC列为一个划时代的东西，是因为Internet的最终主要商业用途，就是电子商务。同时反过来也可以说，若干年后的商业信息，主要是通过Internet传递。Internet即将成为我们这个商业信息社会的神经系统。1997年底在加拿大温哥华举行的第五次亚太经合组织非正式首脑会议（APEC）上美国总统克林顿提出敦促各国共同促进电子商务发展的议案，其引起了全球首脑的关注，IBM、HP和Sun等国际著名的信息技术厂商已经宣布1998年为电子商务年。 第四阶段：全程电子商务阶段 随着SaaS（Software as a service）软件服务模式的出现，软件纷纷登陆互联网[5]，延长了电子商务链条，形成了当下最新的“全程电子商务”概念模式。

使用

分析方法： · 分类 （Classification） · 估计（Estimation） · 预测（Prediction） · 相关性分组或关联规则（Affinity grouping or association rules） · 聚类（Clustering） · 描述和可视化（Description and Visualization） · 复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等) 方法简介： ·分类 （Classification） 首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。 例子： a. 信用卡申请者，分类为低、中、高风险 b. 故障诊断：中国宝钢集团与上海天律信息技术有限公司合作，采用数据挖掘技术对钢材生产的全流程进行质量监控和分析，构建故障地图，实时分析产品出现瑕疵的原因，有效提高了产品的优良率。 注意： 类的个数是确定的，预先定义好的 · 估计（Estimation） 估计与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类的类别是确定数目的，估值的量是不确定的。 例子： a. 根据购买模式，估计一个家庭的孩子个数 b. 根据购买模式，估计一个家庭的收入 c. 估计real estate的价值 一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的连续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运用估值，给各个客户记分（Score 0~1）。然后，根据阈值，将贷款级别分类。 · 预测（Prediction） 通常，预测是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的`，即必须经过一定时间后，才知道预言准确性是多少。 相关性分组或关联规则 （Affinity grouping or association rules） 决定哪些事情将一起发生。 例子： a. 超市中客户在购买A的同时，经常会购买B，即A => B(关联规则) b. 客户在购买A后，隔一段时间，会购买B （序列分析） · 聚类（Clustering） 聚类是对记录分组，把相似的记录在一个聚集里。聚类和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。 例子： a. 一些特定症状的聚集可能预示了一个特定的疾病 b. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群 聚集通常作为数据挖掘的第一步。例如，"哪一种类的促销对客户响应最好？"，对于这一 类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集，回答问题，可能效果更好。 · 描述和可视化（Description and Visualization） 是对数据挖掘结果的表示方式。一般只是指数据可视化工具，包含报表工具和商业智能分析产品（BI）的统称。譬如通过Yonghong Z-Suite等工具进行数据的展现，分析，钻取，将数据挖掘的分析结果更形象，深刻的展现出来。 挖掘分类 以上七种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘· 直接数据挖掘 目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中表的属性，即列）进行描述。 间接数据挖掘 目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系 。 · 分类、估值、预言属于直接数据挖掘；后四种属于间接数据挖掘

成功案例

数据挖掘帮助Credilogros Cía Financiera S.A.改善客户信用评分 Credilogros Cía Financiera S.A. 是阿根廷第五大信贷公司，资产估计价值为9570万美元，对于Credilogros而言，重要的是识别与潜在预先付款客户相关的潜在风险，以便将承担的风险最小化。 该公司的第一个目标是创建一个与公司核心系统和两家信用报告公司系统交互的决策引擎来处理信贷申请。同时，Credilogros还在寻找针对它所服务的低收入客户群体的自定义风险评分工具。除这些之外，其他需求还包括解决方案能在其35个分支办公地点和200多个相关的销售点中的任何一个实时操作，包括零售家电连锁店和手机销售公司。 最终Credilogros 选择了SPSS Inc.的数据挖掘软件PASWModeler，因为它能够灵活并轻松地整合到 Credilogros 的核心信息系统中。通过实现PASW Modeler，Credilogros将用于处理信用数据和提供最终信用评分的时间缩短到了8秒以内。这使该组织能够迅速批准或拒绝信贷请求。该决策引擎还使 Credilogros 能够最小化每个客户必须提供的身份证明文档，在一些特殊情况下，只需提供一份身份证明即可批准信贷。此外，该系统还提供监控功能。Credilogros目前平均每月使用PASW Modeler处理35000份申请。仅在实现 3 个月后就帮助Credilogros 将贷款支付失职减少了 20%. 数据挖掘帮助DHL实时跟踪货箱温度 DHL是国际快递和物流行业的全球市场领先者，它提供快递、水陆空三路运输、合同物流解决方案，以及国际邮件服务。DHL的国际网络将超过220个国家及地区联系起来，员工总数超过28.5万人。在美国 FDA 要求确保运送过程中药品装运的温度达标这一压力之下，DHL的医药客户强烈要求提供更可靠且更实惠的选择。这就要求DHL在递送的各个阶段都要实时跟踪集装箱的温度。 虽然由记录器方法生成的信息准确无误，但是无法实时传递数据，客户和DHL都无法在发生温度偏差时采取任何预防和纠正措施。因此，DHL的母公司德国邮政世界网（DPWN）通过技术与创新管理（TIM）集团明确拟定了一个计划，准备使用RFID技术在不同时间点全程跟踪装运的温度。通过IBM全球企业咨询服务部绘制决定服务的关键功能参数的流程框架。DHL获得了两方面的收益：对于最终客户来说，能够使医药客户对运送过程中出现的装运问题提前做出响应，并以引人注目的低成本全面切实地增强了运送可靠性。对于DHL来说，提高了客户满意度和忠实度；为保持竞争差异奠定坚实的基础；并成为重要的新的收入增长来源。 基本步骤 数据挖掘的步骤会随不同领域的应用而有所变化，每一种数据挖掘技术也会有各自的特性和使用步骤，针对不同问题和需求所制定的数据挖掘过程也会存在差异。此外，数据的完整程度、专业人员支持的程度等都会对建立数据挖掘过程有所影响。这些因素造成了数据挖掘在各不同领域中的运用、规划，以及流程的差异性，即使同一产业，也会因为分析技术和专业知识的涉入程度不同而不同，因此对于数据挖掘过程的系统化、标准化就显得格外重要。如此一来，不仅可以较容易地跨领域应用，也可以结合不同的专业知识，发挥数据挖掘的真正精神。 数据挖掘完整的步骤如下： ① 理解数据和数据的来源（understanding）。 ② 获取相关知识与技术（acquisition）。 ③ 整合与检查数据（integration and checking）。 ④ 去除错误或不一致的数据（data cleaning）。 ⑤ 建立模型和假设（model and hypothesis development）。 ⑥ 实际数据挖掘工作（data mining）。 ⑦ 测试和验证挖掘结果（testing and verification）。 ⑧ 解释和应用（interpretation and use）。 由上述步骤可看出，数据挖掘牵涉了大量的准备工作与规划工作，事实上许多专家都认为整套数据挖掘的过程中，有80%的时间和精力是花费在数据预处理阶段，其中包括数据的净化、数据格式转换、变量整合，以及数据表的链接。可见，在进行数据挖掘技术的分析之前，还有许多准备工作要完成。 行业应用 价格竞争空前激烈，语音业务增长趋缓，快速增长的中国移动通信市场正面临着前所未有的生存压力。中国电信业改革的加速推进形成了新的竞争态势，移动运营市场的竞争广度和强度将进一步加大，这特别表现在集团客户领域。移动信息化和集团客户已然成为未来各运营商应对竞争、获取持续增长的新引擎。 随着国内三足鼎立全业务竞争态势和3G牌照发放，各运营商为集团客户提供融合的信息化解决方案将是大势所趋，而移动信息化将成为全面进入信息化服务领域的先导力量。传统移动运营商因此面临着从传统个人业务转向同时拓展集团客户信息化业务领域的挑战。如何应对来自内外部的挑战，迅速以移动信息化业务作为融合业务的竞争利器之一拓展集团客户市场，在新兴市场中立于不败之地，是传统移动运营商需要解决的紧迫问题。 IBM全球企业咨询服务部经过研究认为，传统移动运营商在拓展集团客户信息化市场的过程中所面临的外部挑战主要来自三个方面，即市场需求不成熟，技术与业务融合，全业务的竞争。同时，运营商在自身发展上也存在诸多问题，例如目标市场细分不清晰，信息化需求挖掘与评估不足；产品规划和管理难以满足客户信息化需求；渠道较为单一，无法有效覆盖客户；对合作伙伴吸引力较弱，尚未形成共赢的价值链；在运营管理层面，业务流程、销售团队能力以及IT支撑上都不适应集团信息化业务的发展。 从目前网络招聘的信息来看，大小公司对数据挖掘的需求有50多个方面（来源见参考资料）： 1、数据统计分析 2、预测预警模型 3、数据信息阐释 4、数据采集评估 5、数据加工仓库 6、品类数据分析 7、销售数据分析 8、网络数据分析 9、流量数据分析 10、交易数据分析 11、媒体数据分析 12、情报数据分析 13、金融产品设计 14、日常数据分析 15、总裁万事通 16、数据变化趋势 17、预测预警模型 18、运营数据分析 19、商业机遇挖掘 20、风险数据分析 21、缺陷信息挖掘 22、决策数据支持 23、运营优化与成本控制 24、质量控制与预测预警 25、系统工程数学技术 26、用户行为分析/客户需求模型 27、产品销售预测（热销特征） 28、商场整体利润最大化系统设计 29、市场数据分析 30、综合数据关联系统设计 31、行业/企业指标设计 32、企业发展关键点分析 33、资金链管理设计与风险控制 34、用户需求挖掘 35、产品数据分析 36、销售数据分析 37、异常数据分析 38、数学规划与数学方案 39、数据实验模拟 40、数学建模与分析 41、呼叫中心数据分析 42、贸易/进出口数据分析 43、海量数据分析系统设计、关键技术研究 44、数据清洗、分析、建模、调试、优化 45、数据挖掘算法的分析研究、建模、实验模拟 46、组织机构运营监测、评估、预测预警 47、经济数据分析、预测、预警 48、金融数据分析、预测、预警 49、科研数学建模与数据分析：社会科学，自然科学，医药，农学，计算机，工程，信息，军事，图书情报等 50、数据指标开发、分析与管理 51、产品数据挖掘与分析 52、商业数学与数据技术 53、故障预测预警技术 54、数据自动分析技术 55、泛工具分析 56、互译 57、指数化 其中，互译与指数化是数据挖掘除计算机技术之外最核心的两大技术。

经典算法

1. C4.5：是机器学习算法中的一种分类决策树算法，其核心算法是ID3算法。 2. K-means算法：是一种聚类算法。 3.SVM：一种监督式学习的方法，广泛运用于统计分类以及回归分析中 4.Apriori ：是一种最有影响的挖掘布尔关联规则频繁项集的算法。 5.EM：最大期望值法。 6.pagerank：是google算法的重要内容。 7. Adaboost:是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器然后把弱分类器集合起来，构成一个更强的最终分类器。 8.KNN:是一个理论上比较成熟的的方法，也是最简单的机器学习方法之一。 9.Naive Bayes：在众多分类方法中，应用最广泛的有决策树模型和朴素贝叶斯（Naive Bayes） 10.Cart：分类与回归树，在分类树下面有两个关键的思想，第一个是关于递归地划分自变量空间的想法，第二个是用验证数据进行减枝。 关联规则规则定义 在描述有关关联规则的一些细节之前，我们先来看一个有趣的故事： "尿布与啤酒"的故事。 在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售。但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。这不是一个笑话，而是发生在美国沃尔玛连锁店超市的真实案例，并一直为商家所津津乐道。沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。一个意外的发现是："跟尿布一起购买最多的商品竟是啤酒！经过大量实际调查和分析，揭示了一个隐藏在"尿布与啤酒"背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。 按常规思维，尿布与啤酒风马牛不相及，若不是借助数据挖掘技术对大量交易数据进行挖掘分析，沃尔玛是不可能发现数据内在这一有价值的规律的。 数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。关联规则挖掘发现大量数据中项集之间有趣的关联或相关联系。Agrawal等于1993年首先提出了挖掘顾客交易数据库中项集间的关联规则问题，以后诸多的研究人员对关联规则的挖掘问题进行了大量的研究。他们的工作包括对原有的算法进行优化，如引入随机采样、并行的思想等，以提高算法挖掘规则的效率；对关联规则的应用进行推广。关联规则挖掘在数据挖掘中是一个重要的课题，最近几年已被业界所广泛研究。