介绍
在数据“爆炸”的时代，大数据往往被寄予厚望。 到底什么样的数据才算大数据，如何才能用好大数据，传统统计还有一席之地吗？
大数据与数据的不同之处在于它的海量积累、高增长率和多样性
什么是数据？ 数据在拉丁语中的意思是“已知”，在英语中的一种解释是“可以分析结论的事实的集合”。 一般来说，凡是记录在某种载体上的、能反映自然和人类社会一定信息的东西，都可以称为数据。 古人“结绳记事”，结绳就是数据。 现代社会，信息的种类和数量越来越丰富，载体也越来越多。 数字是数据，文本是数据，图像、音频、视频等都是数据。
什么是大数据？ 体量的增加是人们对大数据的最初认识。 随着科学技术的发展，各领域的数据量正在快速增长。 研究发现，近年来，数字数据量每三年翻一番。
大数据与数据的不同之处在于数据的多样性。 正如Gartner咨询公司的研究报告指出的那样，数据的爆炸是立体的、三维的。 所谓三维，不仅是指数据量的快速增加，而且是数据增长的加速和数据的多样性，即数据的来源和类型不断增加。
从数据到大数据，不仅是量的积累，更是质的飞跃。 不同来源、不同形式、包含不同信息的海量数据可以轻松整合和分析，原本孤立的数据变得互联。 这使得人们通过数据分析发现小数据时代难以发现的新知识，创造新价值。
通过数据研究和发现规律贯穿于人类社会的发展始终。 人类科学史上的许多进步都与数据收集和分析直接相关，例如现代医学流行病学的开始。 1854年伦敦发生大规模霍乱疫情，长期无法控制。 一位医生用点图法研究了当地水井的分布与霍乱患者分布的关系。 他发现井周围霍乱的流行率明显较高，从而找到了霍乱爆发的原因：一口被污染的井。 。 关井后，霍乱发病率明显下降。 这种方法充分体现了数据的力量。
从本质上讲，许多科学活动都是数据挖掘，数据挖掘不是从预先设定的理论或原理出发，通过演绎来研究问题，而是从数据本身出发，通过归纳总结出规律。 在现代，随着我们面临的问题变得越来越复杂，演绎研究它们往往变得困难。 这使得数据汇总的方法变得越来越重要，数据的重要性也越来越凸显。
大数据是帮助政府科学决策、企业精准营销的非竞争性资源。
大数据时代，数据的重要作用更加凸显，许多国家已将大数据提升到国家战略层面。
如果政府合理利用大数据，其决策将基于经验事实，政府将更加可预测、更加负责任、更加开放。 中国古代的治理早已有重视数据的思想。 例如，商鞅提出：“欲强国，不知其十三数……欲强国，不知其国十三数。虽地利民，人多了，国家就会衰弱，甚至衰弱。” 大数据时代，以“数”治国将更加有效。 小数据时代，政府更多依靠经验和本地数据来做决策，难免要头痛医头。 例如，如果出现交通拥堵，就修建更多的道路。 大数据时代，政府决策可以从粗放型决策转向集约型决策。 如果道路堵塞，您可以使用大数据分析来了解何时以及哪个区域最有可能被堵塞。 可以在该区域附近修建更多道路，或者进行预警，引导居民适当安排出行，实现交通流量的最佳分配。 和控制，改善交通。
对于商家来说，大数据让精准营销成为可能。 一个有趣的故事是沃尔玛超市的“啤酒和尿布”现象。 沃尔玛超市在分析销售数据时发现，与尿布一起出现在顾客订单上最多的商品竟然是啤酒。 经过跟踪调查，我们发现很多年轻爸爸在买尿布的时候都会买一些啤酒来喝。 沃尔玛发现这种模式后，促销了啤酒和尿布，销量大幅增长。 大数据时代，每个人都会“自发”地提供数据。 我们的各种行为，比如点击网页、使用手机、刷信用卡购物、看电视、乘地铁、开车等，都会产生数据并被记录。 我们的性别、职业、喜好、消费能力等信息都会被商家收集。 挖掘出来分析商机。
大数据也将使个人受益。 从生物学和医学的角度来看，过去生物学家只是通过操纵单个或少数基因来观察对生物体的影响，很难找到整体的相关性。 现在，由于技术的发展，很多东西都可以分析，比如遗传信息、所有基因的表达信息、蛋白质家谱信息、全基因组甲基化信息、表观遗传信息等等。还有个人的数据。健康指标、医疗记录、药物反应等。 如果能够实现生物多维度、多方向数据的有机整合，就可以充分描述个体，从而达到精准医疗的目标。
大数据时代，有更有效的方法来验证数据的真实性。 大数据的特点之一就是多样性。 不同来源、不同维度的数据之间存在一定程度的相关性，可以交叉验证。 比如，某地工业产值虚增一倍，但电力、能源消耗却没有达到相应规模。 这是一个数据异常，系统很容易识别。 发现异常后，相关部门将进行审查，更有针对性地防范和打击数据造假。
数据是一种资源，但数据不同于煤炭、石油等物理资源。 物质资源是不可再生的。 如果你用的多，其他人就会用的少，从而很难分享。 数据可以重复利用，不断产生新的价值。 大数据资源的利用是非恶性竞争，在共享的前提下，可以创造共赢。 从另一个角度来看，如果数据没有整合、没有互联，就不能称为大数据。
大数据不能直接使用，统计仍然是数据分析的灵魂
现在社会上流行一种说法，大数据时代“样本=全部”，人们得到的不是抽样数据而是完整的数据，因此只需简单统计就可以得出结论。 不再需要复杂的统计方法。
在我看来，这种观点是非常错误的。 首先，大数据提供信息但不解释信息。 例如，大数据是“原油”而不是“汽油”，不能直接使用。 就像股市一样，即使所有的数据都公布了，不懂的人还是不知道数据所代表的信息。 在大数据时代，统计学仍然是数据分析的灵魂。 正如加州大学伯克利分校迈克尔·乔丹教授指出的那样：“没有系统数据科学作为指导的大数据研究就像没有利用工程科学知识来建造桥梁一样。 许多桥梁可能会倒塌，造成严重后果。 ”
其次，全数据的概念本身就很难经受推敲。 完整数据，顾名思义，就是所有数据。 在某些情况下和某些问题上这确实是可能的。 例如，如果要比较清华大学和北大学生的整体数学能力，可以采集两所学校学生高考时的数学成绩作为研究数据对象。 从某种意义上说，这就是总数据。 然而，这并不意味着我们可以用这些完整的数据很好地回答这个问题。
一方面，这个数据虽然是全数据，但仍然具有不确定性。 入学时的数学成绩并不一定能完全代表学生的数学能力。 如果让所有学生重新参加高考，几乎每个学生都会有一个新的分数。 如果用这两组全数据来分析，结论可能会改变。 另一方面，事物在不断发展变化，学生入学时的成绩并不能代表他们目前的能力。 所有学生的高考成绩数据仅为该次考试的完整数据。 “全方位”是有边界的。 超越了界限，它就不再是无所不知、无所不能的了。 事物的发展充满了不确定性，统计学不仅研究如何从数据中提取信息和模式，找到最优解； 它还研究如何量化数据中的不确定性。
因此，在大数据时代，数据分析的很多基本问题与小数据时代并没有本质的区别。 当然，大数据的特性确实给数据分析带来了新的挑战。 例如，许多传统统计方法应用于大数据时，巨大的计算量和存储量往往令其难以承受； 对于结构复杂、来源多样的数据，如何建立有效的统计模型还需要新的探索和尝试。 对于新时代的数据科学来说，这些挑战也意味着巨大的机遇，可能催生新的思路、方法和技术。
结尾
本站对作者上传的所有内容将尽可能审核来源及出处，但对内容不作任何保证或承诺。请读者仅作参考并自行核实其真实性及合法性。如您发现图文视频内容来源标注有误或侵犯了您的权益请告知，本站将及时予以修改或删除。 |
今天是: 发布信息
