发布时间:2023-12-26 04:53来源:www.sf1369.com作者:宇宇
大数据技术是指从各种各样海量类型的数据中,快速获得有价值信息的能力。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。
大数据具备以下4个特点:
一是数据量巨大。例如,人类生产的所有印刷材料的数据量仅为200PB。典型个人计算机硬盘的容量为TB量级,而一些大企业的数据量已经接近EB量级。
二是数据类型多样。现在的数据类型不仅是文本形式,更多的是图片、视频、音频、地理位置信息等多类型的数据,个性化数据占绝对多数。
三是处理速度快。数据处理遵循“1秒定律”,可从各种类型的数据中快速获得高价值的信息。
四是价值密度低。以视频为例,一小时的视频,在不间断的测试过程中,可能有用的数据仅仅只有一两秒。
同时,大数据也从衣食住行方方面面都在影响改变着人们的生活。
例如,大数据可以让人们实现预约量体裁衣,在线选择款式工艺,工厂生产专属的数据版型,手机支付货款……以大数据为支撑的“互联网+私人定制”模式改变了传统制衣模式。大数据能让人们吃得更安全更放心。“扫一下二维码就可以知道农产品是从哪里生产出来,产地环境如何等,视频、图片等溯源技术展现一目了然。”在健康应用方面,基于大数据技术的血糖仪具有24小时实时监测与历史数据记录整理功能,使用者还可以就监测结果通过系统咨询医生。监测数据还可以实时上传分享。在出行方面,大数据为城市管理能力的现代化进行了技术赋权,智慧城市大数据可视化决策平台集成了包括地理信息、GPS数据、建筑物三维数据、统计数据、摄像头采集画面等多类数据,可以把市政、警务、消防、交通、通讯、商业等各部门各类型的数据融合打通。
最近正在接受大数据课程的联合培养,我觉得大数据更多地是一种思维方式,是一种从数据出发,寻找内部的相关关系,去发现一些直观观察并不容易发现的结论的思路。
这种思维方式并不是现在才有的,但是在过去因为硬件、计算能力等限制并不能充分发挥作用。当代的电子商务,移动互联网等每天都会产生有价值的大量数据,而计算机性能的提高以及云计算的出现使这种思路的出现更加容易实现,所以大数据才在这个年代火了起来。
另外提一点,我觉得对大数据而言同时也是将多种信息,比如消费信息与位置信息结合起来更直观呈现给大众的方式。利用高效的数据处理能力,做好数据可视化也是非常重要的。
可供数据分析师这个职位
可以解决不好判断的困难
可以理解现代人的时尚
可以预计未来的发展
可知共同关心的主要事情