新闻动态
联系方式
联系人：辜渝傧
联系电话：13037102709
公司电话：027-87870986
公司地址：湖北省武汉市东湖新技术开发区金融港四路中原电子民品园10号楼
大数据技术区||大数据、云计算和物联网三者之间的关系
大数据
1.大数据的定义
大数据最早在上世纪90年代被提出，麦肯锡在2012年的评估报告中指出“大数据时代”已经到来，使得人们对于大数据重要性的认知和关注度进一步增加，但尚无统一的定义。
麦肯锡给出的定义：大数据是大小超出常规数据库工具获取、存储、管理和分析能力的数据集，即大数据是现有数据库管理工具和传统数据处理手段很难处理的大型、复杂的数据集，涉及采集、存储、搜索、共享、传输和可视化等方面。
全球最具权威的IT研究与顾问咨询公司Gartner 将大数据定义为：大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据是指无法在可容忍的时间内用传统IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。这里传统的IT技术和软硬件工具是指单机计算模式和传统的数据分析算法。
尽管对大数据概念的表述不同，但普遍认为大数据是信息技术领域的重大技术变革。
2.大数据的特征
一般来说，大数据具备以下四个维度的特征4V，即Volume、Variety、Velocity和Value。
1.数据量大（Volume）
互联网、在线交易、微信、电话、企业IT、物联网、社区等，随时都在快速累积庞大的数据，数据量等级很容易达到TB甚至PB或EB级，原先数据集中存储和集中计算方式已不适应客观现实的要求。
2.种类多（Variety）
与传统数据相比，大数据来源广、维度多，而且数据类型非常多样化，既包括结构化的数据，也包括文档、网络日志、图片、音视频、地理位置信息、模拟信号、社区、交友数据等半结构化和非结构化数据。
3.速度快，时效高（Velocity）
随着带宽越来越大、设备越来越多，每秒产生的数据流越来越大。从数据的生成到消耗，时间窗口非常小，时间太久就会失去数据的价值（1秒定律），可用于生成决策的时间非常少，必须能在最短时间内得出分析结果，所以大数据对数据处理有较高的时效性要求，这就需要新的数据处理模式。随着互联网、计算机技术的发展，数据生成、储存、分析、处理的速度远远超出人们的想象力，这是大数据区别于传统数据或小数据的显著特征。
4.价值高，但价值密度低（Value）
大数据多为半结构化和非结构化数据，并未经程式化的处理，其中存在大量无用的信息，价值密度较低。但经过清洗、整合和深度分析，可得到高价值的信息。
以公共场所监控视频为例，连续不间断监控过程中，可能仅几分钟乃至几秒钟的视频是需要的，具有很高的价值。
云计算
1.云计算的定义
云计算（Cloud Computing）是分布式计算（Distributed Computing）、并行计算（Parallel Computing）、效用计算（Utility Computing）、网络存储（Network Storage Technologies）、虚拟化（Virtualization）、负载均衡（Load Balance）和热备份冗余（High Available）等传统计算机和网络技术发展融合的产物。云计算最初主要包括了两类含义：一类是以谷歌的GFS和MapReduce为代表的大规模分布式并行计算技术；另一类是以亚马逊的虚拟机和对象存储为代表的“按需租用”的商业模式。随着大数据概念的提出，人们提到云计算时，更多指的是底层基础IT资源的整合优化以及以服务的方式提供IT资源的商业模式（如Iaas、PaaS、SaaS）。
所谓云计算是基于互联网相关服务的增加、使用和交互模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。
对云计算的定义有多种说法，现阶段广为接受的是美国国家标准与技术研究院（NIST）对云计算的定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。
2.云计算的特点
云计算有如下特点：
（1）超大规模。
（2）虚拟化。
（3）高可靠性。
（4）通用性。
（5）高可伸缩性。
（6）按需服务。
（7）极其廉价。
3. 云计算的分类
云计算按服务类型大致分为基础设施即服务（IaaS）、平台即服务(PaaS)和软件即服务(SaaS)三类。
物联网
1. 物联网的定义
物联网（Internet of Things（简称IOT））的概念是在1999年提出的，也称为Web of Things。
物联网指利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化、远程管理控制和智能化的网络。
物联网是互联网的延伸，它包括互联网及互联网上所有的资源，兼容互联网所有的应用，但物联网中所有的元素(所有的设备、资源及通信等)都是个性化和私有化。应用创新是物联网的发展的核心，以用户体验为核心的创新是物联网发展的灵魂。
2. 物联网的基本原理
物联网的基本原理是在计算机互联网的基础上，利用RFID、无线数据通信等技术，构造一个覆盖世界上万事万物的“Internet of Things”。在这个网络中，物品(商品)能够彼此进行“交流”，而无需人的干预。其实质是利用射频自动识别(RFID)技术，通过计算机互联网实现物品(商品)的自动识别和信息的互联与共享。
3. 物联网的技术架构
从技术架构上来看，物联网可分为三层：感知层、网络层和应用层。感知层由各种传感器以及传感器网关构 技术架构图示成，包括二氧化碳浓度传感器、温度传感器、湿度传感器、二维码标签、RFID 标签和读写器、摄像头、GPS等感知终端。感知层的作用相当于人的眼耳鼻喉和皮肤等神经末梢，它是物联网识别物体、采集信息的来源，其主要功能是识别物体，采集信息。
网络层由各种私有网络、互联网、有线和无线通信网、网络管理系统和云计算平台等组成，相当于人的神经中枢和大脑，负责传递和处理感知层获取的信息。
应用层是物联网和用户（包括人、组织和其他系统）的接口，它与行业需求结合，实现物联网的智能应用。
物联网的行业特性主要体现在其应用领域内，如绿色农业、工业监控、公共安全、城市管理、远程医疗、智能家居、智能交通和环境监测等。
4. 物联网的分类
（1）私有物联网。一般面向单一机构内部提供服务。
（2）公有物联网。基于互联网向公众或大型用户群体提供服务。
（3）社区物联网。向一个关联的“社区”或机构群体（如一个城市政府下属的各委办局：如公安局、交通局、环保局、城管局等）提供服务。
（4）混合物联网。是上述的两种或以上的物联网的组合，但#后台有统一运维实体。
物联网是新一代信息技术的重要组成部分，也是信息化时代的重要发展阶段，被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。
大数据与云计算、物联网的关系
云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者相辅相成，三者既有区别又有联系。
1. 大数据与云计算和物联网的区别
大数据侧重于海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活。
云计算本质上旨在整合和优化各种IT资源，并通过网络以服务的方式廉价提供给用户。
物联网的发展目标是实现物物相连，应用创新是物联网发展的核心。
2. 大数据与云计算和物联网的联系
从整体上看，大数据、云计算和物联网这三者是相辅相成的。大数据根植于云计算，大数据分析的很多技术都来自于云计算，云计算的分布式和数据存储和管理系统（包括分布式文件系统和分布式数据库系统）提供了海量数据的存储和管理能力，分布式并行处理框架MapReduce提供了海量数据分析能力，没有这些云计算技术作为支撑，大数据分析就无从谈起。反之，大数据为云计算提供了用武之地，没有大数据，云计算技术再先进也不能发挥它的应用价值。
物联网的传感器源源不断产生的大量数据，构成了大数据的重要来源，没有物联网的飞速发展，就不会带来数据产生方式的变革，即由人工产生阶段向自动产生阶段，大数据时代也不会这么快就到来。同时，物联网需要借助于云计算和大数据技术、实现物联网大数据的存储、分析和处理。
唯众大数据实训平台助你快速掌握大数据关键技术点
大数据实训平台简介
唯众大数据实训平台系统是针对IT类实验室现状开发的一套虚拟化网络创新教学实训平台，它采用B/S的软件架构，基于web浏览器访问，以少量硬件设备完成大量实训集群的构建，可提供大量学生进行IT类相关实训。每个学生的实训环境互相隔离、实训过程互不干扰。同一页面中既包含了各类实操环境，也包含了每个实验对应的实验文档，省去了在同页面间来回切换的麻烦，实验过程采用分布式设计，配合大数据分析模块，实时监控每个步骤的学习情况，方便学生高效的完成实训操作的同时，大幅节省了硬件成本和人力成本的投入。
大数据实训平台特点
配置灵活- 支持集群部署，支持集群内管理云主机，提供高可用特性，自动生成IP池，内置DHCP服务器，自动为云主机分配IP地址
- 支持自定义镜像上传，可满足多种格式镜像上传及管理功能
- 支持批量创建/删除多个云主机，支持云主机基本生命周期控制，
- 支持自定义云主机配置管理
操作简便
- 同一页面中既包含了各类实操环境，也包含了每个实验对应的实验文档，省去了在同页面间来 回切换的麻烦。
- 学生在实验过程中可以根据学习内容记录学习笔记，并查看他人笔记
- 学生在实验过程中可以将自己遇到的问题进行提问或回答其他同学的问题，老师或其他同学可对起问题进行回答
- 学生在实验结束后在线提交实验报告，并查看成绩以及评语
大数据实训资源
大数据之Linux基础
大数据之Python基础
大数据之MySQL基础
大数据之Java程序设计
大数据之jQuery数据处理
大数据之可视化
大数据之JavaWeb应用程序设计
大数据之JavaWeb图书管理系统项目
大数据之JavaWeb试题库管理系统项目
大数据之环境搭建
Hadoop离线大数据网站点击流日志分析
Hadoop离线大数据学情分析系统开发
Spark Streming医疗实时审核系统开发
Spark用户人群画像系统开发
