云计算与数据分析的关系 云计算有什么特性？

云计算有什么特性？

云计算是与信息技术、软件、互联网相关的一种服务，这种可以计算资源共享池叫做什么“云”，云计算把许多可以计算资源数学集合出声，实际软件实现方法自动化管理，只要比较少的人联合，就能让资源被飞快可以提供。也就是说，计算能力以及一种商品，可以不在互联网上买卖流通，得象水、电、煤气一般，也可以方便啊地取用，且价格较为价格相对低廉。

云计算跟传统的应用网络比起有虚拟化、按需购买、高可用、性价比高等特性，很多小型公司公司渐渐地将自己的业务服务作战部署到云上，小型的公司是可以专有云的或混合云将业务上云。

云计算是确立在先进科学互联网技术基础之上的，其实现形式众多，要注意实际100元以内形式结束：

1）基础设施即服务(iaas)，要注意牵涉到云计算底层服务，将机房服务、网络服务、服务器硬件服务等打包虚拟化，将虚机、物理机、sdn等服务提供给客户，

可以按月、按计算资源(cpu、内存等)等可以购买，基于按需购买，为中小规模公司节约it服务成本。基础设施前期投入比较好大，目前再iaas服务什么的公司就几个大公司，阿里巴巴的阿里云，腾讯的腾讯云，京东的京东云。

2)平台即服务(paas)，通常牵涉到到中间件服务，在iaas你服务的上层，将数据库服务，缓存redis服务，消息队列服务，api网关服务，cdn服务等打包服务资源，客户也可以快的的接入这些服务，按流量、存储空间等购买，基于按需付费。

3）软件即服务(saas)，最上一层服务，在paas.服务的上层，通常将业务流程实现云化，诸如erp产品，在线笔记服务，用户只是需要去注册一个账号、登陆一个页面就使用服务，这类公司比较多，未来这类能提高saas服务公司会百花齐放百家争鸣的。

如何做好大数据关联分析？

大数据的技术大数据技术和：

1）数据采集：etl工具专门负责将其分布的、异构网络数据源中的数据如关系数据、垂直数据文件等收集到正式中间层后参与清洗、转换、集成，到最后运行程序到数据仓库或数据集市中，拥有联机分析处理、数据挖掘的基础。

2）数据存取：关系数据库、nosql、sql等。

3）基础架构：云存储、分布式文件存储等。

4）数据处理：自然语言处理(nlp，naturallanguageprocessing)是研究什么人与计算机交互的语言问题的一门学科。全面处理自然语言的关键是要让计算机”再理解”自然语言，因为自然语言处理又就是自然语言理解也称为计算语言学。其次它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一。

5）统计分析：假设检验、显著性检验、差异总结、咨询分析、t检验、方差分析、卡方讲、偏去相关分析、距离结论、回归分析、简单方差分析、多元回归分析、逐渐回归、回归预测与残差讲、岭进入虚空、逻辑回归结论、曲线估计、因子分析、聚类分析、主成分分析、因子分析、迅速聚类法与聚类法、如何判断讲、对应分析、多元随机讲（最优尺度总结）、bootstrap技术等等。

6）数据挖掘：类型（classification）、估计（estimation）、预测（prediction）、相关性分组或关联规则（affinitygrouping求求求associationpolicies）、聚类（clustering）、描述和可视化、descriptionbutvisualization）、奇怪数据类型深处挖掘(text,web,图形图像，视频，音频等)模型预测：预测模型、机器学习、建模仿真。7）结果呈：云计算、标签云、关系图等。

一、搭建大数据分析平台对付海量的各种来源的数据，如何能对这些零散的数据进行有效的分析，换取流通价值信息一直是大数据领域研究的热点问题。、、

在搭建中大数据分析平台之前，要先内容明确业务场景场景在内用户的需求，通过大数据分析平台，想能得到哪些有价值的信息，不需要接入的数据有哪些，必须明确基于场景业务需求的大数据平台要拥有的基本上的功能，来改变平台搭建过程中不使用的大数据处理工具和框架。（1）操作系统的选择

操作系统就像在用开源版的redhat、centos或则debian才是底层的构建平台，要据大数据平台所要垒建的数据分析工具可以不支持的系统，明智的选择操作系统的版本。

（2）重新搭建hadoop集群hadoop以及一个开发和运行一次性处理大规模行动数据的软件平台，实现了在大量的便宜货计算机组成的集群中对海量数据并且分布式计算。hadoop框架中最核心的设计是hdfs和mapreduce，hdfs是一个高度容错性的系统，适合布署在廉价的机器上，还能够可以提供高吞吐量的数据访问，范围问题于那些有着大到离谱数据集的应用程序；mapreduce是一套可以不从海量的数据中再提取数据到最后回结果集的编程模型。在生产实践应用中，hadoop的很适合运用于大数据存储和大数据的分析应用，更适合.服务于几千台到几万台大的服务器的集群运行，支持pb级别的存储容量。

（3）中,选择数据接入和预处理工具

面对各种来源的数据，数据接入应该是将这些零散的数据整合在一起，综合下来通过分析。数据接入要注意包括文件日志的接入、数据库日志的接入、关系型数据库的接入和应用程序等的接入，数据接入广泛的工具有flume，logstash，ndc（网易数据运河系统），sqoop等。这对实时性要求也很高的业务场景，诸如对必然于社交网站、新闻等的数据信息流需要通过快速的处理反馈，这样的话数据的接入是可以使用开源的strom，sparkstreaming等。

数据预处理是在海量的数据中提纯出可用特征，确立宽表，修改数据仓库，会使用到hivesql，sparksql和impala等工具。与此同时业务量的增多，必须参与训练和擦洗的数据也会变地越发复杂，这个可以在用azkaban或者oozie充当工作流调度引擎，用来解决的办法有多个hadoop或则spark等计算任务之间的依赖性太强关系问题。

（4）数据存储

除开hadoop中已广泛应用于数据存储的hdfs，具体方法的另外分布式、面向列的闭源数据库hbase，hbase是一种key/value系统，防御部署在hdfs上，与hadoop一样的，hbase的目标主要是感情依赖横向扩展，实际不断地的增强廉价的商用化服务器，减少可以计算和存储能力。同时hadoop的资源管理器yarn，可以不为上层应用可以提供统一的资源管理和调度，为集群在利用率、资源统一规定等方面带来巨型的好处。

（5）你选数据挖掘工具

hive可以不将结构化的数据映射为一张数据库表，并需要提供hql的查询功能，它是成立在hadoop之上的数据仓库基础架构，是是为降低mapreducec语言程序工作的批处理系统，它的出现也可以让那些精通满sql技能、只不过不比较熟悉mapreduce、编程能力较弱和不擅长java的用户能够在hdfs大规模行动数据集上很好的利用sql语言查询、汇总、分析数据。impala是对hive的一个补充，可以不利用又高效的sql查询，但是impala将整个查询过程分成了一个先执行计划树，而并非噼里啪啦的mapreduce任务，相比hive有更好的并发性和以免了不必要的中间sort和shuffle。

可以对数据进行建模分析，会用到机器学习相关的知识，具体方法的机器学习算法，比如贝叶斯、逻辑回归、决策树、神经网络、协同过滤等。

（6）数据的可视化和输出api

对此去处理换取的数据是可以对接主流的bi系统，例如国外的tableau、qlikview、powrerbi等，国内的smallbi和新兴的网易有数（可免费试用）等，将结果通过可视化，应用于决策分析；或则回流到线上，意见线上业务的发展。

二、大数据分析1.可视化分析

大数据分析的使用者有大数据分析专家，同样的还有普通用户，但他们二者是对大数据分析最基本的要求就是可视化分析，而且可视化分析都能够形象直观的显现出大数据特点，同样的能太太容易被读者所进行，就好似看图说话一样的简单明了。

2.数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于条件有所不同的数据类型和格式才能十分真正的科学的呈出数据本身必须具备的特点，也显然毕竟这些被全世界统计学家所最有实力的各种统计方法（也可以称之为真理）才能探索数据内部，开掘出最牛叉的价值。另外一个方面又是而且有这些数据挖掘的算法才能更飞速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就只能沉默了。

3.预测性分析

大数据分析结果要的应用领域之一那就是流程挖掘，从大数据中深处挖掘出特点，是从科学的建立模型，之后便可以不实际模型得a新的数据，使分析预测未来的数据。

4.语义引擎

非结构化数据的多元化给数据分析给了新的挑战，我们是需要一套工具系统的去分析什么，提炼数据。语义引擎要电脑设计到有充足的人工智能以根本无法从数据中主动去地提取信息。

5.数据质量和数据管理

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究那就在商业应用领域，都也能只要讲结果的都是假的和有价值。大数据分析的基础应该是以上五个方面，当然了更深一步大数据分析的话，还有很多很多极其有特点的、更深入的、极其比较好的专业的大数据分析方法。

三、数据处理1.大数据处理之一

采药大数据的采集是指凭借多个数据库来能接收打动心灵客户端（web、app或是传感器形式等）的数据，但是用户可以是从这些数据库来并且很简单网上查询和处理工作。比如说，电商会建议使用悠久的传统的关系型数据库mysql和oracle等来存储每一笔事务数据，除此之外，redis和mongodb这样的nosql数据库也常用于数据的采集。在大数据的采集过程中，其主要特点和挑战是并发数高，毕竟另外有可能会有成千上万的用户来接受访问和操作，比如说火车票售票网站和淘宝，它们并发的访问量在峰值时都没有达到上百万，因此必须在哪采端部署大量数据库才能能支撑。因此该如何在这些数据库之间进行负载均衡和分片真的是是需要深度思考和设计。

2.大数据处理之二

导入/预处理只不过再采集端本身会有很多数据库，只不过如果要对这些海量数据并且有效的分析，应该估计将这些不知从何而来前端的数据导入到一个几乎全部的大型分布式数据库，或者分布式存储集群，并且可以不在导入基础上做一些很简单刷洗和预处理工作。也有一些用户会在导入时使用来自twitter的storm来对数据进行流式算出，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要注意是导出的数据量大，每秒钟的导入量偶尔会会提升百兆，甚至百兆级别。

3.大数据处理之三

统计数据/分析统计与分析比较多依靠分布式数据库，或则分布式计算集群来对存储于其内的海量数据并且特殊的分析和分类汇总等，以不满足大多数常见的分析需求，在这方面，一些实时性需求会都用到emc的greenplum、oracle的exadata，这些基于条件mysql的列式存储infobright等，而一些批处理，的或基于组件半结构化数据的需求也可以可以使用hadoop。统计与讲这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是i/o会有极大的占用。

4.大数据处理之四

挖掘与前面统计和分析过程有所不同的是，数据挖掘就像没有什么先行设定好的主题，通常是在超过数据上面进行基于条件各种算法的计算，使可起分析预测（predict）的效果，从而实现程序一些高级别数据分析的需求。比较好啊是算法有用于聚类的kmeans、主要是用于统计出来去学习的svm和作用于分类的naivebayes，主要注意可以使用的工具有hadoop的mahout等。该过程的特点和挑战主要是应用于挖掘的算法很急切，并且算出不属于的数据量和计算量都太大，具体方法数据挖掘算法都以单线程为主。

数据分析数据库服务工具