之前对于大数据只是一个概念，而今已经有很多企业和厂商在开始行动，但目前需要做的是如何迎接大数据的到来，如果你接不住大数据那么你在未来的企业市场将会被淘汰。文件(非结构化数据)本身的大小在发生明显的变化，从600MB的RMVB到了30GB的蓝光1080P视频，企业数据量增加，造成的数据库庞大。这无疑是迫使企业进入大数据时代的原因之一。

  我们知道大数据的4v理论，数量(Volume)、多样性(Variety)、速度(Velocity)和真实性(Veracity)，为我们制定大数据的策略提供了很好的方向。但同时我们在处理大数据的时候还是面临着很多问题，就目前大数据处理的现在的状况来看，基本上处于以下几种状态。

  为什么说Hadoop很难成为公共云服务呢，原因有以下几个方面，第一Hadoop的安全体系局限在企业内网，缺乏多租户的支持。第二直接暴露HDFS文件系统，MapReduce和Hive很难做到多用户数据安全。第三数据文件格式过于复杂多样，维护成本高，保持数据兼容比较困难。

  大数据处理系统的技术门槛很高，从自备发电机到公共电网还有非常长的路要走。而市场则需要安全性、可用性、数据正确性都有保障，并且功能完整的一体化大数据处理服务。

  大数据的处理技术纷繁复杂，仍然处于产业变革早期的战国时代。由于传统的OLAP和数仓的延续性，HiveSQL有很大市场，但Hive的数据正确性和Bug仍然比较多。而HadoopMapReduce又过于复杂灵活，写出高效Job很难。Pig、FlumeJava等分布式编程模型技术的门槛较高，所以推广起来也很难。在数据挖掘和图算法领域虽然涌现出了Mahout、Hama、GoldenOrb等大量开源平台，但都不够成熟。至于基于Hadoop的工作流系统Oozie和数据传输系统Sqoop都需要开发人员单独部署。都是各有利弊，还没有一个很好的完美的解决方案。

  大数据时代背景之下，信息和数据的持续不断的增加，使得数据处理和分析变得特别的重要。企业拥有大量的数据，还能够对数据来进行有效的分析，可以轻松又有效提高企业的管理效率和统计效率。随技术的发展，各个行业通过云计算和大数据等对数据的处理、分析技术获得利益。本文对大数据概念做多元化的分析，阐述大数据在企业合理应用中的意义。

  我咨询了我们真正的数据专家，收集整理了他们都以为所有数据专家都应该会的七款Python工具。TheGalvanizeDataScience和GalvanizeU课程注重让学生们花大量的时间沉浸在这些技术里。当你找第一份工作的时候，你曾经投入的时间而获得的对工具的深入理解将会使你有更大的优势。