data is everything
db3 · 共 3 篇文章
Hive中的ObjectInspector设计
ObjectInspector是Hive中一个咋一看比较令人困惑的概念,当初读Hive源代码时,花了很长时间才理解。 当读懂之后,发现ObjectInspector作用相当大,它解耦了数据使用和数据格式,从而提高了代码的复用程度。 简单的说,ObjectInspector接口使得Hive可以不拘泥于一种特定数据格式,使得数据流 1)在输入端和输出端切换不同的输入/输出格式 2)在不同的Operator上使用不同的数据格式。 这是ObjectInspector interface public interface ObjectInspector extends Cloneable { publ…
2011-06-08 12:46 · 并行海量数据处理 · 评论(0)
微软发布高性能并行数据仓库”Denali“ (转自CSDN)
微软在今天发布了其最新版本的高性能并行数据仓库产品和一款新的预览版本云计算产品,借助这一产品,微软希望帮助客户辨别并解决相关SQL Server的配置难题。然而在发布会中,微软透露了下一版本SQL Server的相关信息,即代号为“Denali”的项目,这也成为人们关注的焦点。 在今年的PASS 2010峰会上,微软的业务平台部门高级副总裁Ted Kummert透露最新版的SQL Server 2008 R2并行数据仓库已经投入生产。 Kummert说:“并行数据仓库让微软SQL Server扩展能力提升到了更高的级别,即百TB级别。” 在距离Madison项目发布两年之后,微软将其收购的厂…
2010-11-12 13:15 · 并行海量数据处理 · 评论(0)
Hive与并行数据仓库的体系结构比较
最近分析和比较了Hive和并行数据仓库的架构,本文记下一些体会。 Hive是架构在Hadoop MapReduce Framework之上的开源数据分析系统。 Hive具有如下特点: 数据以HDFS文件的形式存储,从而可以很方便的使用外部文件 元数据存储独立于数据存储之外,从而解耦合元数据和数据,同样的数据,不同的用户可以有不同的元数据 查询计划被分解为多个MapReduce Job,并按照依赖关系依次执行,复用了MapReduce的执行架构 灵活的存储格式,通过ObjectInspector将对数据列的访问与数据的具体存储格式解耦合,同一行数据在同一个数据处理流中可以以不同的格式出现 基于…
2010-11-10 16:41 · 并行海量数据处理 · 评论(2)