24小时咨询电话:0571-8802321710年专业网络服务供应商

资讯中心

- 直击网站建设第一现场,掌握全球化的消息 -

当前位置 : 首页 > 新闻中心 > 建站知识 > 【杭州网站设计】高性能集群计算(HPCC)能取代Hadoop吗?

【杭州网站设计】高性能集群计算(HPCC)能取代Hadoop吗?

2011-07-02 分享 浏览次数:6671次

 

LexisNexis公司将发布一款开源的数据处理方案,LexisNexis公司宣称其处理工作负载的能力要优于Hadoop。该技术被称为HPCC系统,该系统在10年前帮助LexusNexis公司的Risk Solutions分析大量的客户数据。并在金融业和其他重要的行业中应用。看来HPCC(High-Performance Cluster Computing 高性能集群计算)似乎有能力成为替代Hadoop的解决方案。

据LexisNexis Risk Solutions部门CTO Armando Escalante表示,LexisNexis公司决定发布HPCC系统,目前的状况是Hadoop技术已经成为处理海量数据的首选。Armando Escalante表示Hadoop虽然在海量数据处理方面走在前边,但他认为HPCC系统更为优越。

但重要的是,Hadoop的开源模式吸引了大量相关人员对其进行开发和创新。Armando Escalante解释说,如果公司想要继续保持HPCC的影响力就需要通过一个新社区提供应用和好的创意。

Hadoop是许多年前由当时的Yahoo员工Doug Cutting在Apache软件基金会创建的项目。Hadoop现已成为网络公司的重要工具。包括Yahoo、Facebook,并帮助他们处理不断增长的非结构化数据。Hadoop催生了一批用于商业的基于分布式技术的产品,包括Cloudera,EMC和IBM等公司。

HPCC如何工作

Hadoop依靠两个核心组件来存储和处理海量数据——Hadoop分布式文件系统和Hadoop Mapreduce。Cloudant公司CEO Mike Miller认为MapReduce在编写并行处理工作流时依然相对复杂,HPCC旨在通过ECL(Enterprise Control Language)改善这一局面。

Escalante表示ECL是一种声明式并以数据为中心的语言,它剥离了大量MapReduce必要的工作。对于某些千行代码的MapReduce任务ECL只需要99行。此外,他还表示ECL对集群中节点的数量没有要求,系统会自动将数据分布式的存放在当前节点之中。从技术上讲,HPCC还可以运行在单一的虚拟机上。HPCC基于C++,如同Google最早的Mapreduce,这使得HPCC天生在效率上就优于基于Java开发的Hadoop。

HPCC提供两种数据处理和服务的方式——Thor Data Refinery Cluster和Roxy Rapid Data Delivery Cluster。Escalante表示如此命名是因为其能像Thor(北欧神话中司雷、战争及农业的神)一样解决困难的问题,Thor主要用来分析和索引大量的Hadoop数据。而Roxy则更像一个传统的关系型数据库或数据仓库,甚至还可以处理Web前端的服务。

虽然没有深入探讨HPCC存储组件的细节,但Escalante表示HPCC基于分布式文件系统,并可支持各种off-node存储架构和本地的SSD。

Escalante认为为了确保LexisNexis产品质量,应采用“eating its own dogfood”(指软件公司强调自己的软件产品首先应内部使用,如果希望顾客购买公司的产品,公司内部也应该愿意使用它们)做法。HPCC开发团队还聘请了Hadoop专家帮助检验其产品是否有问题疏漏。HPCC还构建了一个转换器,用于迁移Hadoop Pig编写的应用并转换为ECL。

HPCC具有竞争力吗?

一个关键的问题是HPCC是否能吸引到业界的构建者和用户,这将有助于提升其在海量数据领域的话语权。Escalante认为HPCC能够成功,因为HPCC已经证明了自己,它已处理LexisNexis Risk Solutions的35000个数据源。同时HPCC还可以每秒处理5000次的和支付客户打交道的交易事物。

Hadoop已经证明了自己,其潜在的巨大核心业务每天都在增长,现在企业和组织在海量数据上依托于Hadoop。但Hadoop并不满足这些成就。这使得微软也在海量数据的竞争中推出了自己的分布式计算技术Dryad。(李智/译)

原文链接:GIGAOM

杭州网站设计公司 杭州网站建设公司 杭州网站制作公司 杭州网站设计 杭州网站建设 杭州网站制作  杭州精品网站制作 杭州精典网站制作

最新网站案例

洞悉市场趋势演变让传播回归社会

    免费获取网站建设与网络推广方案报价

    • 关于我们

      杭州帷拓科技有限公司,是一家新型的全案网络开发公司,作为以互联网高端网站建设、APP开发、小程序开发为核心的专业网络技术服务供应商,帷拓科技致力于全面分析市场环境、衡量与预测市场需求、整合区别于行业竞争对手的绝对优势,结合品牌理念深度挖掘项目优势和产品价值,提升客户品牌认知、认可度。

    • 我们的客户

      帷拓科技历经十年沉淀,与国内外上千家客户达成合作关系,其中稳定合作的公司有:浙江华为、浙江移动、浙江5G产业联盟、浙江省社科院、绿城足球俱乐部、娃哈哈双语学校、健康中国杭州峰会、科雷机电等,帷拓科技始终坚持“帷有专业,才能拓展无限”的服务理念,坚持“认真坚持细节”的优质服务理念,不断完善自身,成就企业,最终实现共赢。

    • 我们的业务

      帷拓科技主营业务范围包含互联网高端网站建设、APP开发、小程序开发、商城网站建设、公众号运营以及数字营销等,涵盖了服务、房产、数码、服装、物流贸易等行业,根据品牌现状,为每个客户量身定制项目整体服务方案,以敏锐的市场洞察力、创新的市场策划能力,全面把握市场变化,为客户实现从企业到消费者的价值转换。

    Designerpart Designagentur
    Designerpart Designagentur
    Designerpart Designagentur
    Designerpart Designagentur
    Designerpart Designagentur
    Designerpart Designagentur