インフィニティソリューションズ株式会社ブログ

注目のHadoopベンダー12社:その1

今最も注目されているものの1つがHadoop。InformationWeekに「12 Hadoop Vendors to Watch in 2012(2012年、注目のHadoopベンダー12社)」と言う記事があるので、それを見てみよう。

Hadoop has been called the next-generation platform for data processing because it offers low cost and the ultimate in scalability. But Hadoop is still immature and will need serious work by the community–including the 12 vendors described here–to turn this fledgling baby elephant into an industry colossus.

Hadoopは、データ処理の次世代プラットフォームと呼ばれている。なぜなら、低コストで究極のスケーラビリティを提供するから。しかしHadoopはまだ未成熟で、生まれたての赤ちゃん象を業界の巨像に変えるために、ここにあげた12社を含むコミュニティが真剣に取り組む必要がある。

— ちなみに黄色の象がマスコットになっている。Hadoopフレームワークを構築したDoug Cutting氏の子供が、ぬいぐるみに付けていた名前がHadoopで、ぬいぐるみが黄色の象だったから、ということに由来しているたしい。

Amazon Delivers MapReduce As A Service(MapReduceをサービスとして提供するアマゾン)

No Johnny come lately to Hadoop, Amazon Web Services introduced Amazon Elastic MapReduceway back in 2009. So Amazon has intimate knowledge of Hadoop demand and applications, from the newbies running pilot projects to grizzled veterans tapping Elastic MapReduce for additional capacity as on-premise deployments hit demand overloads.

Hadoopに遅れてやってきたわけじゃない。Amazon Web ServicesはAmazon Elastic MapReduceを2009年に市場投入していたのだ。従ってアマゾンは、パイロットプロジェクトを行う初心者から、オンプレミスの実装では負荷が高すぎるため、Elastic MapReduceを追加のキャパシティとして利用する白髪交じりのベテランまで、Hadoopの要件とアプリケーションには造詣が深い。

Amazon Elastic MapReduce

Elastic MapReduce is a rapidly scalable Web service that runs on the Amazon Elastic Compute Cloud (Amazon EC2) and Amazon Simple Storage Service (Amazon S3). This is no false cloud: you can instantly provision as much capacity as need for data-intensive tasks such as Web indexing, data mining, log file analysis, machine learning, financial analysis, scientific simulation, and bioinformatics research.

Elastic MapReduceはAmazon Elastic Compute Cloud(Amazon EC2)およびAmazon Simple Storage Servie(Amazon S3)上で動作するスケーラブルなウェブサービス。偽のクラウドではない。ウェブインデックス、データマイニング、ログファイル分析、財務分析、科学シミュレーション、生物情報科学研究など、データ集約型タスクに対し、必要に応じた容量を即座にプロビジョンできる。

Beyond data processing, you can also use a services-based version of Karmasphere Analyst, a visual workspace for analyzing data on Amazon Elastic MapReduce. Karmasphere provides visual tools to use SQL and other languages to do ad-hoc queries and analyses of structured and unstructured data located on Amazon S3, Amazon Elastic MapReduce job flows, or local file systems. You also can also extract result files for use in with databases or tools such as Microsoft Excel or Tableau.

データ処理以外に、Karmasphere Analystのサービスベースのバージョンも使える。これはAmazon Elastic MapReduce上でデータを分析する仮想ワークプレース。KarmasphereはAmazon S3、Amazon Elastic MapReduceジョブフロー、ローカルファイルシステムにある構造化および非構造化データのアドホックなクエリや分析を行うために使用するSQLやその他の言語を利用するための可視化ツールだ。データベースやMicrosoft ExcelやTableauなどのツールで使用するために、結果を抽出することもできる。

— パブリッククラウドで、キャパを気にせずHadoopを利用できる点で、Elastic Map Reduceは非常に存在感が大きいです(お金は気にする必要があるかもしれませんが)。