Выпущена платформа Apache Hadoop v1.0

Организация Apache Software Foundation (ASF), объединяющая разработчиков более 150 Open Source-проектов, объявила овыпуске платформы распределенных вычислений Apache Hadoop v1.0. Эта стабильная, готовая для использования накорпоративном уровне сборка, появилась после шести лет работы над проектом.

Платформа Hadoop предназначена для организации распределенной обработки больших объемов данных (измеряемых петабайтами) сиспользованием парадигмы map/reduce (т.е. отдельная задача делится наболее мелкие, каждую изкоторых можно запустить наотдельном узле кластера). Hadoop v1.0 основана настабильной ветке 0.20.203.x, включает поддержку безопасного режима работы кластера (споддержкой аутентификации сиспользованием Kerberos исредств разграничения полномочий), интерфейса WebHDFS (HTTP REST API для доступа кФСHDFS). ВHadoop входит реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), оптимизированная для работы MapReduce-приложений иавтоматически обеспечивающая резервирование данных. Для упрощения доступа кданным вHadoop имеется база данных HBase, средства повышения производительности HBase при доступе клокальным файлам. Кроме того, имеется специально разработанный язык Pig, своего рода SQL для MapReduce, его запросы можно распараллеливать иобрабатывать несколькими Hadoop-платформами.

Hadoop уже активно используется вкрупных промышленных проектах, вчастности Yahoo! (впоисковом кластере, объединяющем более 40тыс. узлов иустановившему мировой рекорд скорости сортировки большого объема данных), Facebook (для обработки одной изсамых крупных вмиреБД объемом около 30петабайт), Oracle (вплатформе Big Data), IBM (всуперкомпьютере Watson), Microsoft (для работы сСУБД SQL Server, Windows Server иоблачной платформой Azure Cloud ).

Apache Hadoop выпускается под лицензией Apache License v2.0, исходный код, документацию, список дополнительных ресурсов можно найти здесь.