Материалы по тегу: hadoop

15.05.2012 [08:59], Георгий Орлов

Tibco добавила поддержку Hadoop в Spotfire

Компания Tibco включила своё программное обеспечение Spotfire в растущую экосистему Hadoop, фреймворка с открытым исходным кодом для обработки больших объемов неструктурированных данных. Пакет Spotfire версии 4.5 станет общедоступным уже в этом месяце. Он позволит пользователям объединять и анализировать информацию из кластеров Hadoop, а также структурированные данные из бизнес-приложений, таких как системы SAP или Oracle ERP.

Релиз также включает интеграцию на основе SQL с аналитической базой данных Vertica компании Hewlett-Packard, а также с базой данных Sybase IQ компании SAP. Кроме того, Tibco рекламирует свои тесные партнерские отношения с поставщиком решений поиска уровня предприятиий Attivio. Благодаря ним в нагрузку к платформе Active Intelligence Engine компании Attivio, Spotfire может представить визуализацию данных, расширение аналитики неструктурированного контента и интуитивный поиск всё в той же панели. Релиз включает в себя библиотеку "готовых методов прогнозирования", а также доступ к аналитической модели от SAS Institute и MATLAB Mathworks.

Spotfire 4.5 имеет комплект развертывания для Apple iPad и усовершенствованную систему мониторинга и управления. По мнению Борицы Эвельсона (Boric Evelson), вице-президента и главного аналитика Forrester Research, интеграция с SAS Institute и MATLAB важна, "потому что она будет давать клиентам возможность использовать существующие инвестиции и опыт работы с этими языками, и не придется переписывать процедуры для того, чтобы интегрироваться с Spotfire". Однако, другие аспекты выпуска, как, например, инструменты управления и поддержка iPad, впечатляют гораздо меньше, по его словам. "Мобильность стала "основным требованием для любой BI-платформы", и на корпоративном уровне функции управления и масштабируемости не просто факультативны, поскольку такие продукты, как Spotfire стали более зрелыми и их поставщики стремятся выиграть крупные сделки", - считает Эвельсон.

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/595872
10.05.2012 [11:44], Георгий Орлов

IDC прогнозирует рост доходов на рынке ПО Hadoop и MapReduce

По прогнозам исследовательской компании IDC, объем рынка программного обеспечения, базирующегося на платформе Hadoop, вырастет с 77 миллионов долларов в 2011 году до внушительных 812,8 млн в 2016 году, что соответствует среднегодовому приросту в 60,2%. Hadoop, открытая программная платформа, основой которой является ПО MapReduce, развивается некоммерческой организацией ASF (Apache Software Foundation), работающей также над распределенной файловой системой HDFS (Hadoop Distributed File System), языком программирования Pig и рядом других проектов. Решения MapReduce и Hadoop функционируют по принципу разбиения больших объемов данных (big data) на части с их последующей параллельной обработкой на большом количестве вычислительных узлов. Ряд компаний в последнее время активно продвигают коммерческое ПО, базирующееся на платформе Hadoop.

Hadoop

Аналитики IDC предсказывают в своем докладе, что 2012 год станет годом перелома, когда Hadoop перейдет из стадии "проверки концепции" в стадию широкого использования, хотя недостаток высококвалифицированных специалистов будет сдерживать рост заложенных в платформу технологий в течение еще двух-трех лет. IDC также ожидает усиление борьбы между приверженцами концепции открытого ПО, в соответствии с которой все версии Hadoop должны полностью базироваться на открытых кодах проекта Apache, и разработчиками коммерческого софта. Тем не менее, по мнению экспертов IDC, большинство IT-организаций будут использовать и открытое, и коммерческое ПО Hadoop, причем наличие открытых версий будет сдерживать рост стоимости лицензий на коммерческие версии и рост доходов в этом секторе рынка.

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/595858
13.01.2012 [14:40], SN Team

Программный каркас Hadoop "дорос" до версии 1.0

Проект фонда Apache Software Foundation под названием Hadoop после шести лет разработки наконец обрёл финальную реализацию. Версия Hadoop 1.0, представленная разработчиками, являет собой законченную платформу распределённых вычислений, готовую для внедрения в корпоративную инфраструктуру.

В широком смысле, Hadoop - это свободно распространяемый набор утилит, библиотек и программный каркас для разработки и выполнения распределённых программ, функционирующих на кластерах из сотен и тысяч узлов. Проект был создан в рамках вычислительной парадигмы MapReduce, согласно которой приложение разделяется на большое количество одинаковых элементарных заданий, выполнимых на узлах кластера и естественным образом сводимых в конечный результат.

 

 

Hadoop 1.0 базируется на стабильной ветке 0.20.203.x и поддерживает работу кластера в безопасном режиме. Кроме того, платформа включает в себя файловую систему HDFS, предназначенную для хранения файлов больших размеров, поблочно распределённых между узлами вычислительного кластера, а такдже полезный компонент HBase, который упрощает доступ к данным.

Hadoop используется в таких крупных проектах, как Yahoo!, FaceBook, платформа Oracle Big Data, суперкомпьютер IBM Watson, СУБД SQL Server, Windows Server и "облачной" платформой Azure Cloud. Исходный код и сопутствующая документация может быть загружена с официального сайта согласно лицензии Apache License v2.0.

Источник:

Постоянный URL: http://servernews.ru/595346
22.12.2011 [13:36], Андрей Крупин

Microsoft объявила об обновлениях Windows Azure

Компания Microsoft анонсировала ряд обновлений облачной платформы Windows Azure, расширяющих возможности для разработчиков и повышающих интероперабельность и масштабируемость cloud-площадки.

Как сообщается в разосланном корпорацией пресс-релизе, представленные новшества упрощают управление подписками на облачные услуги, добавляют возможность просмотра поминутного использования сервисов и деталей биллинга напрямую из инструментария Windows Azure Management Portal, расширяют функционал платформы, включают поддержку SQL Azure Federation и улучшают средства администрирования компонентами системы.

В числе прочих изменений платформы представители Microsoft называют новые инструменты для технических специалистов, которые работают с открытым кодом, поддержку фреймворка node.js в Windows Azure SDK, а также отсутствовавший ранее сервис для размещения приложений Apache Hadoop.

 

Microsoft объявила об обновлениях Windows Azure

 

Не осталась в стороне и финансовая сторона вопроса, регламентирующая расценки на доступ к вычислительному облаку. В частности, Microsoft объявила о снижении стоимости владения крупными базами данных SQL Azure и сокращении расценок на передачу данных. Актуальная максимальная стоимость за базу данных SQL Azure отныне составляет $500, цена исходящего трафика - $0,12/Гбайт (ранее $0,15) в странах Северной Америки и Европы и $0,19/Гбайт (ранее $0,20) в странах Азиатско-Тихоокеанского региона. Входящий трафик на серверы на платформе Windows Azure бесплатный.

Дополнительные сведения о стоимости и нововведениях облачной платформы можно получить, проследовав по этой ссылке.

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/595312
18.11.2011 [07:42], SN Team

NetApp предлагает простое решение по переходу на платформу Hadoop

Компания NetApp подготовила готовое к внедрению решение Open Solution для платформы Hadoop, которое позволяет получить максимальную отдачу от использования фреймворка, поддерживающего выполнение распределённых приложений, функционирующих на больших кластерах, построенных на обычном оборудовании.

Новинка представляет собой полностью готовый модульный кластер для внедрения Hadoop на корпоративном уровне. Решение отличается возможностью быстрого внедрения и широкими возможностями масштабирования, высокой производительностью, поддержкой технологии самовосстановления, что сокращает затраты на обслуживание, а также предоставляет возможность работы с накопителями, объединёнными в RAID-массивы, и дисками для резервного копирования данных.

 

 

Hadoop - это свободный фреймворк (или каркас) для организации распределённых вычислений, разрабатываемый сообществом Apache Software Foundation на основе технологий MapReduce и Google File System Storage. Каркас используется в программной структуре Facebook, Twitter, Rackspace и EBay, а также в коммерческих проектах компаний IBM, EMC, Dell и Oracle. Немаловажный вклад в развитие Hadoop вносит компания Yahoo и её дочерняя компания Hortonworks, с которой Microsoft и заключила соглашение по интеграции каркаса в свои продукты.

Hadoop прозрачно предоставляет приложениям надёжность и быстродействие операций с данными. Согласно парадигме MapReduce, приложение разделяется на большое количество небольших заданий, каждое из которых может быть выполнено на любом из узлов кластера. В дополнение, как было сказано выше, предоставляется распределённая файловая система, использующая для хранения данных вычислительные узлы кластера, что позволяет достичь высокой агрегированной пропускной способности кластера. Эта система позволяет приложениям легко масштабироваться до уровня тысяч узлов и петабайт данных.

Источник:

Постоянный URL: http://servernews.ru/595207
12.08.2011 [17:57], Георгий Орлов

Dell представила серверы с предустановленным Apache Hadoop

Корпорация Dell приступила к продажам серверов, на которые предустановлен Apache Hadoop — Java-фреймворк, поддерживающий выполнение распределённых вычислений. В Dell отметили, что подобные серверы очень востребованы потенциальными клиентами, так как Hadoop становится все популярнее в области распределенной обработки больших массивов информации. Для работы с Apache Hadoop Dell предложила серверы PowerEdge C2100, C6100 и C6105, а также 48-портовые коммутаторы PowerConnect 6248 Gigabit Ethernet Layer 3. По данным компании-производителя, при развертывании вычислительной системы на базе эталонной архитектуры программного и аппаратного обеспечения она может включать в себя от шести до 720 узлов. В набор предустановленного программного обеспечения серверов включены пакет Cloudera (в том числе набор компонентов Cloudera Distribution of Hadoop (CDH)) и средства управления Cloudera Enterprise. Для организации работы приложений имеется фирменный пакет Dell Crowbar.

 

PowerEdge C2100

 

В состав пакета компонентов CDH вошли сам Hadoop, а также Hive, Pig, HBase, Zookeeper, Whirr, Flume, Hue, Oozie и Sqoop. Серверы Dell могут работать под управлением операционных систем Red Hat Enterprise Linux (версий 5.6 или 6), CentOS, Ubuntu или SUSE. Dell позиционирует свои новые Hadoop-совместимые решения для использования в финансовых организациях, предприятиях жилищно-коммунального хозяйства, телекоммуникационных компаниях, исследовательских организациях, предприятиях розничной торговли и Интернет-компаниях. Компания-производитель, в случае необходимости, проведет профессиональную подготовку и обеспечит технической поддержкой. Минимальная конфигурация — шесть серверов PowerEdge C2100 с двумя управляющими узлами, одним головным узлом и тремя ведомыми узлами, а также шесть коммутаторов Dell PowerConnect 6248 — обойдется от 118 до 124 тысяч долларов США в зависимости от выбранных опций.

Источник:

Постоянный URL: http://servernews.ru/594918
04.08.2011 [11:42], Георгий Орлов

Facebook переместила свой кластер Hadoop в новый дата-центр

Представители Facebook сообщили, что компания завершила работы по перемещению мощного кластера Hadoop, в котором хранится основной массив данных Facebook, в новый дата-центр компании, расположенный в г. Прайнвилль (Prineville), штат Орегон. Этот кластер содержит сейчас примерно 30 Петабайт данных, что приблизительно в 3000 раз превышает объем всей информации, хранимой в Библиотеке Конгресса США, причем за 2010 год объем данных в кластере вырос на треть. Работы по перемещению кластера были начаты компанией ранее в этом году. По словам инженера из подразделения инфраструктур дата-центров Facebook Пола Янга (Paul Yang), перенос кластера стал совершенно неизбежным, поскольку стало ясно, что добавлять в него новые узлы уже невозможно из-за недостаточного энергоснабжения и нехватки площадей.

 

Facebook

 

В мае 2010 года сообщалось, что кластер Hadoop компании Facebook стал самым мощным в мире. На тот момент кластер состоял из 2000 серверов, базирующихся на 16-ядерных и 8-ядерных процессорах, при этом на входящих в кластер системах хранилось от 12 до 24 Тбайт данных. Циркулирующая в сети Facebook информация обрабатывается с помощью открытого программного обеспечения Apache Hive, которым пользуются и такие компании, как eBay, Amazon и Yahoo. По словам Янга, компания могла физически перенести все узлы кластера на новые площади. Такая операция потребовала бы нескольких дней, в течение которых пользователи оставались бы без сервисов Facebook. Компания сочла такой вариант неприемлемым, и было решено построить в Прайнвилле новый мощный кластер и переместить в него все данные из старого. Такая задача оказалась более сложной, поскольку данные в работающем кластере обновляются постоянно. Для того чтобы с ней справиться, специалисты Facebook создали новую репликационную систему, способную работать с кластером беспрецедентных размеров и с самыми мощными потоками данных, которая и позволила свести к минимуму задержки в работе сервиса в период этой миграции.

Источник:

Постоянный URL: http://servernews.ru/594891
Система Orphus