Yahoo совершенствует открытое программное обеспечение Hadoop

Источник материала:

Yahoo совершенствует открытое программное обеспечение Hadoop

Интернет-компания Yahoo известна как самый крупный коммерческий пользователь открытого программного обеспечения Hadoop.

В рамках проходящего саммита разработчиков Hadoop, Yahoo представила два ключевых новшества для этой платформы: решение для более защищенной аутентификации Hadoop with Security и новый движок для документооборота Oozie.

На сегодня Yahoo размещает около 38 000 экземпляров веб-серверов Apache Hadoop, работающих на тысячах серверов, обслуживающих разнообразные проекты Yahoo. Все эти экземпляры связаны в единую экосистему, созданную по принципу одного большого вычислительного облака для обслуживания высоконагруженных проектов.

Сам проект Hadoop был начат программистами Yahoo в 2005 году и в 2006 году его развитие начал курировать фонд программного обеспечения Apache. C 2006 года вокруг проекта сформировалось ядро разработчиков и сотни сторонних компаний, жертвующих код на развитие Hadoop. Согласно данным компании Yahoo, сейчас в разработке этой платформы принимают участие около 600 человек.

Анонсируя свои новые разработки в Yahoo говорят, что новая система безопасной аутентификации для Hadoop связана с протоколом Kerberos, а также содержит в себе около десятка дополнительных расширений, предлагающих еще более стойкую аутентификацию. "Hadoop with Security предоставит пользователям значительно больше безопасности при проведении совместных работ над проектами и обмене закрытыми данными", - рассказывает Блейк Ирвин, директор по продуктам Yahoo.

Также новая система аутентификации поддерживает работу с облачной моделью и способна работать с несколькими центрами аутентификации одновременно.

Что касается движка документооброта Oozie, то он может интегрироваться с описанной выше Hadoop with Security, а также поддерживает работу со множеством серверов в рамках единой виртуальной среды. Новая версия разработки поддерживает такие технологии, как внутренняя файловая система Yahoo, технологии доступа к данным Pig и MapReduce. По словам Ирвина, изначально система документооборота создавалась для внутренних нужд Yahoo, однако позже сюда была добавлена поддержка комплексных рабочих процессов и технологии ETL (extraction, transformation and loading) в глобальном масштабе.

cybersecurity.ru