Материалы по тегу: aws

30.06.2021 [16:05], Владимир Агапов

Облачный суперкомпьютер Descartes Labs на платформе AWS занял 41 место в рейтинге TOP500

Descartes Labs, занимающаяся автоматизацией анализа данных дистанционного зондирования Земли, смогла развернуть, при сотрудничестве с AWS облачную HPC-систему производительностью 9,95 Пфлопс. Нарастить вычислительную инфраструктуру без ущерба для производственных процессов компании позволили инстансы Amazon Elastic Compute Cloud (EC2), кластер которых образовал суперкомпьютер по требованию на 172,692 ядрах Intel Xeon Scalable.

Mike Warren

Благодаря эластичности EC2, компания также протестировала в HPL (High Performance LINPACK) и другие размеры кластера мощностью от 1 Пфлопс. Для итогового теста понадобилось 9 часов. Отмечается, что нагрузка, генерируемая HPL, приближена к реальным задачам, которые решаются Descartes Labs при анализе спутниковых снимков. Так что это не тест ради теста, и есть все основания ожидать, что продемонстрированная производительность позволит компании обрабатывать петабайты данных о Земле и предоставлять необходимую клиентам аналитику практически в реальном масштабе времени.

Возможность построить суперкомпьютер в облаке открывает новый путь для обработки больших объёмов данных и решения задач планетарного масштаба. Основным его достоинством является гибкость системы, которая оптимально соответствует сложности проводимой работы и использует для этого ровно столько ресурсов, сколько необходимо. Для создания классического суперкомпьютера требуются специальные знания, годы планирования, долгосрочная приверженность конкретной архитектуре и десятки миллионов долларов инвестиций.

В облачном суперкомпьютере клиенту достаточно приобрести необходимые ресурсы на определённое время и можно сразу же приступать к решению задачи. По словам Майка Уоррена, технического директора Descartes Labs, доступ к узлам в регионе AWS US-East 1 обошёлся компании примерно в $5000, в то время как стоимость оборудования для построения вычислительной системы подобной мощности составила бы порядка $25 млн., не говоря уже о времени на её создание.

Descartes Labs была основана в 2014 году выходцами из Лос-Аламосской национальной лаборатории (LANL). Компания начала использовать платформу AWS в 2019 году, сумев достигнуть производительности 1,93 ПФлопс. Новый рекорд был поставлен на временно свободных мощностях EC2 в течение 48 часов в начале июня. Сначала авторы сделали тесты на малом кластере из 1024 инстансов, а потом развернули кластер из 4096 инстансов C5, C5d, R5, R5d, M5 и M5d.

«Сегодня мы используем облако для анализа наборов данных наблюдения Земли на петамасштабах, в частности, выходя за рамки только оптических изображений и переходя к более специфическим видам наблюдения Земли, такими как радар, InSAR и данные AIS», — сказал Майк. Он также отметил важность инвестиций в сетевые технологии, без которых создание подобных HPC-кластеров в облаке было бы невозможно.

Ранее Суперкомпьютерным центром Сан Диего и Нейтринной обсерваторией Ice Cube в публичных облаках «большой тройки» было проведено два эксперимента по созданию временных сверхкрупных кластеров для расчётов. В первом удалось задействовать более 50 тыс. ускорителей NVIDIA, а во втором исследователи, основываясь на полученных ранее данных, использовали уже наиболее выгодные и эффективные инстансы. Правда, специфика задачи была такова, что не требовала действительно быстрого интерконнекта.

Облачная служба Microsoft Azure ещё в прошлом году показала кластер производительностью 5 Пфлопс, узлы которого были объединены посредством InfiniBand. А уже в этом сразу четыре новых кластера на базе инстансов NDv4 в разных облачных регионах заняли места c 26 по 29 в свежем рейтинге TOP500 — производительность каждого составила 16,6 Пфлопс.

Постоянный URL: http://servernews.ru/1043149
24.06.2021 [23:46], Владимир Мироненко

Конкурс AWS BugBust Challenge призван устранить 1 млн ошибок в ПО

Облачная служба Amazon Web Services анонсировала конкурс AWS BugBust Challenge — первый в мире глобальный конкурс для разработчиков, который позволит общими усилиями устранить 1 млн ошибок в программном обеспечении. Разработчики со всего мира смогут присоединиться к конкурсу, создав событие AWS BugBust для своей организации в консоли Amazon CodeGuru, и побороться за призы и признание среди коллег, выявляя и исправляя ошибки в своих приложениях.

Официальная цель состязания — не только сообща устранить 1 млн ошибок, но и избавиться от технического долга, который тянет на $100 млн. Наиболее активные участники могут получить эксклюзивные призы и шанс на оплачиваемую поездку для участия в AWS re: Invent 2021 в Лас-Вегасе. Естественно, таким образом компания хочет привлечь внимание не только к проблемному коду, но и к собственным продуктам.

Amazon CodeGuru — инструмент разработчика, который использует для выявления ошибок и поиска самых важных строк кода в приложениях. Сервис помогает автоматизировать проверку кода и профилирование приложений с помощью CodeGuru Reviewer, который использует машинное обучение для выявления распространённых проблем в коде и предоставления конкретных рекомендаций по исправлению, и CodeGuru Profiler — для определения наиболее ценных строк кода, тоже с помощью машинного обучения.

Постоянный URL: http://servernews.ru/1042824
21.06.2021 [14:45], Сергей Карасёв

Ferrari воспользуется облаком Amazon AWS для разработки новых авто

Облачный провайдер Amazon Web Services (AWS) объявил о заключении соглашения с итальянским производителем суперкаров Ferrari S.p.A. По условиям договора, создатель спортивных автомобилей будет использовать облачные технологии AWS для высокопроизводительных вычислений и анализа больших данных. В частности, Ferrari возьмёт на вооружение средства Amazon EC2 (в том числе на базе Arm-процессоров Graviton2), S3, SageMaker, EKS и DynamoDB.

Облачные сервисы будут применяться для машинного обучения, работы с ИИ, хранения данных и пр. На базе платформы AWS специалисты Ferrari организуют комплексные виртуальные испытания автомобилей в самых разных условиях движения. Одновременно может выполняться моделирование тысяч ситуаций, что позволит ускорить вывод новых продуктов на рынок.

AWS

AWS

Кроме того, облачные инструменты AWS помогут итальянскому автопроизводителю улучшить клиентский сервис. Речь идёт о конфигурировании автомобиля перед покупкой, приобретении и последующем обслуживании транспортного средства. А гоночная команда Scuderia Ferrari воспользуется ресурсами AWS для запуска новой цифровой платформы для фанатов на базе мобильного приложения. В дальнейшем планируется внедрение средств виртуальной и дополненной реальности.

Постоянный URL: http://servernews.ru/1042483
19.05.2021 [14:19], Сергей Карасёв

AWS поддержит HPC-хакатон для Arm-разработчиков

Облачная платформа Amazon Web Services (AWS) объявила о намерении принять участие в предстоящем мероприятие для разработчиков Arm HPC Hackathon, организованное группой Arm HPC User’s Group (A-HUG). Цель хакатона — оптимизация кода приложений высокопроизводительных вычислений под архитектуру Arm. Команда (максимум четыре человека), которая покажет наибольший вклад в сообщество Arm HPC, получит в качестве призов ноутбуки MacBook на процессоре Apple M1.

В рамках мероприятия платформа AWS предложит участникам попрактиковаться в создании кода для Arm-процессора AWS Graviton2. Каждой команде будет предоставлен доступ к кластеру на базе Graviton2 и системе с архитектурой х86 для сравнения результатов. Узлы на базе Graviton2 получат 64 вычислительных ядра. Пиковая пропускная способность памяти превысит 200 Гбайт/с. Говорится об использовании сетевого подключения на базе Elastic Fabric Adapter (EFA) со скоростью передачи данных 100 Гбит/с.

Постоянный URL: http://servernews.ru/1039922
07.05.2021 [23:02], Владимир Агапов

AWS анонсировала доступность Amazon DevOps Guru

Amazon Web Services (AWS) запустила сервис DevOps Guru, который позволяет автоматически выявлять проблемы в работе приложений и давать рекомендации по их устранению. Многолетний опыт по созданию, масштабированию и обслуживанию приложений сбора и анализа данных с использованием машинного обучения (ML) позволил AWS создать специализированные ML-модели для обнаружения неполадок, их устранения и предотвращения проблем до того, как они станут значимыми для потребителя.

Если обнаруживается что-то необычное, указывающее на перебои в работе или сбои в обслуживании, такие как повышенная частота ошибок, задержки, нехватка ресурсов, то они помечаются с помощью службы уведомлений Amazon SNS и партнёрских средств интеграции. Затем DevOps Guru оценивает потенциальные последствия и причины проблемы, а также даёт конкретные рекомендации по их исправлению. Это позволяет пользователям избежать «холодных» перезапусков каждый раз, когда возникает какая-либо проблема, и повысить доступность своих приложений.

Клиенты платят за получаемые от других сервисов AWS данные об их работе на почасовой основе, причём стоимость зависит от типа сервиса + отдельно оплачиваются вызовы API DevOps Guru. В настоящее время DevOps Guru доступен в Сиднее и Сингапуре, Токио, Северной Вирджинии и Огайо, Орегоне, а также в Ирландии, Франкфурте и Стокгольме. AWS заявляет, что в ближайшие месяцы сервис появится и в других облачных регионах.

Постоянный URL: http://servernews.ru/1039106
12.04.2021 [19:34], Владимир Мироненко

NVIDIA развивает Arm-экосистему: GPU-инстансы с Graviton2, набор HPC-разработчика на базе Ampere Altra и новые партнёрства с Marvell, MediaTek и SiPearl

Собственный серверный Arm-процессор NVIDIA Grace ещё не вышел, но компания уже формирует экосистему вокруг Arm и собственных ускорителей. NVIDIA анонсировала серию совместных проектов с использованием своих GPU и программного обеспечения с процессорами на базе Arm для широкого круга рабочих нагрузок — от облака до периферии.

В частности, анонсированы инстансы Amazon EC2 на базе AWS Graviton2 с графическими процессорами NVIDIA, поддержка разработки научных приложений и ИИ-приложений с помощью нового набора разработчиков HPC, повышение уровня видеоаналитики и функций безопасности на границе сети, а также создание нового класса ПК на базе Arm с графическими процессорами NVIDIA RTX.

В частности, NVIDIA и AWS объявили о совместном проекте по развёртыванию Arm-экземпляров с графическими процессорами в облаке. Новые экземпляры Amazon EC2 позволят разработчикам запускать Android-игры в AWS, ускорять рендеринг и кодирование, а также транслировать игры на мобильные устройства.

Также NVIDIA представила набор NVIDIA Arm HPC Developer Kit, который включает сервер с 80-ядерным процессором Ampere Altra с тактовой частотой до 3,3 ГГц, два ускорителя NVIDIA A100, а также два DPU NVIDIA BlueField-2, которые ускоряют решение ключевых задач безопасности, передачи и хранения данных в ЦОД, включая изоляцию, , управление ключами, RDMA / RoCE, GPU Direct, хранение эластичных блоков, сжатие данных и многое другое.

Для этой платформы компания предлагает NVIDIA HPC SDK: набор компиляторов, библиотек и инструментов, которые позволяют создавать и переносить GPU-приложения HPC и ИИ в Arm-окружение. Среди первых ведущих вычислительных центров, развернувших новые платформы разработки, есть Ок-Риджская национальная лаборатория, Национальная лаборатория Лос-Аламоса и Университет Стоуни-Брук в США, а также Национальный центр высокопроизводительных вычислений на Тайване и Корейский институт науки и техники. NVIDIA Arm HPC Developer Kit будет доступен в 3 квартале 2021 года.

В области периферийных вычислений NVIDIA объявила о расширении сотрудничества с Marvell с целью объединения DPU OCTEON с графическими процессорами для ускорения облачных, корпоративных, операторских и пограничных приложений, и, в целом, повышения производительности систем и сокращения задержек от периферии до облака.

В категории ПК компания сотрудничает с MediaTek, одним из крупнейших мировых поставщиков SoC на базе Arm, чтобы создать эталонную платформу, поддерживающую Chromium, Linux и NVIDIA SDK. Сочетание графических процессоров NVIDIA RTX с высокопроизводительными, энергоэффективными процессорами Arm Cortex позволит использовать в ноутбуках графику с трассировкой лучей и искусственный интеллект.

Кроме того, NVIDIA сотрудничает и с другими партнёрами, включая Fujitsu и SiPearl. Первая, напомним, разработала самый мощный в мире суперкомпьютер Fugaku, который по совместительству является и самой производительной системой на базе Arm-процессоров, пусть и довольно специфичных. Вторая же пока всё ещё занимается разработкой Arm-процессоров SiPearl Rhea для будущих европейских суперкомпьютеров.

Постоянный URL: http://servernews.ru/1037079
31.03.2021 [16:36], Сергей Карасёв

Amazon проектирует собственные чипы для сетевого оборудования

Провайдер облачных услуг Amazon Web Services (AWS), по сообщениям сетевых источников, разрабатывает собственные чипы, которые будут применяться в сетевых устройствах. Речь, в частности, идёт о кастомизированных чипах для коммутаторов.

По имеющимся сведениям, в проекте задействована команда специалистов, которая вошла в состав Amazon вместе с покупкой израильского стартапа Annapurna Labs в 2015 году. Эта фирма, например, создала серию ARM-процессоров Alpine, которые могут применяться в роутерах, устройствах для Интернета вещей и другой электронике. Приобретение Annapurna Labs обошлось Amazon в $350 млн.

Фотографии Reuters

Фотографии Reuters

AWS и раньше разрабатывала коммутаторы, но в них применялись чипы сторонник поставщиков, в частности, Broadcom. Организация выпуска собственных процессоров для сетевого оборудования позволит Amazon уменьшить зависимость от других компаний. Кроме того, компания сможет реализовать в чипах уникальные функции и оптимизировать их под свои сервисы. А это позволит снизить энергозатраты и повысить общую производительность облачных платформ.

К сожалению, пока нет информации о технических характеристиках будущих изделий. О сроках реализации проекта также ничего не сообщается. Сейчас в «кремниевом» портфолио AWS есть два важных продукта: собственные Arm-процессоры Graviton двух поколений, которые предлагаются клиентам и используются в других службах AWS, и решения Nitro, которые лежат в основе облачной платформы компании.

Постоянный URL: http://servernews.ru/1036224
26.03.2021 [14:17], Андрей Галадей

Инструменты Red Hat OpenShift теперь полностью доступны в AWS

Компания Red Hat совместно с Amazon запустила Red Hat OpenShift Service в рамках облачного сервиса AWS (ROSA). Это, как утверждается, позволит клиентам легко перейти из своего центра обработки данных в облако. ROSA предоставляет полностью управляемый сервис OpenShift при совместной поддержке AWS и Red Hat. Он позволяет перенести все рабочие нагрузки в облачную систему.

itprotoday.com

itprotoday.com

Если пользователи уже знакомы с Red Hat OpenShift, то можно ускорить процесс разработки приложений, используя стандартные API и существующие инструменты Red Hat OpenShift для развертываний в AWS. Также можно будет воспользоваться преимуществами широкого спектра вычислений, баз данных, аналитики, машинного обучения, сетевых, мобильных и других сервисов AWS для повышения гибкости клиентов, скорости внедрения инноваций и масштабируемости. При этом оплата будет унифицирована — подписка OpenShift просто будет включена отдельной строкой в счета от AWS.

Постоянный URL: http://servernews.ru/1035801
17.03.2021 [22:59], Владимир Мироненко

AWS EC2 X2gd — новые ARM-инстансы с Graviton2 и увеличенным объёмом RAM

Облачный сервис AWS объявил о доступности EC2-инстансов X2gd. Новые инстансы на базе разработанных AWS ARM-процессоров Graviton2 обеспечивают до 55 % лучшее соотношение цены и производительности по сравнению с инстансами на базе архитектуры x86 текущего поколения Intel, а также предлагают увеличенный объем памяти на один vCPU по сравнению с другими инстансами на базе Graviton2.

Инстансы X2gd обеспечивают самую низкую стоимость гигабайта памяти среди всех инстансов Amazon EC2 и позволяют более эффективно выполнять такие рабочих нагрузок, как базы данных в памяти (например, Redis, Memcached и т. д.), реляционные базы данных (например, MySQL, PostGreSQL и т. д.), хранилища данных (например, Amazon Redshift), кеширование и автоматизация электронного проектирования (EDA).

Кроме того, по мере того, как все больше клиентов запускают контейнеры на AWS для обеспечения переносимости приложений и повышения эффективности инфраструктуры, экземпляры X2gd также позволяют им использовать контейнерные приложения с большим объёмом памяти в одном инстансе, чтобы снизить общую стоимость владения.

Инстансы Amazon EC2 на базе процессоров AWS Graviton2 начали предлагаться в мае 2020 года. Сейчас уже многие популярные решения AWS, включая Elastic Container Service, Elastic Container Registry, Elastic Kubernetes Service, CodeBuild, CodeCommit, CodePipeline, CodeDeploy, CloudWatch, ElastiCache и Elastic Map Reduce поддерживают Graviton2 для предоставления клиентам услуг с улучшенным соотношения цены к производительности.

X2gd присоединяются к растущему портфелю EC2-инстансов на базе AWS Graviton2: M6g/M6gd, C6g/C6gd/C6gn, R6g/R6gd и T4g. Инстансы X2gd доступны для повременной оплаты, с тарифом Savings Plans, как зарезервированные (RI) или как спотовые инстансы (SI). Экземпляры X2gd первоначально доступны в регионах США (Северная Вирджиния, Огайо, Орегон) и Европы (Ирландия). Чуть позже в этом году они будут доступны и в других регионах.

Постоянный URL: http://servernews.ru/1035084
15.03.2021 [16:02], Владимир Мироненко

S3, первый сервис публичного облака Amazon AWS, отпраздновал 15-летний юбилей

В минувшее воскресенье объектное хранилище Amazon S3 отпраздновало 15-летний юбилей. Как сообщил главный евангелист Amazon Web Services Джефф Барр (Jeff Barr), в настоящее время в S3 хранится более 100 трлн объектов, и регулярно достигаются пики в десятки миллионов запросов в секунду. Это почти 13 тыс. объектов на каждого жителя планеты или 50 объектов на каждую из примерно двух триллионов галактик (согласно оценке 2021 года) во Вселенной.

Барр рассказал, что сервис начинался с простой концептуальной модели: сегменты с уникальными именами, которые могут содержать любое количество объектов, каждый из которых идентифицируется строковым ключом. Первоначальный вариант API был столь же простым. Эта простота помогла избежать ошибок и оставила немало возможностей для развития S3 с учётом пожеланий клиентов. Все эти решения остаются в силе, и код, написанный в день запуска, будет нормально работать и сегодня.

Предоставление разработчикам возможности легко хранить столько данных, сколько они хотят, с простой моделью ценообразования стало одной из особенностей нового сервиса. Джефф Барр отметил, что с сервис с самого начала создавался с упором на долговечность. «Мы с самого начала знали, что аппаратные, программные и сетевые сбои случаются постоянно, и создали S3, чтобы обрабатывать их прозрачно и изящно. Например, мы автоматически используем несколько массивов хранения, стоек, ячеек и зон доступности (77 и больше)», — рассказал Барр. Наряду с этим компания всегда придерживались принципов безопасности.

«Мы во много раз снизили цену за гигабайт-месяц S3, а также ввели классы хранилища, которые позволяют платить ещё меньше за хранение данных, к которым вы обращаетсь нечасто (S3 Glacier и S3 Glacier Deep Archive) или для данных, которые вы можете воссоздать при необходимости (S3 One Zone-Infrequent Access). Мы также добавили S3 Intelligent-Tiering для отслеживания шаблонов доступа и автоматического перемещения объектов на соответствующий уровень хранения»,— рассказал бывший вице-президент Amazon Колин Брайар (Colin Bryar).

В настоящее время компания продолжает проверять и улучшать каждую часть реализации S3 с целью повышения производительности, масштабируемости и надёжности. В конце апреля компания проведёт бесплатное интерактивное виртуальное четырёхдневное мероприятие World PI Week, в рамках которого руководители и эксперты AWS расскажут об истории AWS и ключевых решениях, которые были приняты при создании и развитии S3.

Постоянный URL: http://servernews.ru/1034872
Система Orphus