Материалы по тегу: google

31.08.2020 [14:21], Владимир Мироненко

Google и Facebook отказались от интернет-кабеля между США и Гонконгом, новая цель — Тайвань и Филиппины

Американские компании Google и Facebook отказались от планов по прокладке подводного интернет-кабеля Pacific Light Cable Network между США и Гонконгом. Как утверждает сообщивший об этом ресурс Bloomberg, администрация Дональда Трампа заявила, что Пекин может использовать его для сбора информации о гражданах США.

Компании отозвали свою заявку в Федеральную комиссию по связи США (FCC) и подали в конце прошлой недели новую. В ней уже не упоминается первоначально указанный партнёр проекта, компания Pacific Light Data Communication (PLDR) из Гонконга.

Google, Facebook и PDLR первоначально предложили проект под названием Pacific Light Cable Network в 2017 году. Изначально планировалось проложить 13 900 км подводного кабеля от западного побережья США до Тайваня, Филиппин и Гонконга, который рекламировался как первый подводный кабель, напрямую соединяющий Гонконг и США.

Но в 2017 компания PDLR перешла в собственность пекинского провайдера широкополосного доступа Dr. Peng Telecom & Media Group, связанного с Huawei, что вызвало обеспокоенность американских спецслужб. Год назад появились опасения, что проект может попасть под запрет США. К тому моменту уже было проложено 11 тыс. км. В феврале 2020 года Google и Facebook смирились с потерей участков кабеля, идущих к Гонконгу и Китаю.

Пересмотренная заявка компаний по-прежнему включает кабель с выводом на наземные пункты на Тайване и Филиппинах. Агентство национальной безопасности США и Министерство юстиции США рекомендовали FCC одобрить разделы проекта, касающиеся соединения Соединённых Штатов с названными территориями с помощью подводного кабеля. «Мы продолжаем работать по установленным каналам, чтобы получить лицензии на прокладку наших подводных кабелей», — сообщил ресурсу Bloomberg представитель Google.

Постоянный URL: http://servernews.ru/1019498
29.08.2020 [20:41], Илья Коваль

Ещё капельку: Microsoft занимается оптимизацией Linux для серверных ARM

Microsoft является платиновым членом Linux Foundation, в её облаке Azure доминирует Linux и, в целом, уже пора перестать удивляться работе корпорации с этой ОС. Но она всё равно порой преподносит сюрпризы. На конференции Linux Plumbers Conference 2020 разработчики компании рассказали об экспериментах по оптимизации сборки ядра Linux.

Любопытно, что эта работа выполняется по внутреннему запросу, а оптимизация делается для повышения производительности Linux на ARM-процессорах Marvell ThunderX2. Это особенно интересно в свете резко изменившихся планов Marvel относительно будущих ThunderX3: компания займётся достаточно глубокой оптимизацией CPU под нужды конкретных заказчиков и не будет выпускать «общие» версии. Теперь она ориентирована в первую очередь на гиперскейлеров, к которым относится и Microsoft.

Так вот, разработчики Microsoft изучают использование LTO (Link Time Optimization) вместе с PGO (Profile-guided optimization) для ускорения работы ядра. Обе техники не являются чем-то новым сами по себе, однако LTO лишь относительно недавно стала применяться для сборки ядра Linux и других пакетов в некоторых дистрибутивах, что было связано с незрелостью её поддержки в популярных открытых наборах компиляторов GCC и LLVM. А вот применение PGO для ядра всё ещё довольно редко. Интересно, что Microsoft активно использует LTO и PGO в Windows — PGO даёт улучшение производительности на 5% – 20 %.

LTO позволяет компилятору перед компоновкой «окинуть взглядом» весь проект целиком, а не только отдельные объекты во время компиляции, и сделать оптимизацию. PGO же ещё подразумевает множественные тестовые запуски итоговых бинарных файлов и отслеживание их поведения с целью дальнейшей оптимизации на основе собранной статистики. Обе техники заметно повышают требования компиляторов к ресурсам (особенно памяти) и увеличивают время сборки, порой весьма существенно.

На той же конференции разработчики Google поделились своим опытом оптимизации сборки ядра. В частности, продукты под брендом Pixel с 2018 года получают ядра с LTO. А сейчас корпорация изучает работу AutoFDO — ещё одной техники, которая собирает данные о работе от perf-подсистемы ядра и аппаратных счётчиков CPU. Собранные профили «скармливаются» компилятору. Таким образом для x86-64 удалось на 12% сократить число используемых циклов CPU. На других платформах результат тоже положительный, но уже не такой заметный.

Постоянный URL: http://servernews.ru/1019418
31.07.2020 [13:49], Юрий Поздеев

Amazon AWS и Google Cloud подсчитывают прибыль: итоги 2 квартала 2020

Пандемия Covid-19 существенным образом повлияла на мировую экономику. Ленты новостей пестрят сообщениями о падении доходов, производства, банкротства компаний и прочих негативных событий, однако есть компании, которые не пострадали от этой ситуации, но даже наоборот, смогли увеличить свою прибыль. Сегодня мы поговорим интернет-гигантах Amazon и Alphabet, которые недавно опубликовали финансовые показатели за 2 квартал 2020 года.

Amazon сообщила о доходах в 88,9 млрд долларов за 2 квартал 2020 года, что на 40% больше, чем в прошлом году, эти цифры превзошли прогнозы и послужили толчком к росту акций компании, которые и так чувствовали себя не плохо. В марте 2020 года интернет-гигант столкнулся с повышенным спросом на потребительские товары и продукты питания, при этом Amazon имеет очень высокую степень автоматизации складской логистики, что позволило справиться с возросшей нагрузкой и обеспечить бесперебойную работу.

Amazon опубликовал следующие финансовые показатели:

  • Чистый объем продаж составил 88,9 млрд долларов, увеличившись на 40% по сравнению с 2019 годом
  • Операционная прибыль составила 5,8 млрд долларов, увеличившись на 87% по сравнению со 2 кварталом 2019
  • Чистая прибыль составила 5,2 млрд долларов, увеличившись на 100% по сравнению с 2019 годом
  • Выручка AWS составила 10,8 млрд долларов, увеличившись на 29% по сравнению с 2019 годом

При этом надо учесть, что это консолидированные данные. Некоторые исследователи полагают, что при более-менее аккуратном пересчёте оказывается, что основным или как минимум важнейшим источником прибыли (а не просто доходов) является именно облачное подразделение.

А вот дела у Alphabet (в которую входит Google) идут не так хорошо, как у конкурента:

  • Выручка в размере 38,3 млрд долларов снизилась на 2%, по сравнению с 2019 годом
  • Чистая прибыль в размере 7 млрд снизилась на 30% по сравнению с 2019 годом
  • Доходы от рекламы в размере 29,9 млрд долларов снизились с 9% по сравнению с 2019 годом
  • Google Cloud получил доходы в размере 3 млрд долларов, что на 43% выше, чем в 2019 году
  • Другие, входящие в Alphabet компании, такие как Verily и Waymo не смогли выбраться из нисходящего тренда: суммарно убытки достигли 1,1 млрд, по сравнению с 990 млн годом ранее

Руководители Google попытались немного «подсластить пилюлю», отметив, что большая часть ущерба, нанесенного рекламной деятельности, произошла в марте, а доходы уже вернулись по уровню к июлю. Также плохие новости ожидают тех, кто собирался устроиться на работу в Google, так как руководители сказали, что планируют снизить количество сотрудников в большинстве отделов. Единственное исключение — Google Cloud, где растущая прибыль позволяет нанимать новых технических специалистов.

Что касается Microsoft, то по итогам последнего квартала доход подразделения Intelligent Cloud, занимающегося серверными продуктами и облачными, а также корпоративными сервисами, вырос на 17% и составил $13,4 млрд. При этом доход непосредственно Azure вырос на 47%. Суммарный годовой доход Azure превысил 50 $млрд, то есть вырос на 12%.

Постоянный URL: http://servernews.ru/1017144
29.07.2020 [22:04], Алексей Степин

Google похвасталась самым быстрым ИИ-суперкомпьютером на базе TPU v4

Но с такой формулировкой согласятся не все, потому что результаты опубликованного сегодня рейтинга ML Perf 0.7 можно интерпретировать слегка по-разному. Например, NVIDIA говорит о самом быстром суперкомпьютере — на базе A100, конечно — среди коммерчески доступных решений. Тогда как Google использовала в тестах не анонсированные официально тензорные ускорители TPU v4.

Когда речь идёт о системах машинного интеллекта, обычно подразумевается либо использование уже натренированных нейросетей, либо процесс тренировки новой сети. Последний требует на порядки больше вычислительных возможностей и подразумевает использование мощных многоядерных систем. Для оценки производительности зачастую и применяется набор тестов MLPerf.  Что касается полного списка участников MLPerf 0.7 c подробными результатами, то он есть на сайте проекта MLPerf.

Разработкой собственных ускорителей машинного обучения Google занимается давно: ещё в 2017 году мы описывали одну из первых моделей TPU, способную быстро перемножать матрицы размером 256 × 256. Ещё недавно третья версия TPU установила ряд рекордов именно в области «натаскивания» нейросетей. Основой системы-рекордсменки тогда стал модуль Cloud TPU Pod, каждый из таких модулей содержал более 1000 чипов Google TPU и развивал свыше 100 Пфлопс.

Результаты, опубликованные Google. Серые столбики — быстрейшие соперники, не относящиеся к Google

Результаты, опубликованные Google. Серые столбики — быстрейшие соперники, не относящиеся к Google

Главным конкурентом Google в этой области можно назвать NVIDIA, которая также уделяет весьма серьёзное внимание развитию ИИ-ускорителей. Даже решения на базе V100 легко конкурировали с Google TPU v3, а новейшие A100 на базе архитектуры Ampere продемонстрировали в MLPerf Training ещё более высокий уровень производительности.

Google TPU v3 и v4 против NVIDIA и Huawei. Источник: ExtremeTech

Google TPU v3 и v4 против NVIDIA и Huawei. Источник: ExtremeTech

Однако Google сдаваться не собирается и подразделение Google Research опубликовало результаты нового тестирования MLPerf Training 0.7, основой которого стали ещё не анонсированные официально тензорные сопроцессоры TPU v4. Повергнуть в прах A100 во всех тестах не удалось, но соперничество вышло вполне достойное: в некоторых сценариях быстрее всё же оказалась NVIDIA, но в других вперёд вышла разработка Google.

NVIDIA, в свою очередь, сообщает о 16 рекордах при использовании новейших DGX A100 и отдельно отмечает, что её продукты доступны для приобретения (и запуска любых тестов ML Perf или реальных нагрузок), тогда как результаты конкурентов зачастую или неполны, или получены на оборудовании, имеющем экспериментальный характер или которое невозможно приобрести прямо сейчас.

Новая тест-платформа Google TPU содержит в четыре раза больше ИИ-сопроцессоров, их число достигает 4096

Новая тест-платформа Google TPU содержит в четыре раза больше ИИ-сопроцессоров, их число достигает 4096

Для тестирования использовались реализации ИИ-моделей на TensorFlow, JAX, PyTorch, XLA и Lingvo. Четыре из восьми моделей удалось «натаскать» менее чем за 30 секунд, что является весьма впечатляющим результатом. Для сравнения, в 2015 на современном тому времени «железе» аналогичный процесс обучения занял бы более трёх недель. В целом TPU v4 обещает быть в 2,7 раза быстрее TPU v3, но все точки над i расставит официальный анонс четвёртой итерации сопроцессора Google.

Более подробная информация о тестировании MLPerf 0.7 содержится в официальном блоге Google Cloud. Там же можно найти и детали о системах на базе TPU, но эта информация пока ограничена третьей версией чипа. Пока известно, что четвёртое поколение TPU более чем в два раза быстрее на операциях перемножения матриц, может похвастаться более быстрой подсистемой памяти и имеет усовершенствованную систему интерконнекта.

Постоянный URL: http://servernews.ru/1016976
28.07.2020 [12:59], Владимир Мироненко

Google построит подводный частный кабель Grace Hopper между США и Европой

Google объявила о планах по строительству нового подводного кабеля между США и Европой, с наземными станциями в Нью-Йорке (США), Бьюде (Великобритания) и Бильбао (Испания). Прокладкой подводного кабеля займётся компания SubCom, с которой у Google также имеется контракт на строительство кабелей Dunant и Curie. Новый кабель предполагается запустить в эксплуатацию в 2022 году.

Новый кабель, названный в честь пионера информатики, учёной и коммодора (контр-адмирала младшего ранга) флота США Грейс Хоппер (Grace Hopper), будет подключён к другим подводным кабелям Google, таким как Curie, проложенному между США и Южной Америкой, Dunant (между США и Францией) и Equiano (между Европой и Африкой).

В ближайшем будущем Google планирует запустить новый регион Google Cloud в Мадриде, поэтому неудивительно, что компания рассматривает вопрос о том, как лучше всего подключить регион к своей глобальной сети. Grace Hopper станет первым кабелем Google с выходом на Испанию и её первой частной подводной магистралью в Великобританию.

Кабель будет состоять из 16 пар оптических волокон (32 оптоволокна), и, как подчеркивает Google, он станет первым, где будет использоваться новая архитектура коммутации, разработанная компанией в сотрудничестве с SubCom. Новая архитектура обеспечит повышенную надёжность, а также поможет компании лучше перенаправлять трафик во время перебоев.

Grace Hopper станет четвёртым полностью принадлежащим Google подводным кабелем, в дополнение к Curie, Dunant и Equiano. Кроме того, компания также является членом ряда консорциумов, которые совместно эксплуатируют кабели по всему миру. В общей сложности Google инвестировала в 15 подводных кабелей.

Постоянный URL: http://servernews.ru/1016806
09.07.2020 [12:14], Владимир Мироненко

Google закрыла облачный проект «Isolated Region»

Компания Google, входящая в холдинг Alphabet Inc, объявила в среду о закрытии облачного проекта под кодовым названием «Isolated Region» (Изолированный регион), добавив, что она не рассматривает возможность запуска своей облачной платформы в Китае.

В рамках этого проекта, как утверждает Bloomberg, компания занималась разработкой платформы облачных вычислений, предназначенной для китайского рынка и других «политически неоднозначных» стран.

REUTERS/Arnd Wiegmann

REUTERS/Arnd Wiegmann

Ранее в тот же день агентство Bloomberg News сообщило со ссылкой на двух сотрудников компании, что Google отложила работу над проектом в Китае и других «политически неоднозначных» странах в мае, отчасти из-за растущей геополитической напряжённости и пандемии коронавируса.

В свою очередь Google заявила, что прекращение проекта произошло по другим причинам, и что он не предполагал запуск облачных сервисов в Китае.

«Изолированный регион» — это только один из путей, изучением которого компания занимается с целью выполнения требований, связанных с внедрением облачных технологий, сообщил представитель Google.

Предполагаемым заказчиком нового продукта Google должны были стать страны, намеревающиеся контролировать поток данных в пределах своих границ, сообщает Bloomberg. Цель состояла в том, чтобы отделить этот продукт от центральных систем облачных вычислений Google и сетевой инфраструктуры, чтобы позволить правительствам или сторонним компаниям контролировать перемещение данных, не опасаясь, что это приведёт к нарушению конфиденциальности других бизнес-клиентов Google и отдельных пользователей в других странах «с повышенным риском».

Постоянный URL: http://servernews.ru/1015277
08.07.2020 [14:54], Юрий Поздеев

Google запустила новые инстансы с NVIDIA A100

Google стала первым облачным провайдером, предложившим поддержку NVIDIA A100 в своих виртуальных машинах по подписке. В Google Compute Engine (пока в альфа-версии) теперь есть семейство инстансов Accelerator Optimized VM A2, основанное на графических ускорителях NVIDIA A100.

Мы уже писали про ускорители NVIDIA A100, которые обеспечивают производительность обучения и вычислений в 20 раз больше, чем прежние модели, что позволяет значительно ускорить рабочие нагрузки ИИ. Google объявила, что в будущем Google Kubernetes Engine, Cloud AI Platform и другие облачные сервисы тоже получат поддержку NVIDIA A100.

В новых инстансах Alpha Google Compute Engine пользователям доступны до 16 графических ускорителей NVIDIA A100, которые подключены через NVSwitch, таким образом это не PCI-карты, а полноценная архитектура с использованием NVLink. Анонс подобных инстансов от Google был вполне ожидаем, ведь в своей презентации NVIDIA на слайде с системой HGX A100 уже упоминала Google Cloud, поэтому появление виртуальных машин с A100 было делом времени.

Мы ожидаем, что в ближайшее время Amazon и Microsoft сделают аналогичные анонсы. На данный момент у Google доступны следующие инстансы с A100:

Будем следить за анонсами от облачных провайдеров, так как услуга по аренде вычислительных мощностей для ИИ очень востребована, и спрос на подобные решения в ближайшее время будет только расти.

Постоянный URL: http://servernews.ru/1015149
24.06.2020 [20:01], Владимир Мироненко

Видео: 6 уровней безопасности дата-центров Google

Google поделилась в выложенном недавно видео некоторыми подробностями о системах защиты своих центров обработки данных, продемонстрировав 6 уровней обеспечения их безопасности. Примерно такие же меры защиты используют и другие облачные провайдеры и операторы ЦОД, если, конечно, речь не идёт о военных и некоторых государственных дата-центрах.

Уровень 1: информационные указатели и ограждение. Это один из важных элементов безопасности, хотя и наименее впечатляющий. Google построила ограждения вокруг своих центров обработки данных, разместив по периметру и внутри соответствующие информационные указатели.

Уровень 2: безопасный периметр. В безопасном периметре Google может определять ваше местоположение с помощью камер, включая тепловизионные камеры с перекрывающимися полями обзора вокруг объекта. Google также может отслеживать местонахождение человека внутри здания. Google использует ограждение с защитой от перелаза, контрольно-пропускные пункты, есть даже автомобильные барьеры, предназначенные для остановки полностью загруженного грузовика.

Уровень 3: контроль доступа к зданию. Для входа в здание требуется авторизация. Она включает в себя прохождение контрольного пункта безопасности. Для проверки личности и привилегий доступа Google использует персонал службы безопасности, метки RFID и биометрические методы (сканирование радужной оболочки глаза). Внутри здания также надо пройти контрольно-пропускные пункты, прежде чем можно будет получить доступ к более важным зонам.

Уровень 4: центр обеспечения безопасности. Из центра контролируются данные датчиков и камер, находящихся внутри и по периметру объекта.

Уровень 5: доступ внутри ЦОД. Доступ к этажам центра обработки данных ограничен для технических специалистов и инженеров, имеющих доступ к конкретному этажу. Все хранящиеся здесь данные зашифрованы, и клиенты могут использовать свои собственные ключи шифрования. В результате те, кто имеет доступ к физическим устройствам, не имеют прямого доступа к данным, которые находятся на накопителях.

Уровень 6: безопасное уничтожение накопителей. У объектов Google также есть средства для уничтожения жёстких дисков. В это помещение имеет доступ только авторизованный персонал. Во избежание выноса носителей из ЦОД в них размещены сенсоры безопасности и детекторы металла.

Постоянный URL: http://servernews.ru/1014097
21.06.2020 [00:37], Владимир Мироненко

Белый дом решил отказаться от участка кабеля PLCN между США и Гонконгом из-за возможного кибершпионажа со стороны Китая

Сформированная в апреле при Белом доме США команда Team Telecom рекомендовала Федеральной комиссии по связи США (FCC) отказаться от участка подводного кабеля системы Pacific Light Cable Network (PLCN), соединяющей Соединённые Штаты с Гонконгом.

Команда Team Telecom была создана для проверки участия зарубежных фирм в секторе телекоммуникационных услуг США и является частью Министерства юстиции.

Ранее сообщалось о готовности Google и Facebook отказаться от участка PLCN. Они предполагали, что США могут его заблокировать, и поэтому не упомянули этот участок в запросе на выдачу лицензии, указав лишь подключение к Тайваню и Филиппинам соответственно.

Кабель протяженностью 12 800 км в основном проложен и готов к запуску. Предполагалось, что он будет введён в эксплуатацию в 2018 году, но этого не случилось. В 2017 году гонконгский магнат Вэй цзюнькан (Wei Junkang) продал большую часть своей доли в PLDC, владеющей четырьмя парами волокон PLCN, «дочке» китайской телекоммуникационной компании Dr. Peng Telecom & Media Group. Эта компания подозревается в связях с властями КНР.

Team Telecom призвала FCC разрешить работу участков PLCN, на которые нет прав собственности КНР и которые находятся в отдельном владении и контролируются дочерними компаниями Google LLC и Facebook, Inc. при условии, что дочерние компании заключат «соглашения о недопущении негативных последствий» для соответствующих соединений.

В своем заявлении Team Telecom отметила, что крупнейшим инвестором в PLCN является Pacific Light Data Co. Ltd. из Гонконга, дочерняя компания Dr. Peng Telecom & Media Group Co. Ltd. (Dr. Peng Group), четвёртого по величине провайдера телекоммуникационных услуг в КНР. По словам Team Telecom, Dr. Peng Group имеет связи со службами разведки и безопасности КНР, а также «обязательства согласно законам КНР о разведке и кибербезопасности». Дочернее предприятие Pacific Light Data также связано с государственной телекоммуникационной компанией China Unicom.

Кроме того, команда Team Telecom предложила заблокировать любой кабель, соединяющий США с Гонконгом, добавив, что другие находящиеся на рассмотрении проекты «повлекут за собой аналогичные проблемы».

Постоянный URL: http://servernews.ru/1013861
28.05.2020 [21:16], Алексей Степин

В Google озабочены отсутствием защиты от Spectre V2 у некоторых ARM-платформ

Уязвимости Spectre и Meltdown в своё время доставили немало беспокойства специалистам по ИТ-безопасности. Программные заплатки появились довольно быстро, но в некоторых случаях приводили к серьёзному падению производительности.

Сейчас, на волне роста популярности архитектуры ARM в ЦОД и серверных, разработчики Google всерьёз обеспокоены тем, что ряд 64-битных платформ ARM не имеет защиты от Spectre V2.

Ещё зимой 2018 года Google опубликовала описание новой техники защиты в своём блоге, посвящённом ИТ-безопасности. Этот способ получил название Retpoline, он требовал перекомпиляции ПО с заменой уязвимых последовательностей машинного кода, но не оказывал серьёзного влияния на производительность системы.

Изначально Retpoline разрабатывалась для архитектур x86, однако с тех пор многое изменилось — хотя x86 всё ещё является доминирующей серверной архитектурой, но популярность серверов на базе ARM с тех пор серьёзно выросла. Google оценивает возможность переноса этого метода на процессоры ARM, но имеются и опасения.

Дело в том, что ряд платформ AArch64 (ARM 64 бит) не имеют поддержки со стороны firmware для защиты от Spectre V2 (на основе неверного предсказания косвенных переходов). Подозревается, что данный метод может позволить атаку на цели косвенного ветвления (targets of indirect branches) со стороны кода, находящегося в пользовательском пространстве (userspace code). В настоящее время в рамках инициативы Safeside специалисты Google исследуют возможность использования предикторов стека возврата (return stack predictors) в процессорах ARM64 для реализации защиты от Spectre V2 даже в том случае, если сам производитель платформы не озаботился выпуском соответствующего патча для микрокода процессора.

Исследователи будут рады проявлению интереса и откликам по поводу подобной техники защиты; особенную ценность представляют отклики сообщества разработчиков компилятора LLVM. У Safeside существует свой репозиторий на GitHub.

Постоянный URL: http://servernews.ru/1012124
Система Orphus