Материалы по тегу: google

09.11.2023 [16:08], Руслан Авдеев

Google построит свой первый ЦОД в Уругвае

Компания Google сделала очередной шаг к созданию дата-центра Teros в Уругвае. По данным Datacenter Dynamics, она подала заявку на получение разрешений на строительство от местных природоохранных регуляторов и подтвердила журналистам, что второй в Латинской Америке ЦОД компании действительно появится. Власти заявили, что сам факт анонса ЦОД ставит страну в привилегированную позицию, позволяющую привлечь инвестиции в динамичный и растущий IT-рынок.

В мае 2021 года Google приобрела 30 га в уругвайской зоне свободной торговли Parque de las Ciencias для строительства дата-центра, а изначально планы строительства были анонсированы ещё в 2020 году. Некоторый прогресс наметился в недавнем прошлом, когда компания представила доклад об оценке воздействия на окружающую среду и проектную документацию для получения предварительного разрешения от местных регуляторов-экологов.

 Источник изображения: Parque de las Ciencias

Источник изображения: Parque de las Ciencias

Строительство Ц ОД поставили под вопрос в июле 2023 года из-за сильных засух в Уругвае, поскольку объект будет потреблять до 7,6 млн л питьевой воды ежедневно. Правительство и Google долго вели переговоры о выделении ресурсов для охлаждения кампуса. В итоге компания пересмотрела размеры ЦОД в меньшую сторону и решила использовать систему воздушного охлаждения. Строительство должно начаться в марте 2024 года. Попутно Google работает над прокладкой подводного кабеля Firmina, связывающего США с Аргентиной, Бразилией и Уругваем.

Постоянный URL: http://www.servernews.ru/1095710
28.10.2023 [22:47], Сергей Карасёв

Разработчик инструментов ИИ-оптимизации CentML получил на развитие $27 млн, в том числе от Google и NVIDIA

Стартап CentML, специализирующийся на технологиях машинного обучения, объявил о завершении начального раунда финансирования и привлечении на развитие дополнительно $27 млн. Деньги будут направлены в том числе на расширение штата и ускорение разработки продуктов.

Компания CentML с численностью персонала около 30 человек была основана в 2022 году. Её соучредителем и генеральным директором является Геннадий Пехименко (Gennady Pekhimenko). В 2016 году он получил докторскую степень на факультете компьютерных наук Университета Карнеги-Меллона. Кроме того, Пехименко является доцентом кафедры компьютерных наук Университета Торонто.

CentML разрабатывает программные инструменты для снижения стоимости и повышения производительности при работе с масштабными ML-моделями. Платформа выявляет узкие места в процессе обучения, а также прогнозирует общее время и стоимость внедрения ИИ-решений. Клиенты могут настраивать алгоритмы, выявлять неэффективные методы и получать доступ к аналитике в реальном времени.

 Источник изображения: CentML

Источник изображения: CentML

Утверждается, что система CentML работает без ущерба для точности работы модели, при этом инженерам «практически не требуются усилия по внедрению». «Обучение моделей ИИ становится всё дороже. Благодаря технологии оптимизации CentML мы можем сократить расходы до 80 % без ущерба для скорости и точности», — заявляет Пехименко.

Закрытый раунд финансирования на $27 млн проведён под предводительством Gradient Ventures, венчурного фонда Google, ориентированного на ИИ. Кроме того, средства предоставили Radical Ventures, NVIDIA, Deloitte Ventures и Thomson Reuters Ventures. Таким образом, на сегодняшний день компания CentML получила от инвесторов $30,5 млн.

Компания отмечает, что для одного из своих клиентов она оптимизировала модель Llama 2 так, что она стала работать в три раза быстрее на ускорителях предыдущего поколения (NVIDIA A10), а затраты сократились на 60 %. В целом, платформа CentML даёт возможность повысить скорость инференса и обучения до восьми раз по сравнению с существующими решениями.

Похожее решение предлагает и MosaicML. При этом обучение больших языковых моделей возможно на ускорителях AMD Instinct MI250 без модификации кода. И в том, и в другом случае появляется возможность сэкономить, в том числе отказавшись от дефицитных ускорителей NVIDIA последнего поколения.

Постоянный URL: http://www.servernews.ru/1095158
26.10.2023 [17:00], Руслан Авдеев

Подводные интернет-кабели Google Honomoana и Tabua свяжут территории тихоокеанского бассейна от Австралии до США

Google анонсировала проект South Pacific Connect, в рамках которого компания проложит два транстихоокеанских подводных кабеля — Honomoana и Tabua. Как сообщается в блоге компании, это поможет повысить надёжность и устойчивость связи в регионе. В проекте примут участие Fiji International Telecommunications, Управление почт и телекоммуникаций Французской Полинезии, а также APTelecom, Vocus Group, местные власти и другие компании.

Прокладка кабелей позволит связать новыми каналами не только Австралию и США, но также Фиджи и Французскую Полинезию, с дополнительными ответвлениями на другие островные объекты. Фактически в Тихоокеанском регионе создаётся целая сеть, имеющая ответвления для подключения других стран и территорий Океании — это один из первых проектов такого рода в регионе, часто страдающем от природных катаклизмов.

Honomoana станет информационной магистралью для Австралии и США со станцией во Французской Полинезии. Tabua свяжет Австралию, США и Фиджи. Кроме того, будут созданы посадочные станции для прямой связи Фиджи и Французской Полинезии. Комплекс принятых мер повысит надёжность и ёмкость каналов, а также снизит время задержки сигнала. Ожидается, что прокладка новых кабельных маршрутов окажет благоприятное влияние на качество связи не только в регионе, но и в мире.

 Источник изображения: Google

Источник изображения: Google

Также сообщается, что система кабелей предусматривает создание трёх посадочных станций в Австралии, что также укрепит связи континента с миром и Соединёнными Штатами в частности. Google намерена развивать кабельные сети и в Атлантике. В конце сентября компания анонсировала прокладку кабеля Nuvem, который свяжет Соединённые Штаты, Бермуды и Португалию, а в 2022 году запустила кабельную систему Grace Hopper.

Постоянный URL: http://www.servernews.ru/1095038
26.10.2023 [16:50], Сергей Карасёв

Выручка Google Cloud выросла почти на четверть, а сама Google сэкономила почти $3 млрд, увеличив срок эксплуатации серверов

Холдинг Alphabet, материнская структура Google, опубликовал отчёт о работе в III четверти текущего финансового года, которая была закрыта 30 сентября. Выручка за трёхмесячный период достигла $76,69 млрд, что примерно на 11 % больше прошлогоднего результата в $69,09 млрд.

По итогам квартала получена чистая прибыль в размере $19,69 млрд. Для сравнения: годом ранее показатель равнялся $13,91 млрд. Таким образом, рост составил около 40 %. Прибыль в пересчёте на одну ценную бумагу в годовом исчислении поднялась с $1,06 до $1,55.

Продолжается активное развитие облачного бизнеса Google Cloud. В него входят инфраструктурные и платформенные сервисы, средства совместной работы и другие инструменты для корпоративных заказчиков. Выручка в данном сегменте за год поднялась с $6,87 млрд до $8,41 млрд. Темпы роста зафиксированы на отметке 22 %, что вдвое превосходит значение для бизнеса Alphabet в целом. По направлению Google Cloud в III квартале 2023-го показана операционная прибыль в размере $266 млн, тогда как годом ранее это подразделение понесло операционные убытки около $440 млн.

 Источник изображения: Google Cloud

Источник изображения: Google Cloud

В последние годы Alphabet вкладывает значительные средства в свой бизнес облачных вычислений, пытаясь догнать основных конкурентов в лице Amazon Web Services (AWS) и Microsoft Azure. На фоне роста интереса к генеративному ИИ облачный бизнес становится ещё более важным, поскольку многие корпоративные клиенты переносят в облако свои самые значительные вычислительные нагрузки. Вместе с тем по итогам квартала подразделение Google Cloud не оправдало ожидания сторонних аналитиков, которые прогнозировали выручку на уровне $8,64 млрд. В компании это связывают с сокращением затрат со стороны клиентов на фоне кризиса и сложной макроэкономической обстановки.

Отмечается также, что Google добилась значительной экономии средств благодаря увеличению срока службы оборудования. Компания повысила расчётный период эксплуатации серверов с четырёх до шести лет, а ряда сетевых устройств — с пяти до шести лет. В результате, за первые девять месяцев 2023 года Google сократила расходы на $2,9 млрд и увеличила чистую прибыль на $2,3 млрд.

Сроки использования оборудования увеличивают и другие операторы дата-центров и облачных платформ. В 2022 году на такие меры пошла Microsoft, тогда как Amazon сообщила о намерении создать специальную фабрику по восстановлению и переработке своего серверного оборудования. А облачный провайдер Scaleway и вовсе довёл срок эксплуатации серверов до 10 лет.

Постоянный URL: http://www.servernews.ru/1095016
07.10.2023 [18:30], Сергей Карасёв

Видео с котиками подождут: Google тестирует систему перераспределения нагрузок в ЦОД в часы пик

Корпорация Google, по сообщению Datacenter Dynamics, тестирует специализированную систему, которая позволяет динамически снижать энергопотребление определённых дата-центров в зависимости от текущей нагрузки на локальную энергосеть.

Новая система, как отмечается, является дальнейшим развитием технологии перемещения нагрузок между различными ЦОД в зависимости от уровня доступности «зелёной» энергии. Соответствующую функцию Google начала использовать в 2020 году. При этом речь идёт только о задачах, для которых не критичны задержки или требования о суверенитете данных — например, транскодирование видео для YouTube или обновление словарной базы Google Translate. Похожий инструмент внедряет и Microsoft.

 Источник изображения: Google

Источник изображения: Google

Тестируемая теперь система даёт возможность во время перегрузок местных электросетей переносить несрочные вычислительные задачи на другое время и/или в другое место. Таким образом, в часы пик дата-центры Google сокращают потребление энергии, что снижает вероятность возникновения сбоев в энергосистеме региона, где располагается оборудование. В настоящее время эта система развёрнута в ЦОД на Тайване, в Орегоне и по всей Европе. В дальнейшем планируется её внедрение в других облачных зонах. Google уверяет, что использование функции перераспределения нагрузок не влияет на качество предоставляемых услуг.

Отмечается, что Google планирует нагрузки, опираясь в том числе на информацию от операторов электрических сетей. Некоторые задачи перенаправляются в другие ЦОД, тогда как выполнение некритичных операций просто откладывается. Система была опробована в Европе зимой 2022–2023 гг., когда произошёл резкий рост цен на энергоносители. Google использовала технологию для снижения энергопотребления на своих объектах в Нидерландах, Бельгии, Ирландии, Финляндии и Дании периоды типовой пиковой нагрузки. А в Орегоне и Небраске Google снижала энергопотребление дата-центров во время недавних экстремальных погодных явлений.

Постоянный URL: http://www.servernews.ru/1094100
30.08.2023 [17:09], Владимир Мироненко

Google объявила о скорой доступности инстансов A3 на базе NVIDIA H100

Google Cloud сообщила, что в следующем месяце станут доступны инстансы Google Compute Engine A3 на базе платформы NVIDIA HGX H100 с восемью ускорителями H100, двумя процессорами Intel Xeon Sapphire Rapids, 2 Тбайт, а также интерконнектом NVLink и адаптерами Google Titanium. Платформ обеспечивает высокую производительность для всех видов ИИ-приложений, в том числе для обучения и обслуживания особенно требовательных рабочих нагрузок ИИ и больших языковых моделей (LLM).

В блоге Google Cloud отмечено, что сочетание ускорителей NVIDIA с ведущими инфраструктурными технологиями Google Cloud обеспечивает масштабируемость и производительность и является огромным шагом вперёд в возможностях ИИ: обучение происходит в 3 раза быстрее, а пропускная способность сети в 10 раз выше, чем у предыдущего поколения. Инстансы A3 также поддерживают масштабирование до 26 тыс. ускорителей H100.

 Изображение: NVIDIA

Изображение: NVIDIA

Незадолго до этого Google Cloud объявила NVIDIA партнёром года по генеративному ИИ (Generative AI Partner of the Year). Компании сотрудничают по разным направлениям: от проектирования инфраструктуры до реализации программного обеспечения, чтобы упростить создание и развёртывание приложений ИИ на платформе Google Cloud. PaxML, платформа Google для создания больших языковых моделей, теперь оптимизирована для решений NVIDIA и доступна в реестре NVIDIA NGC. Google использовала PaxML для создания внутренних моделей, включая DeepMind, а также исследовательских проектов.

Кроме того, компании сервис Google Dataproc позволяет задействовать решения NVIDIA для ускорения работы Apache Spark. H100 вскоре также появятся на платформе Vertex AI. Наконец, было обещано, что в облаке Google появятся NVIDIA DGX Cloud и новейшие гибридные чипы GH200. Впрочем, вместе с анонсом A3 Google представила ИИ-инстансы на базе собственных ускорителей TPU v5e.

Постоянный URL: http://www.servernews.ru/1092278
30.08.2023 [16:04], Алексей Степин

Google Cloud анонсировала новое поколение собственных ИИ-ускорителей TPU v5e

Как известно, Google Cloud использует в своей инфраструктуре не только сторонние ускорители, но и TPU собственной разработки. Эти кастомные ASIC компания продолжает активно развивать — она анонсировала предварительную доступность виртуальных машин с новейшими TPU v5e, разработка которых заняла более двух лет. Сам чип TPU v5e позиционируется Google как эффективный со всех точек зрения ускоритель, предназначенный для обучения нейросетей или инференс-систем среднего и большого классов.

В сравнении с TPU v4 он, по словам Google, обеспечивает вдвое более высокую производительность в пересчёте на доллар для обучения больших языковых моделей (LLM) и генеративных нейросетей. Для инференс-систем преимущество по тому же критерию составляет 2,5x. В сравнении с аналогичными решениями на базе других чипов, например, GPU, выигрыш может составить и 4x. Каждый чип TPU v5e включает четыре блока матричных вычислений, по одному блоку для скалярных и векторных расчётов, а также HBM2-память.

 Источник изображения: Google

Источник изображения: Google

Компания отмечает, что не экономит на технических характеристиках TPU v5e в угоду рентабельности. Кластеры могут включать до 256 чипов TPU v5e, объединённых высокоскоростным интерконнектом с совокупной пропускной способностью более 400 Тбит/с. Производительность такой платформы составляет 100 Попс (Петаопс) в INT8-вычислениях. Правда, здесь есть нюанс: INT8-производительности TPU v5e составляет 393 Тфлопс против 275 Тфлопс у v4, но вот BF16-производительность у TPU v4 составляет те же 275 Тфлопс, тогда как у v5e этот показатель равен уже 197 Тфлопс.

 Источник изображения: Google

Источник изображения: Google

В настоящее время для предварительного тестирования доступно уже восемь вариантов инстансов на базе v5e, а в зависимости от конфигурации количество TPU может составлять от 1 до более чем 250. В рамках платформы обеспечена полная интеграция с Google Kubernetes Engine, собственной платформой Vertex AI, а также с большинством современных фреймворков, включая PyTorch, TensorFlow и JAX. Работа с TPU v5e будет значительно дешевле, чем с TPU v4 — $1,2/час против $3,4/час (за чип).

 Источник изображения: Google

Источник изображения: Google

В настоящее время машины с TPU v5e доступны только в североамериканском регионе (us-west4), но в дальнейшем возможность их использования появится в регионах EMEA (Нидерланды) и APAC (Сингапур). Также Google предлагает опробовать технологию Multislice, позволяющей объединять в единый комплекс десятки тысяч TPU v5e или TPU v4, где каждый «слайс» может содержать до 3072 чипов TPU (v4). В максимальной конфигурации можно развернуть 64 инстанса, работающих с 256 кластерами TPU v5e. Сама компания уже использует новые чипы для своего поисковика и Google Photos.

Постоянный URL: http://www.servernews.ru/1092282
03.08.2023 [01:39], Руслан Авдеев

ИИ помог Google сократить экологический ущерб

Компания Google опубликовала ежегодный доклад Environmental Report о влиянии своего бизнеса на окружающую среду, а также о том, как ИИ в её облачных сервисах используется для минимизации экологического ущерба. Хотя ИИ помогает решить некоторые задачи, как сообщает The Register, его применение имеет и негативные последствия, да и в целом показатели экоустойчивости Google весьма неоднозначные.

Доклад Google по итогам 2022 года, в частности, рассказывает о том, в какой мере ИИ помогает клиентам компании снизить ущерб окружающей среде, оптимизируя работу облачных сервисов, и о достижениях самой компании, связанных с использованием безуглеродной энергии, отчётность по которой теперь учитывает работу офисов и сторонних дата-центров.

 Источник изображения:  Marcin Jozwiak/unsplash.com

Источник изображения: Marcin Jozwiak/unsplash.com

Например, применяемый в Google Maps ИИ оптимизирует маршрута, снижая уровень потребления топлива или расход заряда тяговых АКБ. Эта функция позволила с момента запуска предотвратить углеродный выброс объёмом 1,2 млн тонн — столько за год генерируют 250 тыс. машин с ДВС. А термостаты Nest за 10 лет избавили от планету от 36 млн тонн выбросов. Впрочем, несмотря на декларируемые цели, доля «безуглеродной» энергии в потреблении компании снизилась в 2022 году с 66 до 64 %, а выбросы парниковых газов уровня Scope 2 выросли на 37 %.

При этом ИИ помог снизить негативный эффект от использования самих ИИ-моделей, оптимизировав нагрузки в ЦОД. В Google утверждают, что сделали свои дата-центры одними из самых эффективных в мире. Заодно Google помогает клиентам принимать решения для снижения выбросов и устранения климатических рисков. Так, функция Active Assist в Google Cloud использует машинное обучение для выявления потенциально бесполезных нагрузок, благодаря чему можно не только сократить углеродный выброс, но и сэкономить деньги.

Есть и значимые недостатки использования ИИ. Рост масштабов использования ИИ сам по себе ведёт к росту энергопотребления, увеличению углеродного выброса, а также объёма задач, которые необходимо выполнять в ЦОД. Впрочем, по данным Google, использование проверенных технологий позволило компании снизить расход энергии на тренировку моделей до 100 раз и выбросы — до 1000 раз. В дальнейшем компания планирует повысить эффективность этих методов.

 Источник изображения: Guillaume de Germain/unsplash.com

Источник изображения: Guillaume de Germain/unsplash.com

Речь в докладе идёт и о других темах — в частности, компания сообщает, что к концу 2022 года её проекты помогли «восстановить» чуть больше 1 млн м3 воды. Всего Google потребила 21,2 млн м3. В будущем она намерена компенсировать 120 % от использованной пресной воды. Впрочем, пока результаты не впечатляют, поскольку «безвозвратное» потребление воды выросло в 2022 году на 22 % год к году. Ранее выяснилось, что только на один ЦОД Google в Орегоне приходится четверть объёма потребления питьевой воды американского городка.

Все выбросы Scope 1, 2 и 3 составили более 11 млн тонн в 2021 году и более 10 млн тонн в 2022. Для достижения нулевого выброса Google намерена покупать «углеродные кредиты» и ограничить доступными средствами выбросы Scope 3, за которые отвечают партнёры компании. Впрочем, как отмечает The Register, при расчёте ограничений выбросов Scope 3 компания учитывает далеко не все категории, какие следовало бы.

Постоянный URL: http://www.servernews.ru/1090583
27.07.2023 [22:57], Владимир Мироненко

Microsoft и Google наращивают капвложения в облако и ИИ-инфраструктуру на фоне роста спроса на ИИ-сервисы

Стремясь удовлетворить ожидаемый спрос на генеративный ИИ, компания Microsoft увеличила капвложения в IV квартале 2023 финансового года до $10,7 млрд с $7,8 млрд в предыдущем квартале, пишет Data Center Dynamics (DCD). Капвложения Google во II квартале 2023 года составили $6,89 млрд, что, впрочем, ниже первоначальных прогнозов аналитиков, ожидавших около $7,9 млрд. Это связано с замедлением строительства офисов и задержками «некоторых проектов строительства ЦОД», отметил DCD.

Как сообщает Microsoft значительные средства были вложены в дата-центры, вычислительную инфраструктуру и сети. По словам компании, капвложений с каждым кварталом будут увеличиваться на протяжении всего 2024 финансового года. «Ускорение действительно довольно значительное, — отметила финдиректор Эми Худ (Amy Hood) в квартальном отчёте. — Это касается как ЦОД, так и CPU с GPU, а также сетевого оборудования». Худ добавила, что компания направляет средства на увеличение ёмкости для «обычных рабочих нагрузок Azure, а также некоторых рабочих нагрузок ИИ».

 Источник изображения: Microsoft

Источник изображения: Microsoft

Вложив миллиарды долларов в OpenAI, Microsoft стала единственным облачным провайдером стартапа, но вместе с тем, как и другие гиперскейлеры, стремится получить достаточное количество ускорителей NVIDIA. Ранее она подписала соглашение о сотрудничестве с CoreWeave об использовании его мощностей для обработки ИИ-нагрузок своих клиентов. По слухам, аналогичное соглашение Microsoft имеет и с Lambda. А до этого она обсуждала совместное использование ускорителей с Oracle, поскольку NVIDIA, похоже, предпочитает отдавать новейшие продукты тем компаниям, которые не пытаются разработать собственные ИИ-ускорители.

«Главная задача — быть в состоянии активно удовлетворять кривую спроса», — заявила Худ. Возможность увеличения капвложений обеспечивается ростом доходов: Microsoft сообщает об увеличении выручки за квартал на 8 % год к году до $56,2 млрд. Продажи облака Azure выросли на 27 %. Компания отметила, что около одного п.п. роста приходится на ИИ, и в следующем квартале, как ожидается, рост ИИ составит 2 п.п. При этом Microsoft не предоставляет финансовые данные по Azure. Известно лишь, что выручка подразделения Intelligent Cloud, куда входит Azure, составила в минувшем квартале $24 млрд.

 Источник изображения: Google

Источник изображения: Google

Google также заявила, что инвестирует значительные средства в ЦОД и ИИ-инфраструктуру. «Самая большая часть расходов пришлась на серверы, что включало значительное увеличение наших инвестиций в ИИ-вычисления», — сообщила в квартальном отчёте Рут Порат (Ruth Porat) финансовый директор холдинга Alphabet, куда входит Google. По словам Порат, «уровни инвестиций в техническую инфраструктуру [вырастут] во II половине 2023 года и продолжат расти в 2024 году», что позволит наверстать медленный старт. Компания будет «инвестиировать в GPU и TPU, а также в мощности ЦОД».

В свою очередь, глава Alphabet Сундар Пичаи (Sundar Pichai) заявил, что ИИ-инфраструктура компании является ведущей платформой для обучения и обслуживания моделей генеративного ИИ. Более 70 % компаний-единорогов в этой области являются клиентами Google Cloud, включая Cohere, Jasper, Typeface и т.д. Также компания, по его словам предлагает, самые широкие возможности ИИ-суперкомпьютинга на базе TPU и ускорителей NVIDIA. Подразделение Google Cloud сообщило о 28-% увеличении продаж во II квартале (до $8 млрд) в годовом исчислении и прибыли в размере $395 млн.

Постоянный URL: http://www.servernews.ru/1090653
27.07.2023 [16:43], Сергей Карасёв

Облачное подразделение Google Cloud показало операционную прибыль во II квартале

Холдинг Alphabet, материнская структура Google, отрапортовал о работе во II четверти 2023 года. Выручка за трёхмесячный период составила приблизительно $74,6 млрд, что на 7 % больше прошлогоднего результата ($69,7 млрд). Причём показатель превзошёл ожидания аналитиков, прогнозировавших выручку в размере $72,8 млрд.

Чистая прибыль Alphabet в период с апреля по июнь включительно достигла $18,4 млрд против $16,0 млрд годом ранее. Прибыль в пересчёте на одну ценную бумагу увеличилась в годовом исчислении с $1,21 до $1,44.

 Источник изображения: Google

Источник изображения: Google

В отчёте говорится о продолжающемся расширении облачного бизнеса Google Cloud. Выручка в данном сегменте во II квартале 2023-го составила $8,0 млрд против $6,3 млрд годом ранее. Таким образом, рост оказался на уровне 28 %. При этом была показана операционная прибыль в размере $395 млн, в то время как во II четверти 2022 года подразделение Google Cloud продемонстрировало операционные убытки в $590 млн. В прошлом квартале облако Google впервые за 15 лет получило прибыль.

Генеральный директор Alphabet Сундар Пичаи отметил, что в перспективе расширению Google Cloud будут способствовать приложения и сервисы на основе ИИ, которым требуются значительные вычислительные ресурсы. По его словам, инфраструктура Google Cloud, оптимизированная для ИИ, является одной из ведущих в отрасли платформ для обучения генеративным моделям.

На этом фоне холдинг Alphabet несколько расширил штат. По состоянию на конец июня 2023 года в различных подразделениях трудились в общей сложности 181 798 сотрудников. Для сравнения: годом ранее у компании было 174 014 работников.

Постоянный URL: http://www.servernews.ru/1090621
Система Orphus