ФГБУ "ГВЦ Росгидромета"

Вычислительный комплекс состоит из следующих основных компонентов:

Типовая структурная схема вычислительных комплексов Росгидромета

Вычислитель выполняет функции оперативного и научно-исследовательского счета, ресурсной поддержки научно-исследовательских разработок. Дифференциация задач выполняется по технологическим схемам каждого из центров установки. В комплект системы входит системная консоль организации доступа ко всем узлам системы для инженерного персонала.

Система управления данными состоит из:

  • дисковой системы хранения данных, обеспечивающей хранение данных на накопителях ЖМД и предоставляющей ресурсы для подсистем ввода-вывода Вычислителя, серверов баз данных и оперативных систем;
  • ленточной системы хранения данных, состоящей из автоматизированной ленточной библиотеки,
  • серверов системы управления данными, включая серверы архивирования и резервного копирования, иерархического хранения данных.
    • Серверы оперативной системы и баз данных включают в себя вычислительные серверы, локальные серверы оперативного назначения, в число которых входят серверы обмена оперативной информацией, серверы информационных систем Росгидромета, файловые серверы, обеспечивающие файловый и транзакционный обмен данными для клиентов ЛВС.
    • Серверы общего назначения обеспечивают функционирование основных сетевых сервисов, таких как DHCP, NTP, локальных DNS и почтового сервиса.
    • Абонентские рабочие места оперативного и научно-исследовательского назначения включают персональные компьютеры и станции визуализации оперативного и неоперативного персонала.
    • Локальная вычислительная сеть объединяет все компоненты информационной системы. Связь с существующей ЛВС осуществляется посредством двух интерфейсов Ethernet 10/100/1000 Base-T. Для обеспечения функционирования осуществляется мониторинг и управление сетевым оборудованием.
    • Все компоненты существующего программно-аппаратного комплекса работают в режиме реального времени 24 часа в сутки.

Конфигурация информационной системы (основные характеристики установленного в ФГБУ “ГВЦ Росгидромета” Вычислительного комплекса.)

Пиковая произво-

дительность TFlops (1012)

Тип вычислителя

Кол-во CPU/

CPU в узле

ОЗУ

Тбайт

(1012)/GB на ядро

Производитель

(фирма/страна)

Дисковая подсистема

Тбайт(1012)

11

SGI Altix 4700

1664 / 128

6.6/4

 

SGI(США)

180TB=

60TB

SGI IS4000

+

120TB SGI IS10000

16

SGI Altix ICE8200

1408/8

2.8/2

SGI(США)

35

РСК ”Торнадо”

1152/12

4,608/4

РСК (Россия)

300TB

IBM Storwize V7000, IBM System Storage DCS3700

14

SGI ICE-X

720/20

2,304/3,2

SGI(США)

2

SGI UV2000

96/96

1,024/10,6

SGI(США)

 

SGI Altix 4700

Кластер (Вычислитель #1) SGI Altix 4700 пиковой производительностью 11 TFlops построен на 832 2-х ядерных процессорах Intel Itanium 9140М с оперативной памятью 6.6 TB (1664 процессорных ядер, 4 GB на ядро). Вычислитель представляет собой систему с общей памятью, способен масштабироваться до 1024 ядер в рамках единого образа операционной системы. Архитектура SGI NUMAflex обеспечивает наилучшие (по проведенным тестированиям) значения полосы пропускания и латентности. Шина взаимодействия SGI NUMALink обеспечивает высокоскоростное взаимодействие между процессорами системы. На текущий момент Вычислитель логически делится на партиции/узлы (13 узлов): 1 партиция = 1 вычислительная стойка. В каждой партиции 32 виртуальных вычислительных узла (нод): 4 ядра + 16ГБ оперативной памяти. Две виртуальных ноды зарезервированы для системных процессов (8 ядер + 32ГБ памяти). Каждая аппаратная партиция имеет системные жесткие диски SAS с полезным объемом 300 GB с зеркалированием и высокопроизводительный доступ к Дисковой системе хранения данных через параллельную файловую систему SGI CXFS. Кластер функционирует под управлением операционной системы SLES 11SP1 (ia64).

SGI Altix ICE8200

Кластер (Вычислитель #2) SGI Altix ICE8200 пиковой производительностью 16 TFlops построен на 352 4-х ядерных процессорах Intel Quad Core Xeon e5440 с оперативной памятью 2.8TB (1408 процессорных ядер, 2 GB на ядро). Вычислитель представляет собой широко распространенный тип блейд-систем, имеет 64-разрядную архитектуру EM64T/AMD64. Вычислитель состоит из 3-х вычислительных стоек, каждая из которых представляет собой: 4 IRU (Individual Rack Unit — блейд шасси), 15 вычислительных блейдов (лезвий), 8 ядер и 16GB оперативной памяти в каждом блейде. В качестве шины взаимодействия используется технология Infiniband DDR. Кластер использует бездисковый принцип работы - образ операционной системы разворачивается в оперативной памяти. Общая файловая система строится на базе технологии NFS over Infiniband. Кластер функционирует под управлением операционной системы SLES 10SP2 (x86_64).

РСК “Торнадо”Кластер (Вычислитель #3) РСК “Торнадо” пиковой производительностью 35 TFlops построен на 192 8-и ядерных процессорах Intel E5-2690 с оперативной памятью 6,1 TB (1536 процессорных ядра, 4 GB на ядро). Вычислитель имеет 64-разрядную архитектуру EM64T/AMD64. В качестве шины взаимодействия используется технология Infiniband QDR. Общая файловая система строится на базе технологии NFS для подключений к файловой системе кластеров SGI и параллельной файловой системе GPFS для непосредственного подключения узлов кластера к дисковым массивам. Кластер функционирует под управлением операционной системы SLES 11SP2 (x86_64).

Кластер (Вычислитель #4) SGI ICE-X пиковой производительностью 14 TFlops построен на 72 10-и ядерных процессорах Intel E5-2670v2 с оперативной памятью 2,3 TB (720 процессорных ядер, 3,2 GB на ядро). Вычислитель имеет 64-разрядную архитектуру EM64T/AMD64. В качестве шины взаимодействия используется технология Infiniband FDR, топология Enhanced Hypercube IB Interconnect Topology. Общая файловая система строится на базе технологии NFS для подключений к файловой системе кластеров SGI и параллельной файловой системе GPFS для непосредственного подключения узлов кластера к дисковым массивам. Кластер функционирует под управлением операционной системы SLES 11SP3 (x86_64).

Вычислитель #5 SGI UV2000 пиковой производительностью 2 TFlops представляет собой систему с глобальной общей оперативной памятью, построен на 16 шести ядерных процессорах Intel E5-4617 с оперативной памятью 1 TB (96 процессорных ядер, 10 GB на ядро). Вычислитель имеет 64-разрядную архитектуру EM64T/AMD64. Общая файловая система строится на базе технологии NFS для подключений к файловой системе кластеров SGI и параллельной файловой системе GPFS для непосредственного подключения Вычислителя к дисковым массивам. Вычислитель функционирует под управлением операционной системы SLES 11SP3 (x86_64).

Дисковая подсистема общим объемом 180 TB имеет иерархическую структуру: 60TB SGI InfiniteStorage 4000 system (Дисковая система хранения данных) и 120TB SGI InfiniteStorage 10000 (Дисковая система хранения данных #2). Решение по Сети хранения данных (SAN) базируется на двух коммутаторах Brocade SilkWorm 48000 (48K) и файловой системе SGI CXFS, которая является параллельной файловой системой, направляющей поток данных через SAN. CXFS обеспечивает соединение всех необходимых технологических серверов и узлов Вычислителя #1 с Дисковой системой хранения данных. Файловая система работает совместно с SGI DMF – системой иерархического управления хранением SGI Hierarchical Storage Management, которая обеспечивает миграцию данных между дисковыми подсистемами. Вычислитель #2 подключается к параллельной файловой системе непосредственным отказоустойчивым подключением к серверам метаданных (SGI Altix 450).

is 4000   is 10000

IBMДисковая система хранения данных#3 строится на базе дисковых массивов 14 TB IBM Storwize V7000 , 300 TB IBM System Storage DCS3700. Решение по Сети хранения данных реализовано путем установки двух FC коммутаторов Express IBM System Storage SAN24B-4 с подключением к коммутаторам SW 48K и файловой системе GPFS, которая является параллельной файловой системой. GPFS обеспечивает соединение всех необходимых технологических серверов и узлов Вычислителя #3 с Дисковой системой хранения данных #3. Миграция данных между дисковыми подсистемами осуществляется также средствами GPFS.

Для обеспечения функционирования и управления компонентами вычислительной инфраструктуры используются Служба каталогов Microsoft Windows и ассоциированные с ней общесистемные службы. В число этих служб входят инфраструктура общего каталога на базе Microsoft Active Directory, базовые сетевые сервисы DHCP, DNS, WINS, NTP. В качестве почтовой серверной службы используется Microsoft Exchange, в качестве унифицированных коммуникаций используется Microsoft Lync.

ЛВС построена на базе:

  • Уровень ядра – коммутаторы Cisco 6509
  • Уровень распределения – коммутаторы Cisco 4948 с подключением  к коммутаторам уровня ядра на скорости 10 Gbps по оптоволоконному каналу связи
  •  Уровень резервирования серверной фабрики – коммутаторы Cisco 4948 с подключением к коммутаторам уровня ядра на скорости 1 Gbps по оптоволоконному каналу связи или UTP-соединению.
  • Уровень доступа – коммутаторы Cisco 2960 и Cisco 3650 с подключением к коммутаторам ядра и/или уровня распределения  на скорости 1 Gbps по оптоволоконному каналу связи или UTP-соединению.

Система безопасности сетевой инфраструктуры построена на базе межсетевых экранов Cisco ASA серии 5500, Cisco ACS.

Система управления ЛВС реализована с использованием интегрированного решения CiscoLMS (элемент-менеджер активного оборудования) и HP OpenView NNMi (энтерпрайс-менеджер оборудования).

Для организации счета на вычислительных комплексах используется Altair PBSPro.

На базе указанных выше вычислительных систем производится оперативный и научно-исследовательский счет.

 

О деятельности Гидрометслужбы в период Великой Отечественной войны 1941-1945 гг.
Победа! 70 лет
Очерки, истории, воспоминания