Создание ИТ-инфраструктуры на объекте по добыче полезных ископаемых

Заказчик: ООО «Нордголд Менеджмент»

Nordgold является быстрорастущей золотодобывающей компанией с активами в Западной Африке, России, Казахстане, Французской Гвиане и Канаде. Наиболее крупным из активов считается рудник «Гросс» – новое флагманское золотодобывающее предприятие Nordgold в России. Введение рудника в эксплуатацию в 2018 году закрепило за Nordgold статус мирового лидера в области строительства эталонных для индустрии золотодобывающих предприятий.

Новому руднику требовалась полноценная инфраструктура: необходимо было связать воедино все участки рудника, соединить их с центром обработки данных рудника, а также обеспечить связь этого ЦОД с остальными филиалами Нордголд. Кроме того, сам центр обработки данных также требовалось создать «с нуля»: подобрать оборудование согласно нагрузке, обеспечить его бесперебойным питанием и охлаждением, автоматической противопожарной защитой.

Нашими специалистами были спроектированы, смонтированы, введены в эксплуатацию и при необходимости интегрированы в общую инфраструктуру рудника:

      • Центр обработки данных (ЦОД)
        • Вычислительная система
        • Система обеспечения ЦОД гарантированным электропитанием
        • Система охлаждения ЦОД
      • Система автоматической противопожарной защиты ЦОД (АППЗ)
      • Коммутационные узлы на различных участках рудника
      • Оптические каналы связи между модулями вахтового поселка
      • Беспроводные сети в вахтовом поселке и золотоизвлекающей фабрике (ЗИФ)
      • Система контроля и управления доступом (СКУД)

Проектирование и монтаж ЦОД

Вычислительная система

Проанализировав требования заказчика, специалисты компании «ВИЗАРД» предложили решение, основанное на оборудовании Hewlett Packard Enterprise – ведущего производителя серверов, систем хранения данных и ряда прочего оборудования. Сервера HPE отличаются высокой надежностью и идеально подходят для выполнения различного рода задач, таких как виртуализация, аналитика больших данных и высокопроизводительные вычисления. Предложенное решение основывалось на виртуальных машинах, развернутых на кластере VMware, с подключенной системой хранения данных. В качестве вычислительных узлов кластера используются сервера HPE Proliant DL380 Gen10, обеспечивающие необходимую вычислительную мощность и обладающие широкими возможностями по настройке и управлению. Для хранения данных выбрана СХД HPE MSA 2050 SAN, отличающаяся надежностью и производительностью: при использовании высокоскоростных портов FC 16Gb быстродействие системы достигает 200000 IOPS (операций ввода-вывода в секунду). Коммутация серверов и СХД происходит через SAN коммутаторы HPE SN3000B – они поддерживают виртуализированную среду и предоставляют гибкую модель лицензирования портов, для большего соответствия требованиям бюджета.

Для защиты виртуальных машин и пользовательских данных была предусмотрена система резервного копирования и архивации. Резервное копирование осуществлялось с помощью ПО Veeam – общепризнанного лидера рынка ПО для резервного копирования в виртуальных средах. Для обеспечения функционирования ПО использовался выделенный сервер резервного копирования, который также базировался на HPE Proliant DL380. Для долгосрочного хранения архивные данные копировались на ленточную библиотеку, организованную с помощью автозагрузчика HPE StoreEver 1/8 G2. В качестве носителей были выбраны ленточные картриджи LTO-8 Ultrium, обеспечивающие до 30 Тб емкости на каждый картридж.

Все оборудование было HPE защищено расширенной технической поддержкой.

Ядро сетевой инфраструктуры было построено на коммутаторах последнего поколения корпоративного класса Cisco Catalyst серии 3850. Для связи с головным офисом использовались маршрутизаторы Cisco One ISR 4331, периметр защищался с помощью межсетевого экрана Cisco ASA 5506.

Беспроводная сеть строилась на точках доступа Cisco AIR-AP2802I, управляемых с помощью контроллера AIR-CT3504.

Все системы объединены в отказоустойчивые кластеры.

Специалистами компании «ВИЗАРД» были выполнены следующие работы:

      • проектирование систем ЦОД – питание, охлаждение, АППЗ
      • монтаж фальшпола
      • монтаж и сборка системы электропитания, включая ИБП
      • монтаж системы охлаждения
      • сборка стоек для размещения оборудования
      • монтаж серверного, сетевого и прочего оборудования
      • построение SAN сети: коммутация серверов, СХД и системы архивации, настройка SAN коммутаторов
      • построение сети передачи данных: коммутация серверов и сетевого оборудования, базовая настройка коммутаторов
      • построение беспроводной сети: подготовка точек доступа (заливка ПО), базовая настройка контроллеров

Система обеспечения гарантированным электропитанием

Специалисты компании «ВИЗАРД» спроектировали решение по гарантированному электроснабжению коммутационных узлов различных участков рудника, а также центра обработки данных и серверного помещения на участке ТЭЦ. Поскольку оборудование работало в условиях тяжелого промышленного комплекса, требовалась надежная защита питания, в том числе от помех, повышенного и пониженного напряжения в сети и отключения электропитания.

Такую защиту предоставляют ИБП с технологией двойного преобразования – когда переменное напряжение на входе преобразуется в постоянное, а затем с помощью инвертера снова создается переменное, в форме чистой синусоиды.

Коммутационные узлы исполнены в форм-факторе настенных шкафов 19” высотой 9-12U и имеют небольшую глубину. Это накладывало ограничения на размер ИБП, поэтому выбраны были модели SURT1000XLI производства APC by Schneider Electric. В комплекте с направляющими SURTRK этот ИБП занимает 2U в шкафу и обеспечивает оборудование «чистым» питанием. ИБП имеет встроенную сетевую плату для мониторинга и управления.

В серверном помещении на участке ТЭЦ установлены две стойки 42U, с серверным и коммутационным оборудованием. Поскольку суммарная мощность оборудования выше, для питания стоек были установлены ИБП SRT3000RMXLI – также выполненные по топологии двойного преобразования. Для увеличения времени автономной работы в случае отключения напряжения на входе к ИБП были подключены дополнительные батарейные блоки SRT96RMBP. При величине нагрузки 2 кВт это обеспечивало до 30 минут работы от батарей. SRT3000RMXLI также оборудован сетевой картой.

Питание центра обработки данных защищено с помощью одного из лучших решений в области – модульного ИБП APC Symmetra PX. Модульная конструкция позволяет менять силовые и батарейные модули, не прерывая питания нагрузки, а наличие резервного модуля управления обеспечивает отказоустойчивость системы контроля ИБП. Силовые модули могут обеспечивать избыточность по схеме N+1 – допускается выход из строя силового модуля, и это не влияет на работу нагрузки. Благодаря модулю статического байпаса ИБП, при обнаружении неисправности компонентов, переключает нагрузку напрямую на вход, не прерывая питания. Механический, или сервисный, байпас позволяет проводить обслуживание ИБП и замену компонентов также при работающей нагрузке.

Использовался вариант ИБП SY32K48H-PD – три силовых модуля по 16 кВа, с возможностью установки еще одного модуля. В комплект ИБП входит модульная распределительная стоечная панель PDPM, в которую устанавливаются 3 модуля распределения питания PDM1332IEC-3P. Каждый из них использует для подключения отдельную фазу. Таким образом обеспечивается равномерное распределение нагрузки по фазам. Каждая стойка оборудована двумя вертикальными PDU AP7553, каждый из которых питается от отдельного модуля. Благодаря этому в каждой стойке присутствует 2 разных фазы, и при обрыве или перегрузке одной из фаз сервера и коммутаторы продолжают работать на резервном блоке питания, подключенном к другой фазе. Для повышения времени автономной работы к ИБП подключен дополнительный батарейный шкаф SYCFXR48-S. Такое решение обеспечивает для центра обработки данных запас по мощности и времени автономии на несколько лет вперед.

Для того, чтобы избежать высокой нагрузки на небольшой участок пола, наши специалисты спроектировали, изготовили, доставили в рудник и смонтировали под ИБП специальную разгрузочную раму. Поскольку вес полностью нагруженного батарейного шкафа составляет порядка 1,3 тонны, а самого ИБП порядка 1 тонны, это могло создать нагрузку весом 2,3 тонны на площади 1,2 кв. метра. Разгрузочная рама предназначена для увеличения площади контакта ИБП и перекрытия, а также для предотвращения повреждения конструкций фальшпола. Рама изготовлена из трубы квадратного сечения со стороной 80 мм и толщиной 4 мм, все элементы рамы жестко сварены между собой. Высота рамы рассчитана таким образом, чтобы плитки фальшпола укладывались и на раму, и на стойки фальшпола, образуя единую плоскость.

Коммутация питания ИБП, а также силовой части стоек выполнена на специальном металлическом лотке, расположенном под фальшполом. Ввод питания на вход ИБП осуществляется через систему автоматического ввода резерва (АВР), выполненную на элементной базе ABB. АВР производит аварийное переключение электрических вводов в случае пропадания одного из них Подача питания происходит с одной ТЭЦ, но разными линиями – это исключает потерю питания ЦОД при случайном обрыве кабеля.

Установку ИБП Symmetra и батарейного шкафа, сборку компонентов, коммутацию силовой части и распределение питания по стойкам осуществляли сотрудники компании «ВИЗАРД». Пусконаладка ИБП выполнена сертифицированным инженером компании-производителя.

Созданная система полностью соответствует предъявленным заказчиком требованиям по электробезопасности. При реализации проекта были соблюдены все стандарты и нормативы, применяемые при проектировании и монтаже электрических сетей. В ходе реализации проекта серверное и коммутационное оборудование, а также системы хранения данных, были подключены к инфраструктуре, обеспечивающей независимое и резервное электропитание.

Система охлаждения

Система охлаждения ЦОД должна обладать холодопроизводительностью, не менее чем количество выделяемого оборудованием тепла. Кроме того, важнейшим свойством системы охлаждения ЦОД является отказоустойчивость. Исходя из этих требований, было принято решение собрать систему охлаждения на трех промышленных кондиционерах Daikin FAQ100B, с внешними блоками RR100BV. Так как эксплуатация кондиционеров будет происходить в суровых климатических условиях, внешние блоки были оборудованы специальным низкотемпературным комплектом, обеспечивающим работу при температуре до -40 °C. Управление кондиционерами предполагалось осуществлять с помощью согласователя работы кондиционеров СРК-М-01. Согласователь реализует схему работы 2+1 – когда одновременно работают 2 кондиционера, а третий находится на отдыхе. Смена отдыхающего кондиционера происходит раз в 4 часа.

Внутренние блоки расположили на стене таким образом, чтобы поток холодного воздуха направлялся напрямую в стойки с оборудованием. Размещение стоек было спроектировано таким образом, чтобы холодный воздух поступал на вход стоек, и затягивался внутрь оборудования. Передние дверцы стоек были выбраны в исполнении с перфорацией, чтобы не препятствовать воздушному потоку.

Наружные блоки расположены на внешней части здания, на специальных кронштейнах. Монтаж и подключение были выполнены с соблюдением требований к высотным работам.

Слив конденсата из внутренних блоков осуществляется в накопительную емкость. По достижении определенного уровня поплавок в емкости включает помпу, и происходит откачка конденсата в систему канализации.

Электропитание двух кондиционеров осуществляется с распределительного щита в ЦОД. Третий кондиционер, расположенный напротив ИБП, питается через ИБП. Это обеспечивает частичное охлаждение ЦОД при отключении питания, а также позволяет охлаждать ИБП при работе от батарей – когда ИБП выделяет максимальное количество теплоты.

Четвертый кондиционер был задействован для охлаждения серверного помещения на ТЭЦ.

Коммутационные узлы на различных участках рудника

Инфраструктура рудника расположена на площади в несколько десятков квадратных километров. Различные участки находятся далеко друг от друга, и соединяются в единую сеть посредством оптических кабелей. На каждом участке расположен коммутационный узел, обеспечивающий как соединение соседних участков, так и подключение к сети рудника оборудования этого участка.

Типовой состав коммутационного узла:

      • настенный 19” шкаф 9 или 12U высотой
      • ибп 1000 кВа
      • блок розеток 1U
      • оптический бокс
      • патч-панель
      • коммутатор Cisco (8 или 24 порта RJ45)
      • необходимое количество кабельных органайзеров

Всего специалистами компании «ВИЗАРД» был установлен 21 такой коммутационный узел. Шкаф предварительно собирался: в него устанавливались оптический бокс, кабельные органайзеры и патч-панель. После установки шкафа на стену производился монтаж ИБП и коммутатора, затем внутрь заводились оптические кабели и коммутировались в бокс. Затем на патч-панель заводилась витая пара, и порты патч-панели соединялись с коммутатором. На последнем этапе ИБП подключался к электросети, и происходила пусконаладка коммутационного узла.

Оптические каналы связи между модулями вахтового поселка

Вахтовый поселок состоит из множества модулей, таких, как столовая, АБК, медицинский модуль, ряд жилых модулей и т.п. Модули соединены арктическим переходом. В каждом модуле был установлен коммутационный узел, и, согласно схеме, все узлы должны быть связаны в кольцо, для увеличения надежности. Где это было возможно, коммутация узлов осуществлялась оптическим кабелем Hyperline для внутренних работ. Кабель прокладывался в кабель-каналах, расположенных на достаточной высоте, чтобы исключить случайное повреждение. Часть модулей, отстоявших далеко от арктического перехода, были скоммутированы оптическим кабелем для наружных работ. Кабель укладывался в металлический кабеленесущий канал, с обязательным креплением нейлоновыми хомутами.

Всего было продолжено около 1000 метров оптического кабеля для внутренней прокладки и около 600 метров кабеля для внешней прокладки, что составило 11 участков трассы. Кабели были заведены в оптические боксы и разварены согласно схеме.

Беспроводные сети в вахтовом поселке и золотоизвлекающей фабрике (ЗИФ)

Беспроводная сеть строилась на точках доступа Cisco 2802. Устройства серии 2800 поддерживают стандарт 802.11ac Wave II, обеспечивая расчетную скорость соединений до 5,2 Гбит/с. В них используется технология MU-MIMO 4×4 второй̆ волны стандарта 802.11ac, поддерживающая три пространственных потока. Технология MU-MIMO разделяет пространственные потоки между клиентскими устройствами для максимального увеличения пропускной̆ способности. Точки доступа серии 2800 обладают гибкостью управления, имея возможность работать как с физическим контроллером точек доступа, так и управляться через облако.

Для использования на территории рудника был выбран вариант управления точками с помощью физического контроллера Cisco 3504. Предварительно на точки доступа был загружен соответствующий образ программного обеспечения.

В вахтовом поселке в жилых модулях используется навесной потолок «Армстронг». Наличие специальных креплений для этого вида потолка позволило провести быстрый монтаж точек доступа. К каждой точке подводился кабель UTP Cat. 5e, для обеспечения питания точки и подключения ее к ЛВС. Питание точек осуществляется по технологии PoE. Прокладка кабеля осуществлялась в закрытом кабель-канале, расположенном на большой высоте, чтобы исключить случайное повреждение кабеля.

На территории ЗИФ, ввиду отсутствия подвесного потолка, точки доступа устанавливались на стены или на несущие конструкции под потолком. Кабель UTP подводился в гофрорукаве.

Точки доступа подключались к коммутаторам Cisco Catalyst, обеспечивающим питание точки и передачу данных. Управлявший контроллер монтировался в 19” стояку, расположенную в ЦОД.

Всего нашими специалистами было установлено и подключено 15 точек доступа, при этом было проложено порядка 500 метров кабеля.