Руководство по тестированию резервирования центров обработки данных для бригад по обслуживанию генераторов

Я видел достаточно несостоятельных отчетов, служебных записок и протоколов, составленных после инцидентов, чтобы понять эту неприятную закономерность: на чертеже указано “N + 1”, в презентации для отдела продаж утверждается, что система устойчива, операционная команда заявляет, что «проверяется ежемесячно», а затем один-единственный случай неисправной передачи вызывает цепочку срабатываний выключателей, дрейф АВР, пространство для очистки топлива или человеческую ошибку, которых никто не хотел бы допустить.

Так что же мы, собственно, проверяем: генератор, пространство или миф?

Руководство по тестированию резервирования центров обработки данных для бригад по обслуживанию генераторов

Почему резервирование в центре обработки данных не является задачей проектирования

Резервирование центра обработки данных — это способность объекта поддерживать подачу электроэнергии даже при выходе из строя одного или нескольких элементов, однако суровая реальность заключается в том, что резервирование не существует ни в PDF-файле, ни в техническом паспорте, ни в отдельном протоколе пусковых испытаний без нагрузки. Она существует только тогда, когда линии электропередачи, генераторы, устройства автоматического переключения (ATS), системы бесперебойного питания (UPS), распределительные устройства, системы управления, топливо, системы кондиционирования воздуха и специалисты работают надлежащим образом в условиях нагрузки и стресса.

И именно стресс и тревога являются причиной.

Недостаточно просто того, чтобы резервный генератор запускался. Недостаточно того, чтобы генератор принимал нагрузку. Резервирование — это когда генератор поддерживает напряжение во время переключения ИБП, пока логика автоматического переключателя (ATS) работает надлежащим образом, пока система управления инфраструктурой ведет четкую регистрацию событий, пока системы сигнализации передают сигналы соответствующим специалистам, и пока качество топлива остается в пределах технических требований — вот что действительно означает резервирование.

Почти готово. Не завершено.

Для компаний, занимающихся разработкой решений в области генераторного оборудования, задача ясна: доказать, что система аварийного электроснабжения способна обеспечить бесперебойную работу предприятия, а не просто пройти проверку на соответствие техническим требованиям.

Реальная работа команды Generator Solution: как безопасно опровергнуть предположения

Хорошая программа отбора участников для мероприятия, организованного центром обработки данных, должна вызывать у людей легкое беспокойство до начала мероприятия, а не после него.

Мы проводим оценку, потому что предположения теряют актуальность. Зарядные устройства для аккумуляторов изнашиваются. Системы водяного отопления куртки незаметно выходят из строя. В газе растет содержание воды и микробиологического загрязнения. Автоматические стабилизаторы напряжения дают сбои. Переключатели питания выходят из строя. Схемы управления “временно” обходятся, а затем это как-то становится постоянным явлением. Кто-то обновляет программу ПЛК. Другой забывает обновить технологическую инструкцию.

Но самые ужасные недостатки — это социальные.

Никто не хочет организовывать тестирование интегрированных систем в течение текущего квартала. Никто не хочет обнаружить, что дизель-генератор мощностью 2 МВт отлично работает при нагрузке 30% тонн, а при 82% — с серьезными сбоями. Никто не намерен сообщать руководителю центра обработки данных, что схема «N + 1» работает только в том случае, если два человека прибудут в нужном порядке с нужными ключами.

Жаль. Но такова работа.

Руководство по тестированию резервирования центров обработки данных для бригад по обслуживанию генераторов

Проверка резервирования информационного центра начинается с однолинейной схемы

Прежде чем нажать кнопку «Пуск», я хочу получить самую последнюю электрическую однолинейную схему, а не ту, что висит в рамке в офисе центра уже шесть лет.

Группы, отвечающие за генераторные установки, должны проверить фактическое расположение объектов: фидеры энергоснабжения, распределительные устройства среднего напряжения, трансформаторы, входные и байпасные цепи ИБП, оборудование для параллельного подключения генераторов, устройства ATS/STS, резервные хранилища топлива, топливные перекачивающие насосы, дневные резервуары, схемы аварийного отключения, заземление и точки мониторинга. Цель состоит в том, чтобы выявить мельчайшие несоответствия, которые впоследствии могут привести к крупному отключению электроснабжения.

В хорошем и взвешенном обзоре задаются следующие вопросы:

У каждого генератора есть свой блок с указанием тоннажа?

Сможет ли система резервирования N+1 обеспечить бесперебойную работу в случае вывода генератора из эксплуатации на время технического обслуживания?

Может ли ИБП работать в режиме переключения без отключения нагрузки?

Проходит ли тест на подключение к базе данных «Lots Bank» точно по тому же маршруту, что и в реальной чрезвычайной ситуации?

Удерживает ли AVR напряжение в пределах допустимых значений при динамической нагрузке?

Эта последняя проблема имеет более серьезные последствия, чем признают многие группы. Неэффективный регулятор напряжения может привести к тому, что технически исправная и сбалансированная дизельная генераторная установка начнет работать с перебоями. В целях обеспечения резервных запасов команды часто систематизируют запасные части для АВР, такие как R220 AVR — устройство автоматической регулировки напряжения для дизельных генераторных установок или а DECS100-B11 — блок регулирования напряжения AVR для деталей дизель-генераторных установок если установленный парк оборудования поддерживает эти версии.

Тестирование избыточности N+1: именно с буквой “N” люди и начинают обманывать

Проверка резервирования по схеме “N +1” подразумевает подтверждение того, что объект способен обеспечить выпуск необходимых партий продукции даже при выходе из строя одного из основных элементов, но я выскажу непопулярное мнение: многие «проверки по схеме N +1» представляют собой заранее отрепетированные демонстрации, а не реальные доказательства.

В «чистом» варианте всё просто. Все подразделения на связи. Небольшие участки. Благоприятные погодные условия. Все стоят рядом с рациями. Никаких необычных систем сигнализации. Кофе под рукой.

Вариант с проверкой работоспособности более строгий. Удалите один генератор из системы. Запустите оставшуюся систему с реальной нагрузкой. Постепенно увеличивайте нагрузку. Проверьте правильность подключения в параллель. Проверьте стабильность напряжения и частоты. Проверьте реакцию ИБП. Проверьте переключение на запасное топливо. Проверьте маршрутизацию сигналов тревоги. Проверьте процедуру восстановления. Убедитесь, что персонал может обсудить то, что только что произошло, без необходимости последующего восстановления событий.

Надлежащее тестирование генератора по методу N +1 должно включать:

Обстоятельства, при которых генератор недоступен

Моделирование потерь в энергосистеме

Проверка перевода ATS

Особенности разряда и заряда аккумуляторов UPS

Обратная связь по ступенчатой нагрузке при 25%, 50%, 75% и высоте, заданной на объекте

Проверки напряжения системы защиты AVR

Проверка работоспособности топливной системы

Серия «Возвращение к практическому применению»

Сроки выполнения действий оператора

Сверка журналов событий

Немного информации. Огромные последствия.

Если на веб-сайте используются платы AVR, совместимые с Siemens, в системах управления устаревшими генераторами, то стратегия замены должна учитывать различия между Компонент платы управления для замены АВР генератора 6GA2-492-1A и а Замена регулятора напряжения AVR генератора 6GA2-491-1A до начала периода домашних экзаменов, а не во время периода нестабильности напряжения.

Руководство по тестированию резервирования центров обработки данных для бригад по обслуживанию генераторов

Проверка финансовых учреждений по показателю «Генератор Тонн»: хватит поклоняться началу месяца

Тестирование генераторных установок в финансовых учреждениях представляет собой регулируемый процесс, при котором к генератору подключаются искусственные электрические нагрузки с целью проверки работы генератора, системы кондиционирования, подачи газа, выхлопных систем, регулирования напряжения и систем безопасности без использования нагрузок от центральной сети.

Запуск без нагрузки — это проверка работоспособности. Он показывает, что двигатель не вышел из строя. Это полезно, но не равносильно тому, чтобы доказать, что информационная система способна продолжать работу во время отключения электроэнергии.

В случае дизельных генераторных установок испытания при низкой нагрузке могут скрыть такие проблемы, как накопление влаги в дымоходе, неполное сгорание топлива, нестабильную работу турбокомпрессора, проблемы с охлаждением и нестабильность напряжения. Специалистам по устранению неисправностей необходимо подвергнуть генератор испытаниям в широком диапазоне нагрузок и точно зафиксировать его поведение, а не просто проверить, выдерживает ли он нагрузку.

Мне нравится отображение нагрузки, потому что оно раскрывает характер системы. При показателе 25% агрегат может выглядеть спокойным. При 50% температура выхлопных газов начинает рассказывать более откровенную историю. При 75% система охлаждения и подача топлива начинают «раскрываться». В верхней части сайта элементы управления ведут себя либо как инженерные устройства, либо как игровая доска.

Проверка систем бесперебойного питания и генераторов: опасные секунды в середине процесса

Именно при тестировании ИБП и генераторов становится заметным разрыв между теоретическими представлениями об электротехнике и реальной эксплуатацией.

ИБП — это не просто аккумуляторный мост. Это буфер, который защищает ИТ-нагрузки во время запуска генератора, стабилизации его работы, синхронизации, принятия нагрузки и дальнейшей работы. Время переключения невелико, однако показателей много: входное напряжение, выходное напряжение, скорость разряда аккумулятора, состояние инвертора, количество случаев перехода в режим байпаса, гармонические искажения, частота генератора, время срабатывания АТС и сигналы тревоги.

Тест должен решить одну серьезную проблему:

Могут ли ИБП и генератор работать как единая система при отключении электросети?

А не “может ли каждое устройство самостоятельно выполнять процедуру технического обслуживания”. Это всего лишь утешительные слова производителей.

При тестировании резервирования центров обработки данных группа по обслуживанию генераторов должна взаимодействовать со специалистами по ИБП, специалистами по распределительным устройствам, операторами центра, сотрудниками отдела эксплуатации сети и руководителем оперативной группы. Все должны понимать правила прерывания процедуры. Все должны понимать, кто уполномочен приостанавливать процедуру. Все должны знать, какие системы сигнализации имеют значение, а какие являются ложными срабатываниями.

Техническое обслуживание резервных генераторов в центрах обработки данных: что я обязательно отслеживал бы ежемесячно

Техническое обслуживание резервных генераторов в центрах обработки данных следует рассматривать как программу обеспечения надежности, а не как рутинную процедуру, выполняемую по графику.

Вот суровая правда: документация, как правило, выглядит гораздо лучше, чем само устройство. В технических паспортах изображены экологичные коробки. А сама генераторная установка рассказывает совсем другую историю. Просачивание масла. Пятна от охлаждающей жидкости. Повреждения, нанесенные грызунами. Изношенный стартерный аккумулятор. Неисправное зарядное устройство. Дневной указатель уровня топлива, на который никто не полагается. Пыль там, где должны быть отпечатки пальцев.

Следите за однообразными вещами. Они берут верх.

Место проведения экзаменаЧто необходимо подтвердитьСбой сигналаПочему команды разработчиков Generator должны обратить на это внимание
Система запуска двигателяНапряжение аккумулятора, состояние зарядного устройства, ток потребления стартераМедленно вращающийся коленчатый вал, система сигнализации зарядного устройства, ржавчинаГенератор, который не запускается, не является повторяющимся
AVR и возбуждениеОбеспечение напряжения при поэтапных партияхОпускание, перерегулирование, колебанияОтрицательная регулировка может вызвать сбои в работе ИБП или проблемы с партиями ИТ-оборудования
Топливная системаДневной резервуар, резервуар для хранения больших объемов, перекачивающий насос, фильтрыВода, осадок, падение давленияНеисправности в системе подачи газа, как правило, проявляются только при длительной работе
Система охлажденияТемпература охлаждающей жидкости, ремни, радиатор, подогреватель рубашкиПерегрев, низкая температура, утечкиДвигатели перегреваются, когда теплу некуда рассеиваться
Поведение ATS/STSВремя передачи, условие вызова, логика управленияПрерванный перевод, задержанный переводСбой в работе энергоблока выводит из строя исправные генераторы
Результаты финансовых учреждений в тоннахкВт, кВА, коэффициент мощности, частота, температура выхлопных газовНестабильность при более высоких нагрузках«Real Tons» раскрывает, что скрывается за показателями ежемесячных запусков
Цепочка сигналов тревогиBMS, EPMS, SMS/электронная почта, Case BridgeОтсутствие или отсрочка срабатывания сигнализацииНезаметные провалы превращаются в провалы руководства
Серия «Восстановление»Вернуться к параметрам «Энергия», «Время восстановления», «Сброс»Ручное усложнение, некорректный типичный вариантВосстановление данных является частью механизма обеспечения избыточности, а не очистки

Период экзаменов: организуйте его как расследование

Существует теория, объясняющая, каким должно быть оптимальное время проведения экзамена по резервированию.

Не какая-то расплывчатая цель вроде “проводить ежегодные испытания генераторов”. Такая формулировка слишком мягкая. Теория должна звучать примерно так: “В случае недоступности генератора № 3 генераторы № 1, 2 и 4 должны обеспечить питание определённых важных участков посредством имитации потери энергии, работы ИБП в режиме ”ride-through», переключения АТС, запуска нагрузочного стенда 75% и последовательности возврата к сети без колебаний напряжения в пределах ограничений, установленных для объекта».”

Теперь у нас есть что протестировать.

Перед началом работы с окном «Домой» закрепите:

Последние однолинейные схемы

Текущий цикл процедур

Перечень активов по генераторам, системам автоматического переключения (ATS), источникам бесперебойного питания (UPS), распределительным устройствам и контроллерам

Состояние газа и расчетное время работы

Схема AVR и график поставки запасных частей

Схема подключения нагрузочного стенда

Дерево взаимодействий

Требования к прерыванию

План восстановления

Стратегия сбора доказательств

На протяжении всего периода ведите записи, как журналист. Указывайте время для каждой мелочи. Не полагайтесь на память. Делайте снимки экрана системы SCADA, записывайте журналы контроллеров, события ИБП, давление газа, температуру охлаждающей жидкости, температуру выхлопных газов, напряжение, частоту, мощность в кВт, реактивную мощность в кВАр, коэффициент мощности и временные метки сигналов тревоги.

После завершения работы с окном «Домой» проанализируйте журналы. Именно здесь всплывает неудобная правда. Контроллер генератора указывает на одно событие. Система EPMS — на другое. В журнале ИБП указано, что реальное событие произошло на три секунды раньше. Это не просто канцелярская ошибка. Это доказательство.

Руководство по тестированию резервирования центров обработки данных для бригад по обслуживанию генераторов

Проблема AVR, о которой никто не хочет говорить

Неисправности в системе регулирования напряжения часто диагностируются неверно, поскольку они не всегда проявляются явно.

Генератор может легко запускаться, но при этом при смене партии топлива создавать нежелательные колебания напряжения. Неисправность авторегулятора напряжения (AVR) может проявляться в виде колебаний напряжения, провалов напряжения, перенапряжения, нестабильности возбуждения, частых срабатываний сигнализации, отклонения входного сигнала ИБП или нестабильности переключения. В информационном центре эти признаки и симптомы приписывают всему подряд: нагрузке, чувствительности ИБП, системам управления, “невезению”.”

Невезение — это не источник.

Группы, занимающиеся решениями для генераторных установок, должны документировать реакцию АВР во время скрининга ступенчатой нагрузки и подтвердить, что установленный регулятор поддерживается, подлежит замене и соответствует генератору. При планировании парка дизельных генераторов включение в стратегию технического обслуживания совместимых элементов регулирования напряжения может сократить время восстановления работы в случае выявления проблемы с возбуждением в ходе испытаний.

Это не престижная работа. Это работа, благодаря которой история о провале на экзамене не превращается в полный провал.

Как именно проверить избыточность генератора центра обработки данных, не обманывая себя

Для эффективной проверки резервирования генераторов в центре обработки данных необходимо объединить анализ документации, оценку компонентов, испытания с использованием нагрузочного стенда, комплексные испытания переключения между ИБП и генератором, проверку работы в режиме «N + 1», а также сверку результатов после завершения испытаний.

Вот последовательность операций, которой я доверяю:

Оценка фактического стиля управления.

Определите предполагаемую нагрузку и условия отказа.

При тестировании по методу «N + 1» исключите один элемент из рабочего состояния.

Проверить состояние генераторов, газовой системы, аккумуляторов, системы охлаждения, органов управления и авторегулятора напряжения (AVR).

Запускайте генераторы вручную и мгновенно.

Применяйте поэтапную нагрузку в тоннах.

Имитировать потери энергии.

Наблюдайте за работой системы поддержания питания (UPS) в режиме автономной работы и переключением с помощью автоматического переключателя (ATS).

Проверить устойчивость генератора при реальной или моделируемой центральной нагрузке.

Пробегите достаточное расстояние, чтобы выявить проблемы с нагревом, топливом и управлением.

Вернуться к утилите.

Проверить время восстановления и сбросить его.

Объединить журналы.

Составьте перечень исключений.

Укажите ответственных лиц и сроки выполнения.

Повторно проверьте элементы, по которым не сдано тестирование.

Последний шаг имеет большое значение. Неудачный тест без повторного тестирования — это просто спектакль с бумажной волокитой.

Часто задаваемые вопросы

Что такое проверка избыточности систем хранения данных?

Тестирование резервирования центров обработки данных — это контролируемая процедура проверки, которая демонстрирует способность резервных систем электропитания, кондиционирования, сети и функциональных систем поддерживать работу центра в случае выхода из строя типовых компонентов. Такие системы включают генераторы, системы бесперебойного питания (ИБП), переключатели питания, топливные системы, системы управления, системы сигнализации, а также процедуры реагирования персонала в условиях реалистичных сбоев. Генераторные команды используют эту процедуру для выявления слабых мест до того, как перебои в энергоснабжении обнажат их.

Как часто следует проводить проверку генераторов информационных центров?

Проверка генераторных установок должна проводиться в соответствии с плановым графиком, включающим регулярные вводные проверки, периодические прогоны с полной нагрузкой, ежегодное комплексное тестирование систем, а также дополнительные проверки после проведения капитального ремонта, внесения изменений в настройки, работ с топливной системой, регулировки коммутационного оборудования или замены элементов генератора. Оптимальный интервал между проверками зависит от степени опасности объекта, требований по соответствию нормам, профиля нагрузки и обязательств перед потребителями по обеспечению бесперебойной работы.

В чём заключается разница между тестированием банковских систем и тестированием интегрированных систем?

При испытаниях финансовых учреждений на генераторы подаются искусственные электрические нагрузки с целью проверки мощности двигателя, регулирования напряжения, системы охлаждения, подачи топлива и безопасности, в то время как тестирование интегрированных систем позволяет убедиться в работоспособности всей цепочки аварийного энергоснабжения, включающей генераторы, источники бесперебойного питания (ИБП), устройства автоматического переключения (АТС), распределительные устройства, системы сигнализации, процедуры и последовательности восстановления. Одно испытание проверяет устройство, другое — систему.

Почему тестирование с избыточностью N + 1 не работает на реальных объектах?

Проверка резервирования N+1 оказывается недостаточной, когда дополнительные мощности предусмотрены только на бумаге, но не находят отражения в реальных условиях эксплуатации — как правило, из-за неточных предположений относительно нагрузки, времени переключения, готовности генераторов, подачи газа, логики управления, реакции ИБП, синхронизации выключателей, охлаждающей способности, обработки сигналов тревоги или действий оператора. Недостатки, как правило, носят одновременно процедурный и электрический характер.

Как сервисные группы, занимающиеся обслуживанием генераторов, проверяют эффективность авторегулятора напряжения (AVR)?

Группы по тестированию генераторных решений проверяют эффективность АВР, оценивая стабильность напряжения во время запуска, работы без нагрузки, ступенчатых изменений нагрузки, длительной работы с нагрузочным банком, переключений и циклов восстановления, одновременно отслеживая провалы напряжения, перерегулирование, колебания, сбои в возбуждении, сигналы тревоги о неисправностях и отклонение входного напряжения ИБП. Цель состоит в том, чтобы проверить поведение напряжения в условиях нагрузки и стресса, а не просто подтвердить выходную мощность в режиме холостого хода.

Заключительное слово для бригад по обслуживанию генераторов

Избыточность информационного центра — это не обещание. Это результат тестирования.

Если ваша сервисная группа по генераторам хочет, чтобы операторы информационных центров относились к ней серьезно, перестаньте предлагать техническое обслуживание в виде простого списка проверок и начните предлагать его как гарантию защиты от угроз. Продемонстрируйте графики напряжения. Продемонстрирую данные о расходе газа. Продемонстрируйте сценарии возможных отказов. Запланируйте повторное тестирование.

Именно так команды по внедрению решений переходят от статуса поставщика к статусу надежного партнера по инфраструктуре.

Вам нужны запчасти для системы регулирования напряжения генератора до начала следующего периода тестирования резервирования? Ознакомьтесь с подходящими вариантами замены авторегулятора напряжения (AVR), проверьте установленную модель и составьте план запасных частей до прибытия поставщика.

Комментарии