Защищенность ЦОДов: физическая и юридическая. Информационная безопасность цодов

В. А. Конявский, д.т.н.

Д. В. Угаров

Специфика угроз информационной безопасности и защиты от них в ЦОД

Если человек будет платить в 5 раз меньше, то ему это выгодно. И если ресурсы компьютера разделить на 20 человек, и каждый будет платить за 10 процентов ресурсов, то и владелец компьютера останется в ощутимой выгоде, тем более что на оплату энергетики будет уходить в разы меньше средств. Вот такие рассуждения и явились причиной появления систем виртуализации.

Очевидно, что чем мощнее компьютер, тем больше виртуальных машин может на нем работать, и тем эффективнее будет виртуализация. Конечно, в том случае, если большая часть виртуальных машин будет использоваться. Мало их создать, нужно, чтобы они были востребованы.

Если компьютер достаточно мощный, и все его ресурсы уже заняты, а виртуальных машин не хватает — тогда нужно покупать еще один компьютер. Станет их много — нужно строить специальное инженерное сооружение, эффективно обеспечивающее энергетикой компьютеры, на которых функционируют ВМ. Все вместе это называется ЦОД — центр обработки данных.

Чтобы получить на ЦОДе в свое распоряжение ВМ, нужно определить, какими именно ресурсами эта машина должна располагать, и попросить администратора создать именно такую ВМ. Однажды созданная, ВМ останется именно такой до тех пор, пока не будет изменена или удалена администратором. Другими словами, мы наблюдаем статическое распределение ресурсов. Пользователь знает, где именно находится его ВМ, и что она из себя представляет.

Несколько ЦОДов иногда объединяются одним механизмом управления. Теперь ВМ могут размещаться не только на разных физических серверах, но и на разных ЦОДах. Но до сих пор пользователь при желании может точно установить, где находится его конкретная виртуальная машина.

Так может продолжаться до тех пор, пока ресурсов группы ЦОД хватает для размещения всех требуемых виртуальных машин. Рано или поздно все ресурсы ЦОД окажутся занятыми, и тогда придется «уплотняться».

Мало кто удержится от заказа ВМ «на вырост». Конечно, за заказанные ресурсы нужно платить, но не так уж и много, и, значит, лучше взять «про запас». В результате, хотя эффективность использования ресурсов в ЦОД намного выше, чем при использовании ПЭВМ, все-таки оптимальным такое использование не назовешь. Каждый взял себе по 20-30% запаса ресурсов, значит, свободные ресурсы есть, а использовать их нельзя. Неэкономно получается.

Вот только здесь появляется потребность в том, что отличает «облако» от виртуализации оборудования. Это — динамическое распределение (выделение) ресурсов. «Облако» характеризуется виртуализацией оборудования, виртуализацией ОС, виртуализацией приложений и динамическим распределением ресурсов.

При работе «в облаке» ВМ может размещаться на любой памяти, исполняться на любом сервере любого ЦОД, входящего в состав облачной инфраструктуры. Говорят, что ВМ «мигрируют» между ЦОД. Решение о миграции ВМ принимает «планировщик», исходя из различных соображений, например, из логики равномерности загрузки ЦОД, цены ресурсов, просто наличия свободных ресурсов, и других.

То есть облачные технологии начинаются тогда, когда исчерпаны все ресурсы ЦОДов. Облачная инфраструктура — это взаимодействующие на основе специализированного «планировщика» ЦОДы, средства доступа и клиентские машины. Защищенная облачная инфраструктура — это защищенные серверы, защищенные ЦОД, защищенные ВМ, защищенный доступ (WEB и/или терминальный), и, наконец, защищенный планировщик, планирующий миграцию ВМ из соображений, в том числе, защищенности информационных ресурсов.

Защищенность ЦОДа, соответственно, обеспечивается «проще» на планировщик. Это важно, так как серьезных технологий защиты планировщика на рынке пока не представлено, они находятся в разработке.

Требования к защите понятны - если информационное взаимодействие связано с обработкой персональных данных и обработкой государственных информационных ресурсов, то меры по защите должны соответствовать требованиям приказов 17 и 21 ФСТЭК.

Перечислим возможные средства защиты:

1. Доверенная среда на компьютерах пользователей может создаваться применением СЗИ НСД (например, «Аккорд») или СОДС (например, «МАРШ!»);
2. Защищенный доступ пользователей к ВМ можно обеспечить применением VPN в доверенной среде для WEB-доступа, или системой доверенной терминальной загрузки (например, «Центр-Т»);
3. Контролируемый старт (доверенная загрузка) системы виртуализации и защита ВМ обеспечивается специализированными СЗИ для виртуальных инфраструктур (например, для VMware — «Аккорд-В.», для MS HV — «ГиперАккорд»);

Очевидно, что защищенность ЦОДа не имеет никакого смысла, если взаимодействующие с ним пользователи работают в недоверенной среде — контур защиты теряет непрерывность.

В этом смысле необходимо учитывать два обстоятельства:

1. являются ли пользовательские рабочие места контролируемыми (это так, если ЦОД корпоративный и пользователи — сотрудники организации, но не так — если это ЦОД, предоставляющий облачные сервисы неограниченному кругу пользователей, использующих неограниченный круг компьютеров);
2. ПЭВМ или тонкие клиенты используются в качестве рабочих мест пользователей.

Легко заметить, что эти вопросы находятся в иерархической связи и дают следующие варианты систем:

1) Фиксированные рабочие места пользователей, контролируемые (управляемые) службой информационной безопасности (относится она к владельцу ЦОДа или нет — вопрос в данном случае второстепенный; достаточно знать, что какой-то службой информационной безопасности — контролируются).

• тонкие клиенты

2) неизвестный и неконтролируемый парк СВТ.

Неизвестный и неконтролируемый парк СВТ

Казалось бы, этот случай полностью исключает возможность гарантировать защищенность. И если ЦОД может доказать свою безопасность для использующих его клиентов, подтверждением своей защищенности теми или иными средствами, аттестатом соответствия, и так далее, то рассчитывать на такие же подтверждения со стороны пользователей, конечно, невозможно.

При этом такой незащищенный клиент подвергает опасности не только себя (считая, что он защищен, раз облако — защищенное), но и сам ЦОД, создавая «дыру в заборе».

Для доверия ЦОДа пользователю необходим механизм контроля его вычислительной среды, что невозможно ни при каких других обстоятельствах, кроме применения технологии доверенного сеанса связи (ДСС) и средств его обеспечения (СОДС).

Принципиально важно, чтобы средство защиты ЦОДа могло контролировать, действительно ли клиент подключился из доверенной среды!

Не всегда у пользователя «под рукой» оказывается одинаковый набор условий, но и не всегда ему нужен одинаковый набор услуг. Очевидно, что нельзя обеспечить безопасность любого сервиса на любом типе устройства в любое время в любом месте. Естественно ожидать, что в предоставлении части сервисов для некоторых устройств может быть отказано.

Отказ может последовать и в случае совокупности нетехнических факторов. Например, нахождение корпоративного абонентского устройства за пределами корпоративной беспроводной или проводной сети. А может и не последовать, если устройство при этом поддерживает работу в доверенном сеансе связи с необходимыми характеристиками.

Фиксированные рабочие места, контролируемые службой информационной безопасности

Этот случай проще потому, что на состояние клиентских рабочих мест проще влиять: средства защиты, предписанные проектной документацией на систему, будут установлены на рабочие места пользователей.

Рабочие места в общем случае можно разделить на ПЭВМ и тонкие клиенты.

ПЭВМ почти наверняка используются не только для взаимодействия с ЦОДом, но и автономно. И значит, они должны быть защищены полноценным программно-аппаратным комплексом СЗИ НСД (например, «Аккорд-Win32» или «Аккорд-Win64). В зависимости от политики безопасности запуск ВМ может требовать от пользователя, например, предъявления другого идентификатора.

Важно понимать, что даже в том случае, если единственной задачей пользователя ПЭВМ является работа с виртуальной инфраструктурой, все равно необходима установка именно ПАК, ограничиваться только АМДЗ — неверно, так как даже если пользователь не должен , он может использовать ОС своего компьютера для каких-либо не установленных ему задач, и контролировать потенциальных общий ресурс — необходимо.

Применение тонких клиентов как правило связано с тем, что локально задачи пользователями не выполняются или они минимальны. В то же время, ОС тонких клиентов тоже должна быть доверенной. И в этом случае целесообразно применять либо СОДС, либо — если пользователи работают в терминальном режиме с виртуальным терминальным сервером — ПАК для защищенной сетевой загрузки ОС терминальных клиентов (например, КАМИ-терминал или «Центр-Т»), обеспечивающий защищенное хранение и доверенную сетевую загрузку образов ПО терминальных станций с подтверждением их целостности и аутентичности.

При этом с точки зрения действий пользователей система практически не будет отличаться, с одной стороны, от построенной на базе СОДС, а с другой — от «реальной» терминальной системы: пользователь будет подключать USB-устройство, вводить PIN-код и ожидать загрузки терминала и старта сессии с терминальным сервером. Что он виртуальный — пользователь может и вовсе не знать. В рамках сессии то же USB-устройство выполняет функцию идентификатора пользователя в ПАК СЗИ НСД на серверной части системы.

В зависимости от назначения современные ЦОД можно разделить на закрытые, которые обеспечивают потребности в вычислительных мощностях конкретной компании, и ЦОД, предоставляющие сервисы в виде услуг пользователям.

Все системы ЦОД состоят из собственно ИТ- инфраструктуры и инженерной инфраструктуры, которая отвечает за поддержание оптимальных условий для функционирования системы.

ИТ-инфраструктура

Современный центр обработки данных (ЦОД) включает серверный комплекс, систему хранения данных, систему эксплуатации и систему информационной безопасности, которые интегрированы между собой и объединены высокопроизводительной ЛВС.

Наиболее перспективной моделью серверного комплекса является модель с многоуровневой архитектурой, в которой выделяется несколько групп серверов:

• · ресурсные серверы, или серверы информационных ресурсов, отвечают за сохранение и предоставление данных серверам приложений; например, файл-серверы;
• · серверы приложений выполняют обработку данных в соответствии с бизнес-логикой системы;
• · серверы представления информации осуществляют интерфейс между пользователями и серверами приложений; например, web-серверы;
• · служебные серверы обеспечивают работу других подсистем ЦОД; например, серверы управления системой резервного копирования.

К серверам разных групп предъявляются различные требования в зависимости от условий их эксплуатации. В частности, для серверов представления информации характерен большой поток коротких запросов от пользователей, поэтому они должны хорошо горизонтально масштабироваться (увеличение количества серверов) для обеспечения распределения нагрузки.

Для серверов приложений требование по горизонтальной масштабируемости остается, но оно не является критичным. Для них обязательна достаточная вертикальная масштабируемость (возможность наращивания количества процессоров, объемов оперативной памяти и каналов ввода-вывода) для обработки мультиплексированных запросов от пользователей и выполнения бизнес-логики решаемых задач.

Адаптивная инженерная инфраструктура ЦОД

Помимо собственно аппаратно-программного комплекса, ЦОД должен обеспечивать внешние условия для его функционирования. Размещенное в ЦОД оборудование должно работать в круглосуточном режиме при определенных параметрах окружающей среды, для поддержания которых требуется целый ряд надежных систем обеспечения.

Современный ЦОД насчитывает более десятка различных подсистем, включая основное и резервное питание, слаботочную, силовую и другие виды проводки, системы климатического контроля, обеспечения пожарной безопасности, физической безопасности и пр.

Довольно сложным является обеспечение оптимального климатического режима оборудования. Необходимо отводить большое количество тепла, выделяемого компьютерным оборудованием, причем его объем нарастает по мере увеличения мощности систем и плотности их компоновки. Все это требует оптимизации воздушных потоков, а также применения охлаждающего оборудования. По данным IDС, уже в текущем году расходы на снабжение центров обработки данных электроэнергией и обеспечение охлаждения превысят расходы на собственно компьютерное оборудование.

Перечисленные системы взаимосвязаны, поэтому оптимальное решение может быть найдено, только если при его построении будут рассматриваться не отдельные компоненты, а инфраструктура в целом.

Архитектура ЦОД

Сетевая архитектура центра обработки данных определяет его важные характеристики, такие как производительность, масштабируемость и гибкость в дальнейших конфигурационных изменениях. Ведь чем гибче настроена сеть в ЦОДе, тем быстрее возможно реагировать на запросы рынка, избегая лишних затрат. Основной инструмент разворачивания сети между серверами ЦОД - это коммутаторы, но есть различные пути настройки взаимодействия между серверами. Топологии характеризуются различными требованиями к аппаратным ресурсам, целью которых является увеличение производительность дата-центров. При этом существуют стандартные схемы подключения коммутаторов к серверам:

• · top-of-raсk - это модель коммутации, когда в каждой стойке стоит коммутатор, который обрабатывает трафик с серверов в этой стойке, и соединен с агрегирующим слоем (в стандартной трехзвенной модели)
• o Преимущества топологии top-of-rack:
  • § большинство коммутаций внутри шкафа;
  • § более простая в обслуживании и дешевая кабельная система;
  • § модульная архитектура «per rack» (каждый шкаф как отдельный независимый блок);
  • § подключение серверов с использованием дешевых SFP+ модулей 10GE (40 GE) для коротких расстояний.
• o Недостатки топологии top-of-rack:
• § много коммутаторов для управления, много портов на уровне агрегации;
• § ограничения масштабируемости (STP logical ports и емкость портов коммутатора агрегации);
• § много L2 трафика на уровне агрегации
• · end-of-row модель предполагает расположение коммутатора, условно, «в конце ряда стоек» и обслуживание им трафика с со всех серверов из нескольких стоек, расположенных в ряд
• o Преимущества топологи end/middle-of-row:
  • § меньше коммутаторов;
  • § меньше портов на уровне агрегации.
  • § надежные, зарезервированные и как правило модульные коммутаторы доступа;
  • § единая точка управления для сотен портов.
• o Недостатки топологи end/middle-of-row:
• § более дорогостоящая кабельная инфраструктура;
• § много кабелей - препятствие для охлаждения;
• § длинные кабели - ограничение на использованием дешевых подключений на 10/40 GE - «Per row» архитектура (каждый ряд как отдельный независимы блок).

Топология сети взаимодействия между серверами в ЦОДе имеет значительное влияние на гибкость и возможность переконфигурирования инфраструктуры датацентра. Так как данный вопрос получил отклик, как в академической, так и коммерческой средах, то в последнее время было разработано немалое число возможных топологий датацентров:

• · фиксированные (после развертывания сети в архитектуре невозможны изменения)
• o древовидные - стандартное широко используемое решение для ЦОД, когда каждый сервер подключен к одному коммутатору, находящемуся на низшем уровне топологии:
  • § Basiс tree
  • § Fat tree
  • · Al-Fares et al
  • · Portland
  • · Hedera
  • § Сlos network
  • · VL2
• o Рекурсивные - топологии, при которых сервера могут быть подключены к разноуровневым коммутаторам или к другим серверам:
• § DСell
• § BСube
• § MDСube
• § FiСonn
• · Гибкие (возможны изменения в топологии уже после развертывания сети) - принципиальное отличие состоит в том, чтобы использовать коммутаторы с оптическими портами. Помимо увеличения пропускной способности (до Тб/сек с использованием технологий спектрального уплотнения каналов - WDM), данное решение обладает высокой гибкостью при переконфигурации топологии сети.
• o Полностью оптические
• § OSA
• o Гибридные
• § С-Through
• § Helios

Сетевая инфраструктура ЦОДа

Подход к построению сетевой инфраструктуры должен обеспечивать должный уровень таких качественных параметров как:

• · надежность,
• · безопасность,
• · производительность,
• · управляемость,
• · масштабируемость.

В целях организации сетевой инфраструктуры ЦОД применяются такие классы оборудования, как:

• · Канальное оборудование, в число которых входят мультиплексоры CWDM и DWDM, транспондеры, конверторы и т.д.
• · Оборудование коммутации Ethernet, отличающееся высокой производительностью и высокой надёжностью, с функционалом маршрутизации и распределения нагрузки. В связи с тем, что в центрах обработки данных для бизнеса используется большой объем передаваемых данных, то предъявляются жесткие требования к оборудованию в плане производительности, функциональности и надежности.
• · Коммутационное оборудование стандарта FibreChannel. При этом могут быть использовано оборудования различных классов. Это зависит от выбранной архитектуры сетевой инфраструктуры ЦОД. Могут быть использованы как простейшие коммутаторы уровня рабочей группы или же оборудование уровня предприятия.
• · Программные комплексы, осуществляющие централизованный мониторинг и управление сетью, которые предоставляют единую точку управления всей сетевой инфраструктурой ЦОД за счёт графического интерфейса, а также расширенных средств визуализации наблюдаемых параметров, таких как состояние функциональных компонентов, загруженность ресурсов коммутаторов и даже некоторые параметры подключенных устройств, включая версию микропрограммного обеспечения интерфейсных карт FibreChannel в серверах.

Сеть современного ЦОД можно строить в один, два и три уровня, . У каждого варианта есть свои предназначения. Рассмотрим далее вкратце упомянутые выше варианты:

• · Одноуровневая архитектура подразумевает непосредственную связь между оборудованием ядра/агрегации и серверами
• · Двухуровневая архитектура (L1) подразумевает наличие между ядром/агрегацией ЦОД дополнительного уровня коммутаторов по схеме ToR (Top-of-Raсk).
• · Трехуровневый вариант архитектуры (L3), иногда его еще называют EoR (End-of-Row). В 3-уровневой архитектуре ЦОД дополнительный уровень коммутаторов агрегации добавляет гибкость в построении сетевых топологий и увеличивает потенциальную емкость решения по портам.

В настоящее время используемая большинством ЦОД сеть использует трехуровневую архитектуру с уровнями L2 (коммутация) и L3 (маршрутизация), которая предназначалась для систем с гораздо меньшими объемами передачи данных, таких как: корпоративная переписка, бухгалтерская отчетность, хранение документации, ведение документации предприятий. Проблема заключается в том, что подобная архитектура устанавливает ограничения на сегодняшний трафик, в котором большую долю занимает цифровой контент, и негативно влияет на мобильность виртуальных машин, что приводит к увеличению капитальных и операционных расходов на поддержание работоспособности ЦОД, а также росту энергопотребления.

Сейчас набирают популярность такие варианты подключения, как оптоволоконный Ethernet (FCoE - Fibre Сhannel over Ethernet) и новые разработки высокоскоростного Ethernet (1 Гбит/с и 10Гбит/с). Традиционное решение в ЦОД предполагает создание двух сетей - сеть передачи данных на базе протокола Ethernet и сеть хранения данных на базе протокола Fiber Channel (FC).

В последние годы получила развитие другая технология - конвергентных сетей. Конвергентная сетевая инфраструктура - это единая сеть, объединяющая сеть передачи данных и сеть хранения данных, обеспечивающая доступ к системам хранениям данных с использованием любых протоколов - как блочных, так и файловых. Такое решение позволяет не только в два раза сократить количество сетевых подключений, но и обеспечить единый уровень надежности и доступности для всей сетевой инфраструктуры.

В основе решения лежит протокол Fiber Channel over Ethernet (FCoE), обеспечивающий передачу FC-трафика через Ethernet-транспорт. При помощи DataCenterBridging (DCB), Ethernet превращается в протокол без потерь, который подходит для трафика FCoE, обеспечивающего традиционную в SAN-сетях изоляцию фабрик (Fabric A и Fabric B). Помимо этого унифицированная коммутация позволяет упростить управление и сэкономить на оборудовании, электропитании, а так же на кабельной инфраструктуре.

Развертывание среды виртуализации в ЦОД

В текущий период экономической нестабильности компании пытаются всеми способами сократить свои операционные издержки. В случае с развитыми ИТ- инфраструктурами данная деятельность не должна иметь негативных последствий для информационных ресурсов организации. Внедрение платформы виртуализации позволит избежать этих последствий, так как оптимизация по средствам виртуализации имеет ряд преимуществ:

• * Увеличение коэффициента использования аппаратного обеспечения
• * Уменьшение затрат на замену аппаратного обеспечения
• * Повышение гибкости использования виртуальных серверов
• * Обеспечение высокой доступности серверов
• * Повышение управляемости серверной инфраструктуры
• * Экономия на обслуживающем персонале
• * Экономия на электроэнергии

Виртуализация сетевой инфраструктуры ЦОД включает в себя:

• · Виртуализацию физической сети;
• · Построение виртуальной сети внутри виртуальной серверной среды.
• · Виртуализация физической сети.

Благодаря технологиям виртуализации физическая сетевая инфраструктура ЦОД разбивается на множество виртуальных срезов, представляющие собой виртуальные ЦОД.

Примерами использования такого разделения может быть использование сети для разных заказчиков, что больше подходит для провайдеров, а также сегментация сети для создания различных зон безопасности, что является актуальным для корпоративного применения.

Примерами зон безопасности могут быть:

• · корпоративный сегмент;
• · защищенный сегмент PCI DSS;
• · тестовый сегмент сети;
• · демилитаризованная зона.

Виртуальные сегменты по умолчанию изолированы между собой. Для возможного обмена данными между ними используются межсетевые экраны. Для виртуализации физической сетевой инфраструктуры ЦОД используются следующие основные технологии:

• · виртуализация устройства (VDC для Nexus 7000, виртуальные контексты межсетевых экранов, IPS, traffic domain для балансировщика Citrix);
• · виртуализация таблицы маршрутизации (VRF), или виртуализация маршрутизатора;
• · VLAN для L2 сегментации.

Информационная безопасность ЦОДа

Подход к обеспечению безопасности информации, хранимой (обрабатываемой) в ЦОД, должен исходить из требований конфиденциальности, доступности и целостности. Концепции и стандарты, описанные в Глава 1, будут аналогичны и для защиты информации центров обработки данных.

Основные этапы обеспечения безопасности ЦОД:

• · Определение объектов защиты, типичный список которых включает в себя:
  • o Информация, хранимая (обрабатываемая) в системе;
  • o Оборудование;
  • o Программное обеспечение.
• · Построение модели угроз и модели действий нарушителя;
• · Оценка и анализ рисков (возможные риски приведены ниже):
  • o Сбои и отказы программно-аппаратных средств;
  • o Угрозы со стороны обслуживающего персонала;
  • o Ошибка руководства организации в связи с недостаточным уровнем осознания ИБ;
  • o Утечка информации;
  • o Нарушение функциональности и доступности персонала;
• · Разработка и внедрение в системы ЦОД методов и средств защиты.

В отношении территориально разнесенных дата-центров необходимо сформулировать дополнительные требования к системам защиты информации:

• · Обеспечение конфиденциальности и целостности данных передаваемых по каналам связи;
• · Поддержка единого адресного пространства для защищаемой LAN ЦОД;
• · Быстродействие и производительность;
• · Масштабируемость;
• · Отказоустойчивость;
• · Соответствие требованиям регулятора.

Катастрофоустойчивость ЦОДа

В существующих условиях повышения угроз различного характера: природного, техногенного, террористического - становится критически важным аспектом резервирование систем хранения и обработки данных, используемых в организации, в интересах обеспечения непрерывности бизнес-процессов.

В случае возникновения катастрофы вполне вероятно полное физическое разрушение конструкции центра обработки данных, поэтому, устойчивость дата-центра к катастрофам природного характера обеспечивается развертыванием территориально удаленного (на расстоянии от нескольких сотен км) резервного центра обработки данных.

Распределение ЦОД по нескольким площадкам требует организации следующих компонентов:

• · Резервируемые каналы связи
• · Репликация данных файловых хранилищ;
• · Разработка плана действий резервного копирования и восстановления систем;

Программно-аппаратный комплекс одного дата-центра, работающего в комплексе распределенных ЦОДов, может обслуживать бизнес-приложение в рамках одной площадки и обладать локальной отказоустойчивостью, т. е. способностью к восстановлению при единичных отказах. При этом инженерные системы ЦОД также должны обладать свойствами надежности и возможности обслуживания без остановки -именно эти характеристики отличают ЦОД различных классов.

Для защиты от катастроф (аварий на уровне всей площадки) предназначено катастрофоустойчивое решение, которое включает в себя два или более ЦОД. Задача - активация приложения в ручном или автоматическом режиме с актуальными данными на запасной площадке.

Возможны две основные стратегии использования распределенных ЦОД:

• · «активный/активный» - инфраструктурные приложения и сервисы распределены между площадками, и пользователи работают с ближайшим ЦОД;
• · «активный/пассивный» - при которой приложения централизованы, и пользователи работают с основным узлом. В случае отказа системы, нагрузка автоматически переключается на резервный ЦОД.

При определении географии размещения дата-центров следует учитывать распределение пользователей сервисов, предоставляемых компанией. Если все пользователи приложения размещаются в том же здании, что и ЦОД, бессмысленно резервировать площадку - в случае аварии локация в любом случае будет недосупна. Если география пользователей рассеяна в национальном или мировом масштабе, то и стратегия защиты должна предусматривать возможность восстановления соответствующего масштаба в случае катастрофы.

Крупные банки и другие коммерческие организации в силу особенностей своих отраслей прорабатывают стратегию защиты в масштабах страны. Лучшие практики описываются формулой 2СЗС: 2 сities, 3 сenters. Это означает, что в городе основного базирования находятся два ЦОД в метро-радиусе (т. е. нескольких десятков километров), дублирующих друг друга в синхронном режим, а в другом городе, на расстоянии не менее нескольких сотен километров, располагается третий ЦОД на случай региональной катастрофы в городе основного базирования.

Переключение между двумя основными площадками может быть быстрым и автоматическим, а переключение на удаленную площадку - медленным и ручным. Это связано с тем, что соединения между площадками должны иметь очень низкие показатели задержек (Latency), так как большие задержки отрицательно сказываются на производительности всей системы. А поскольку с увеличением расстояния задержки увеличиваются, расстояние между ЦОД не должно превышать 100 км. Иначе уже не возможно использовать технологию синхронной репликации. Ключевые транзакционные данные на основных площадках поддерживаются в синхронном состоянии, а на удаленной площадке, скорее всего, будет некоторое отставание. (см. подробнее раздел «Синхронизация данных в комплексе ЦОДов»).

Механизмы обеспечения надежности и защищенности сфере катастрофоустойчивости

Решения данной задачи могут быть реализовано как аппаратно, так и программно:

• · На рынке представлены высокодоступные аппаратные платформы, в которых функции избыточности и восстановления при сбоях реализованы на системном уровне. Исторически в данном сегменте сильны позиции мэйнфреймов. Это актуально прежде всего для тех предприятий, которые применяют подобные платформы много лет.
• · Наиболее предпочтительны решения, реализующие функции отказо- и катастрофоустойчивости непосредственно на прикладном уровне либо на уровне программной платформы (ПО промежуточного уровня). Такая реализация позволяет отрабатывать сбои с минимальными потерями, задержками и накладными расходами. Общее правило: чем выше уровень, на котором реализуются функции высокой доступности, тем лучше. Уровень платформы - наиболее подходящий, поскольку в данном случае разработчики прикладной функциональности изолированы от непрофильных для них низкоуровневых системных вопросов.

Наибольшее влияние на механизмы обеспечения надежности и защищенности оказали следующие технологии:

• · серверная виртуализация, позволяющая свести восстановление "упавшего" сервера к копированию файла с его образом из одного места в другое вместо восстановления физического сервера путем замены его сбойных компонентов или полной замены. Это уменьшает время восстановления в разы, а в случае плановых манипуляций с сервером - до нуля за счет Live Migration, позволяющей переносить продуктивную нагрузку с одного виртуального сервера на другой вообще без прерывания сервиса;
• · виртуализация систем хранения данных - обеспечение с помощью аппаратных или программных виртуализаторов СХД одинаковой (параллельной) видимости дисковых ресурсов и файлов для серверов, расположенных как в главном, так и в резервном вычислительных центрах. С учетом того, что виртуальный продуктивный сервер обычно представляет собой файл, применение виртуализатора позволяет существенно упростить общую конструкцию системы, повышает надежность и упрощает взаимодействие продуктивной и резервной систем;
• · дедупликация - значительное уменьшение объема трафика при передаче данных между главным и резервным центрами, что повышает надежность и снижает требования к каналам связи.

Важная оставляющая обеспечения защищенности - планы аварийного восстановления как со стороны ИТ (Disaster Reсovery Plan,) так и со стороны бизнеса (Business Сontinuity Plan). Последний предполагает наличие плана действий в случае утраты бизнесом основного инструмента. Оба плана должны периодически тестироваться согласно разработанному в организации регламенту.

Специфика территориально разнесенных ЦОДов

Основные отличия катастрофоустойчивого ЦОД от традиционного заключаются в том, что:

• · Он создается на базе двух или более территориально удаленных друг от друга площадок, которые объединены высоконадежными каналами связи.
• · Требуется внедрение целого ряда специализированных решений, например системы репликации данных и механизма аварийного восстановления информационных систем.
• · Все должно быть настроено таким образом, чтобы для пользователей переключение с площадки на площадку происходило предельно гладко и незаметно.
• · Эксплуатация катастрофоустойчивого решения ощутимо дороже, чем традиционного ЦОД, хотя бы потому, что для обслуживания нескольких площадок требуется больше сотрудников. Кроме того, чтобы обеспечить непрерывность бизнес-процессов и добиться бесшовности перехода, надо регулярно проводить учения (тестовые проверки) по переключению с одного комплекса серверов на другой.

При проектировании нужно помнить о пропускной способности каналов связи - они должны обеспечивать оперативную передачу данных между ЦОД, соответствующую требованиям SLA в части потери данных и сроков восстановления. Помимо этого должна быть разработана детальная программа эксплуатации дата-центра, которая должна включать:

• · поиск, подбор и должное обучение персонала объекта,
• · наличие хорошо работающих поставщиков,
• · безопасность и охрану труда,
• · аварийные и рабочие процедуры,
• · четкий график работ,
• · управление инцидентами и изменениями на объекте,
• · профилактическое обслуживание,
• · компьютерные системы мониторинга и обеспечения.

Что касается сетевой инфраструктуры территориально распределенных ЦОДов, то сейчас тенденция такова, что все больше заказчиков при построении своих сетей ориентируются на построение сетей передачи данных второго уровня (L2) с плоской топологией. В сетях ЦОД переход к ней стимулируется увеличением числа потоков «сервер - сервер» и «сервер - система хранения». Такой подход упрощает планирование сети и внедрение, а также снижает операционные расходы и общую стоимость вложений, делает сеть более производительной.

Уязвимость территориально распределенных ЦОДов

Консолидация ИТ-сервисов в ЦОД имеет множество преимуществ: эффективное использование вычислительных ресурсов, высокая доступность критичных сервисов, гибкость и масштабируемость ИТ-инфраструктуры. Однако, ЦОДы также стали и чрезвычайно привлекательной мишенью для злоумышленников. Особенно перспективной точкой взлома выглядят магистральные каналы, соединяющие ЦОДы, ведь через них передается колоссальное количество данных. Одна часть этих данных является ценностью сама по себе (например, персональные или коммерческие данные), другая часть позволяет узнать больше о внутренней структуре ЦОД, используемых версиях операционных систем и программного обеспечения и прочей ценной служебной информации. В результате злоумышленники могут получить доступ к ресурсам ЦОД через известные или новые уязвимости, а также вследствие ошибок, допущенных техническим персоналом при конфигурировании оборудования или программного обеспечения (ПО).

Становится очевидно, что каналы, соединяющие ЦОД между собой, необходимо защищать как от пассивного вмешательства (т.е. прослушивания данных), так и от активных действий злоумышленников (т.е. попыток изменить передаваемую информацию или не допустить её передачи).

Одним из вариантов такой защиты может служить физическая защита канала передачи данных. Она может хорошо работать в том случае, если канал проходит в пределах одного здания или, по крайней мере, по закрытой частной территории. В тех же случаях, когда ЦОДы географически удалены друг от друга, физическая защита становится очень дорогой, а зачастую совсем невозможной. В такой ситуации приходится использовать недоверенные каналы связи и применять криптографическую защиту передаваемых данных.

Важно также учесть, что если в информационной системе компании обрабатывается информация, подлежащая обязательной защите в соответствии с российским законодательством (например, персональные данные), то необходимо использовать сертифицированные средства защиты, прошедшие процедуру оценки регуляторами - ФСБ России и ФСТЭК России.

Синхронизация данных в комплексе ЦОДов

Для синхронизации массивов данных в распределенных ЦОД применяются синхронные и асинхронные технологии репликации. В первом случае данные параллельно записываются на исходную и удаленную системы хранения. Запрос записи на исходной системе подтверждается лишь по завершении процесса записи на целевой системе. Во втором случае процессы записи на исходной и удаленной системах могут осуществляться независимо друг от друга. Среди прочих различают методы на базе снимков (Snapshot), уровне блоков и байтов. В Таблица 4 приведено сравнение технологий репликации по следующим критериям:

• · RPO (Reсovery point objeсtive) - допустимая точка восстановления
• · Допустимое расстояние для работы технологии
• · Уровень защиты информации
• · Зависимость производительности решения от расстояния/объема данных
• · Необходимый уровень пропускной способности коммуникационных каналов

В среде локальных и городских сетей (Metropolitan Area Network, MAN) эти методы, как правило, функционируют очень хорошо. Проблемы появляются, когда увеличивается задержка на линиях передачи, а в распоряжении пользователя имеется только глобальная сеть с гораздо более узкой полосой пропускания по сравнению с локальной/городской сетью.

ЦОДы.РФ

С тем, что дата-центр должен быть обеспечен средствами безопасности, никто не спорит. Однако зачастую имеются в виду системы информационной защиты, в то время как о физической безопасности нередко задумываются в последнюю очередь по причине экономии бюджета. Тем не менее средства физической защиты не менее важны для современного ЦОДа, чем информационная защита. Но какие решения будут наиболее актуальны в российских реалиях? Чего следует опасаться в первую очередь и как наиболее эффективно предотвратить возможные инциденты? На вопросы журнала ЦОДы. РФ в рамках рубрики «Круглый стол» отвечает Алексей Красов, начальник проектного отдела дирекции комплексной безопасности группы «Астерос».

Алексей Красов, начальник проектного отдела дирекции комплексной безопасности группы «Астерос»

Какие угрозы физической безопасности вы считаете наиболее реальными для российских ЦОДов? От чего необходимо защищаться в первую очередь?

Алексей Красов : Трудно себе представить, что в современных реалиях группа злоумышленников попытается «в лоб» атаковать ЦОД. Наиболее вероятную угрозу представляет собой внутренний нарушитель, который может самостоятельно произвести несанкционированные действия с оборудованием (изъятие информации, ее копирование или повреждение, внедрение вредоносного ПО и т. д.) либо предоставить доступ третьим лицам непосредственно в помещение дата-центра. Как известно, такие возможности есть у работников собственной службы безопасности или ИТ-службы — тех, кто имеет практически безграничные пользовательские права. В связи с этим сегодня основной задачей физической защиты ЦОДа становится выявление внутренних нарушителей и создание им препятствий.

Какие элементы обеспечения физической безопасности действительно необходимы в современном ЦОДе, а что является бессмысленной тратой денег?

А. К. : Для обеспечения безопасности ЦОДа требуется стандартный набор технических средств, который применяется и на других объектах. Во-первых, речь идет о системах видеонаблюдения, при этом области обзора камер по возможности должны «пересекаться»: если нарушитель выводит из строя одну камеру, другие продолжают фиксировать действия злоумышленника. Во-вторых, это СКУД - организация вложенной структуры СБ, вплоть до обеспечения контроля доступа к каждой стойке. Использование услуг вооруженной охраны - это вопрос анализа рисков, стоимости последствий нарушения физической безопасности, оценки расходов на внедрение и содержание, то есть применения риск-ориентированного подхода.

Нужно ли выделять отдельные зоны (периметры) безопасности в дата-центре?

А. К. : К данному вопросу необходимо подходить с позиции комплексной оценки рисков. Если ЦОД находится на хорошо охраняемой, недоступной для посторонних лиц территории, тогда вложенных рубежей безопасности может быть меньше. Другое дело, если объект находится в общественном здании, доступ к которому имеют посторонние люди. В этом случае, естественно, рубежей безопасности должно быть больше. Однако если мы говорим о внутреннем нарушителе, число периметров безопасности становится непринципиально. Сколько бы их ни было, злоумышленник будет готов их преодолеть. В этом случае должны быть предусмотрены дополнительные организационные меры, а также внедрены системы контроля за действиями операторов и администраторов системы, сотрудников охраны и т. д.

Отличается ли подход к организации физической безопасности дата-центра для российских и западных объектов?

А. К. : Сегодня различия в подходе к обеспечению физической безопасности практически стираются: российские нормативы постепенно приближаются к европейским и американским. Если говорить о технической стороне вопроса, то в западных странах получили распространение средства нелетального воздействия. Они применяются не только в дата-центрах, но и в коммерческих компаниях (ювелирных магазинах, мелких банках и т. д.). Как правило, в охраняемом помещении устанавливаются капсулы со сжиженным газом, стробоскопы и динамики. При срабатывании тревожной сигнализации объект за несколько секунд заполняется непрозрачным дымом, включается сирена с уровнем громкости 120 дБ (точка болевого порога). В этой ситуации человек абсолютно дезориентируется. В нашей стране, как правило, такие средства используются в основном на критически важных объектах, в том числе военных.

На какие нормативные документы (российские и зарубежные) стоит ориентироваться при построении системы физической безопасности дата-центра?

А. К. : На данный момент ни в российской, ни в общемировой практике не существует нормативов по построению СБ именно в ЦОДах. Соответственно, здесь надо полагаться на стандартные нормативные документы, которые регламентируют создание систем физической защиты в целом, и на опыт интегратора, который занимается их внедрением.

Каковы последние тенденции в сфере организации физической безопасности дата-центров?

А. К. : Рынок дата-центров находится в стадии непрерывного роста, однако с точки зрения технических решений защиты радикальных изменений не произошло. В целом есть тенденция к тому, что заказчики начинают больше внимания уделять информационной безопасности. Ведь получить удаленный доступ к данным и оборудованию в ЦОДе гораздо проще и менее накладно, чем, скажем, организовать вооруженную группу для физического захвата объекта.

Спасибо за интерес к группе «Астерос»! Чтобы мы могли предоставить вам информацию по теме «Физическая защита ЦОДа - понятие комплексное», заполните, пожалуйста, поля «E-mail» или «Телефон».

Безопасность ЦОД - немаловажное условие эффективности его работы, а значит и качества бизнес-процессов предприятия. Более того, в современных условиях под безопасностью ЦОД, как правило, понимается не только обеспечение защиты всех его подсистем от пожара, взлома и т. д., но и повышение дисциплины труда персонала, а также автоматизация таких серьезных и трудоемких процессов, как, например, кадровый учет. Именно поэтому нельзя сказать, что какая-либо из интегрированных систем, входящих в состав единого комплекса безопасности, является первоочередной и наиболее важной: все они функционируют в тесной взаимосвязи друг с другом.

Основные компоненты комплексной системы безопасности ЦОД и их функции

Итак, современная практика организации вычислительных центров определяет несколько подсистем, на основе которых обеспечивается безопасность ЦОД. При этом, одновременно в ход идут как «физические», так и «программные» средства защиты. Под «физическими» средствами, как правило, понимаются:

• охранное видеонаблюдение
• охранно-пожарная сигнализация
• система голосового оповещения
• система контроля и управления доступом
• системы жизнеобеспечения ЦОД и правильность его местоположения

Системы охранного видеонаблюдения позволяет операторам видеонаблюдения и сотрудникам службы безопасности осуществлять дистанционный визуальный мониторинг всех «проблемных» зон объекта. Преимущество видеонаблюдения определяется уже тем, что у Вас не будет надобности приставлять к каждому помещению своего охранника: контроль охраняемых зон ведется дистанционно, в круглосуточном режиме без выходных и праздников. Кроме того, архивирование видеоинформации позволяет в любое время организовать ретроспективный просмотр того или иного происшествия с целью проведения расследования. Также видеонаблюдение повышает трудовую дисциплину персонала, исключая нерациональное использование рабочего времени, производственные хищения, промышленный шпионаж и т. д.

К видеонаблюдению тесно примыкает система контроля и управления доступом (СКУД), осуществляющая автоматическое управление входами-выходами и призванная разграничивать доступ тех или иных лиц на определенные территории, вести подсчет посетителей, фиксировать их перемещения по территории и т. д. В связке с видеонаблюдением данная система также способна распознавать лица, цвета, автомобильные номерные знаки и т. п. и на основе полученной информации «принимать решение» о доступе объекта или предмета, обладающего данными признаками, к определенной зоне.

Система светозвукового оповещения осуществляет оперативное реагирование на полученную от системы охранно-пожарной сигнализации информацию о возгорании, проникновении нарушителя и любом другом чрезвычайном происшествии, а затем передает соответствующие тому или иному сценарию звуковые и световые сигналы при помощи сирен, а также указывает кратчайшие безопасные пути эвакуации людей при помощи световых табло.

Важным фактором обеспечения безопасности ЦОД является своевременное установление факта пожара, задымления и т. п. и оперативное оповещение о нем службы безопасности. Таким образом, список дополняет автоматическая система пожаротушения - один из самых эффективных методов оперативного экстренного пожаротушения. Данная система воздействует на очаг возгорания еще в процессе его зарождения, позволяя избежать распространения огня на большой площади и, соответственно, минимизируя ущерб.

И, наконец, важную роль играет размещение ЦОД в соответствии с определенными правилами. Так, например, система бесперебойного питания существенно продлевает срок эксплуатации оборудования ЦОД. И даже такой «пустяк», как глухие стены без окон, способен предотвратить не только вторжение злоумышленника, но и проникновение в помещение излишней пыли, губительно сказывающейся на работе сложной вычислительной системы ЦОД.

Что же касается «программных» средств, политика безопасности ЦОД, прежде всего, предполагает надежную защиту проходящих через ЦОД данных посредством многоуровневого шифрования информации, аутентификацию пользователей, установку усовершенствованных антивирусных продуктов, строгое разграничение доступа персонала к определенным данным и, конечно же, функционирование сложной системы бэкапов, благодаря которой система оперативно восстанавливает сама себя даже после удачной попытки взлома.

Опираясь на многолетний опыт работы в области создания охранных систем и ЦОДов различного масштаба и назначения, компания «Флайлинк» разработает и реализует продуманный, надежный и эффективный охранный комплекс, с тем, чтобы безопасности ЦОД, равно как и Вашему предприятию в целом, ничто не угрожало.

Центр Обработки Данных (или Дата Центр) по праву называют сердцем корпоративной сети современной компании – промышленной, телекоммуникационной или работающей в области финансов.

Основное предназначение ЦОД состоит в консолидированной обработке и хранении данных, поддержании заданного режима автоматизации бизнес-задач предприятия, а также в обеспечении сохранности корпоративных баз данных и иной информации, как правило, представляющей высокую коммерческую ценность. ЦОД - стратегически важный для компании объект, требующий особого подхода и особых правил, поэтому это понятие включает в себя:

• масштабируемый комплекс программных и аппаратных средств, сосредоточенных в специально оснащенном помещении,
• специально разработанный свод организационных мер и политик безопасности,
• соответствующим образом подготовленный персонал.

Для многих организаций наличие ЦОД является признаком выхода на качественно новый уровень зрелости и управления - на первых этапах развития они отдают предпочтение серверным комнатам, организованным, как правило, в непосредственной близости от головного офиса. Однако наступает момент, когда в компании "вдруг" лавинообразно возрастает объем информации, количество узлов, где она концентрируется, а также численность применяемых бизнес-приложений. Использование мощных ERP- и CRM-систем, СУБД, внутренних и публичных порталов, средств корпоративного обмена данными начинает диктовать высокие требования к универсальности, надежности, бесперебойности работы и защищенности ИТ-инфраструктуры компании – при одновременном снижении стоимости владения. Это - верный признак того, что пришла пора задуматься о модернизации исторически сложившейся ИТ-архитектуры и перейти к использованию "взрослого" ЦОД.

В ряде случаев компании изначально строят свой бизнес и ИТ-инфраструктуру с использованием преимуществ ЦОД. Как правило, это крупные телекоммуникационные, финансовые, промышленные структуры, активно развивающие свою региональную сеть.

Различают корпоративные и хостинговые Дата Центры (ДЦ или ЦОД). В первом случае ЦОД изначально создается для решения задач автоматизации бизнес-процессов самого заказчика и владельца ЦОД. Во втором – владелец ЦОД выделяет организациям стойко-места или кластеры, которые заполняются оборудованием арендатора. При этом все заботы по поддержанию благоприятного для оборудования климата и энергообеспечения принимает на себя владелец ЦОД. Возможны варианты так называемых смешанных ЦОД, при которых одна часть Дата Центра ориентирована на обеспечение бизнес-процессов владельца, а другая – для решения задач арендаторов.

Есть еще один критерий, по которому отличают целевое назначение ЦОД – его текущую загрузку. С этой точки зрения ЦОД может быть основным, резервным или вынесенным за пределы региона или даже страны. Основной ЦОД, как это и следует из его статуса, принимает на себя всю нагрузку в штатном режиме. Он – ядро информационной и телекоммуникационной системы Резервный служит для того, чтобы обеспечить привычный режим предоставления сервисов в случае выхода из строя, профилактики или горячей замены оборудования, установленного в основном ЦОД. Третий вариант ЦОД – для тех организаций, которые полностью исключают для себя возможность отказов в обслуживании своих клиентов.

Совершенно очевидно, что, несмотря на разный статус и режим функционирования, ЦОД всегда является стратегически важным объектом , к оснащению и безопасности которого предъявляются особые требования. Эти требования зафиксированы в международном стандарте TIA 942 , на который сегодня ориентируются специалисты, работающие в России.