КНИГИ        регистрация / вход

Проблема критического падения производительности ИТ системы в час пик, при условии нехватки оперативных серверных ресурсов

СОДЕРЖАНИЕ: В энергетических системах как впрочем, и в ИТ системах стоят схожие проблемы обработки неравномерной нагрузки на системы по времени.

Недавние события, связанные с крупнейшим энергетическим кризисом в Москве натолкнули меня на мысль о написании этой статьи. На первый взгляд кажется, что общего между энергетической сетью и промышленной ИТ системой? Общего очень много. В первую очередь, это распределенные системы с большим количеством пользователей. У этих систем схожая сетевая топология , схожие проблемы и методы их разрешения. Я не буду вдаваться во все подробности, опишу основные моменты, касающиеся неравномерной нагрузки на систему по времени, а проще говоря, о «часах пик».

В энергетических системах как впрочем, и в ИТ системах стоят схожие проблемы обработки неравномерной нагрузки на системы по времени. С одной стороны не эффективно тратить большие деньги на модернизацию оборудования, если подобная система постоянно загружена в несколько раз меньше своей максимальной рабочей мощности.

С другой стороны просто усреднять значение загрузки и сравнивать с максимальной мощностью системы и на основании этого делать выводы об эффективности системы в данном случае категорически нельзя. Дело в том, что даже небольшое превышение нагрузки относительно максимальной мощности системы может привести либо к отключению автоматикой, либо к выходу из строя оборудования.

На помощь здесь приходят автоматизированные системы позволяющие распределять нагрузку между подсистемами. Таким образом, увеличивается общая эффективность использования. Но здесь есть и отрицательные моменты. Если вышла какая либо из подсистем из строя и при этом потоки не были перенаправлены правильно (хотя иногда это не имеет значения, просто ресурсов не хватает в любом из направлений) в этом случае есть большая вероятность цепной реакции отключения или выхода из строя подсистем. Происходит ситуация, когда подсистема работает на пределе своих возможностей, а плюс к этому, на нее переключают дополнительную нагрузку в виде подключений пользователей вышедшей из строя другой подсистемы. После превышения порога нагрузки происходит авария или автоматика отключает подсистему и предыдущая ситуация происходит со следующей подсистемой.

В вышеописанной ситуации необходимо вовремя принять решение об отключении определенного количества пользователей. Чем раньше будет принято это решение, тем меньшими потерями можно обойтись. Данное решение сложно принять без отсутствия эффективных инструментов мониторинга. Ведь нужно понять количество пользователей, которых необходимо отключить. Если отключить слишком мало то этот «снежный ком» не удастся остановить. Отключение слишком большого количества пользователей плохо само по себе. Отключать пользователей нужно не просто по количеству, а желательно по приоритетам. Например, важные объекты должны быть отключены в последнюю очередь.

В ИТ системах оборудование хоть и не выходит из строя, но аналогии можно привести те же самые. Пользователям по большому счету не важно почему ИТ система потеряла часть функциональности, или не работает вообще. Произошло ли это потому, что сервер вышел из строя, или потому, что серверные мощности перегружены, - результат один и тот же – система не функциональна (по крайней мере в полном объеме). Когда подобная ситуация может произойти в ИТ системах? Во-первых, это происходит исключительно в час пик, когда запас прочности серверных мощностей невелик. Не буду рассказывать о принципах оптимизации алгоритмов работы SQL сервера с данными. Просто поделим часть информации и часть серверных ресурсов на оперативные и не оперативные.

С точки зрения производительности ИТ систем важно, каким количеством свободных оперативных ресурсов располагает сервер. Если на обработку запроса сервером оперативных ресурсов хватает, то он будет выполнен с нормальной скоростью. В случае, когда свободных оперативных ресурсов нет, то этот же самый запрос будет обработан за гораздо больший интервал времени. Под свободными оперативными ресурсами можно понимать, например, объем свободной оперативной памяти (но не только).

При использовании долгих, затрагивающих большое количество ресурсов, транзакций сервер занимает под их обслуживание, определенное количество оперативных ресурсов. Это обуславливается условием целостности транзакций. При параллельной обработке большого количество длинных транзакций может наступить момент, когда общая производительность сервера упадет, и большинство серверных операций станет выполняться медленнее. При разборе таких ситуаций нельзя не учитывать блокировочный механизм MS SQL сервера. Причиной длительного интервала времени обработки транзакции может стать неправильный или неэффективный блокировочный механизм. В случае если в транзакции встречается блокировка, то эта транзакция становится в очередь и будет обработана, когда заблокированный ресурс станет доступен. Заблокированный ресурс освобождается, как правило, когда закрывается другая транзакция, которая его захватила.

Таким образом, у нас может выстроиться определенная очередь транзакций, которые не могут быть закрыты и обработаны вследствие работы блокировочного механизма. Каждая открытая транзакция, как говорилось уже ранее, отнимает определенное количество оперативных ресурсов. В случае, когда эта очередь достигнет большого размера, оперативных ресурсов может не остаться. Начнется общая деградация производительности. При этом эта очередь в большинстве случаев будет только увеличиваться, так как новые запросы от пользователей продолжают поступать, а производительность упала.

Эту ситуацию можно разрешить, только приняв вовремя решение об отключении определенного количества пользователей, либо об ограничении входного информационного потока. Чем раньше будет принято это решение, тем меньше вырастет очередь и меньше пользователей необходимо будет отключить. Пользователей нужно отключать на основании анализа. Их не должно быть слишком мало иначе не удастся разобрать очередь и таким образом освободить необходимое количество оперативных ресурсов. В этом случае небольшой очередной всплеск активности может увеличить входной информационный поток и ситуация повторится вновь. Отключаемые пользователи должны обладать определенным приоритетом. Например, главному бухгалтеру, наверное, не понравится что вы отключили его в момент обработки важной транзакции, в то время как секретарь успешно проводил документ который мог бы запросто быть проведенным вечером. Как правило, в самом наличии очереди обрабатываемых транзакций в MSSQL ничего плохого нет. Плохо тогда когда размер этой очередь превышает определенный порог.

Стандартного механизма разрешения подобной ситуации в MSSQL нет, единственный механизм - это механизм эскалации блокировок, когда сервер сам принимает решение об увеличении уровня блокировки в случае ее слишком маленькой гранулярности. Подобный механизм не позволяет решать проблему в полном объеме.

Для эффективного разрешение данной проблемы необходимо наличие развитых средств мониторинга систем , когда оперативно собирается информация о наличии свободных серверных ресурсов. Также необходимы средства нотификации, которые позволят получить ответственному сотруднику информацию о критической ситуации максимально оперативно. Определить приоритет транзакции можно, реализовав несложный дополнительный протокол. Фактически необходимо в начале «важных» транзакций в дополнительную таблицу записывать соответствие между степенью определяющей приоритет и уникальным идентификатором процесса (@@spid). После этого отключение сессий можно будет предпринимать более эффективно и с меньшими рисками.

Как определить количество пользователей, которых необходимо отключить? Предположим, вся очередь составляет порядка 30-и пользователей. Сколько пользователей нужно отключить? Десять, пятнадцать, а может и все двадцать? К сожалению универсального алгоритма не существует. Это зависит как правило от специфики ИТ системы. Здесь необходимо найти тонкий баланс.

Как часто возникают подобные ситуации? Здесь все определяется вероятностью возникновения подобной ситуации. На вероятность влияют такие основные факторы : объем свободных оперативных ресурсов (естественно зависит от мощности серверного оборудования), объем входящего информационного потока, блокировочный механизм (точнее специфика его использования в текущей БД), время обработки транзакций и т.п. Возникает эта ситуация довольно редко.

Наиболее актуальны подобные ситуации будут для 1С 8.0. так как там блокировочный механизм отличается от блокировочного механизма 1С 7.7. Причиной может стать как неожиданный всплеск активности пользователей (все одновременно начали проводить документы), а также ситуация когда был запущен какой то специфический большой отчет или открытая длинная транзакция. Длительно заблокированный ресурс, через который проходит большинство транзакций тоже может справоцировать подобную ситуацию.

Вот один из подходов к идентификации и отключению подобных процессов. Простейший вариант - отключение сессий с открытыми блокировками (в таком варианте будет отключено слишком много пользователей):

declare @str char(4000)

declare @Spid char(20)

declare Mylog cursor local fast_forward for

select Spid from sysprocesses where (kpid>0 or blocked>0) and spid<>@@spid

open Mylog

fetch Mylog into @Spid

while (@@fetch_status<>-1)

begin

set @str='kill '+rtrim(@Spid)

select @str

exec(@str)

fetch Mylog into @Spid

end

close Mylog

deallocate Mylog

Возникает вопрос, а можно ли вообще обойтись от отключений? Да это возможно. Для этого в блокировочном механизме необходимо учитывать наличие свободных ресурсов. В случае, если их недостаточное количество, то необходимо в алгоритме не давать открывать транзакцию, или, по крайней мере, захватывать большое количество ресурсов до тех пор, пока очередь не уменьшится до приемлемой величины. В каждой транзакции, естественно, неэффективно в онлайн проверять наличие свободных ресурсов. Именно поэтому для реализации данной схемы необходим отдельный менеджер, который будет это делать в фоновом режиме и выдавать информацию сессиям пользователей по запросу.

Компания SoftPoint предлагает как развитые средства мониторинга подобных ситуаций, так и реализацию блокировочных протоколов учитывающих вероятность возникновения подобной ситуации.

СКАЧАТЬ ДОКУМЕНТ

Предложения интернет-магазинов

Всеобщая история. 5 класс. История древнего мира. ФГОС (CDpc)

  Издательство: 1С, 2016 г.  Серия: Школа

Цена: 250 руб.   Купить

Образовательный комплекс "История Древнего мира, 5 кл." предназначен для изучения, повторения и закрепления учебного материала школьного курса по истории Древнего мира для 5-го класса. Содержит учебные тексты и справочные материалы по истории Европы, Азии и Африки с древнейших времен истории человечества до падения Римской империи (476 год н. э.), подборку анимированных карт, презентаций, интерактивных моделей и таблиц, проверочных контрольных тестов. Содержит сведения по истории Европы, Азии и Африки с древнейших времен истории человечества вплоть до падения Римской империи (476 год н.э.), подборку анимированных карт, презентаций, интерактивных моделей и таблиц, проверочных контрольных тестов. Системные требования: Операционная система Microsoft Windows 2000/XP/7/8; Pentium III 700 МГц; память 256 Мб; Видеокарта, поддерживающая разрешение 1024х768, true color; устройство воспроизведения DVD/CD-ROM; менее 160 Мб на системном диске; звуковая карта; колонки или наушники; мышь. 2-е издание.


Информатика. 11 класс. Учебник. Углубленный уровень. В 2-х частях. ФГОС

Автор(ы): Поляков Константин Юрьевич, Еремин Евгений Александрович   Издательство: Бином. Лаборатория знаний, 2016 г.

Цена: 1279 руб.   Купить

Учебник предназначен для изучения курса информатики на углублённом уровне в 11 классах общеобразовательных учреждений. Содержание учебника является продолжением курса 10 класс и опирается на изученный в 7-9 классах курс информатики для основной школы. Рассматриваются вопросы передачи информации, информационные системы и базы данных, разработка веб-сайтов, компьютерное моделирование, методы объектно-ориентированного программирования, компьютерная графика и анимация. Учебник входит в учебно-методический комплект (УМК), включающий в себя также учебник для 10 класса и компьютерный практикум. Предполагается широкое использование ресурсов портала Федерального центра электронных образовательных ресурсов. Соответствует Федеральному государственному образовательному стандарту среднего (полного) общего образования (2012 г.). Рекомендовано Министерством образования и науки Российской Федерации. 5-е издание.


Создание сайтов на основе WordPress. Учебное пособие

Автор(ы): Сергеев Алексей Николаевич   Издательство: Лань, 2015 г.  Серия: Учебники для вузов. Специальная литература

Цена: 912 руб.   Купить

В учебном пособии рассматриваются вопросы создания сайтов на основе CMS WordPress. Структура пособия рассчитана на последовательное освоение данной системы управления сайтом - основных понятий WordPress, вопросов размещения информации, настройки и оформления сайта, создания сервера и разработки собственных компонент. Учебное пособие предназначено для студентов, изучающих вопросы разработки собственных сайтов на основе свободно распространяемых систем управления контентом. Такая подготовка ведется по направлениям "Прикладная информатика", "Педагогическое образование" (профиль "Информатика"), "Информационные системы и технологии" и др. Учебное пособие может использоваться в курсах "Компьютерные сети", "Разработка интернет-ресурсов", "Мультимедийные системы и веб-дизайн" и др. при проведении практикумов, лабораторных и самостоятельных работ.


Открытые уроки в начальной школе. Реализация требований ФГОС

Автор(ы): Тропкина Л. А., Бут Татьяна Владимировна, Мейчик Галина Альфредовна, Хасанова Зульфия Феликсовна, Кислякова Марина Александровна, Ткачева Любовь Александровна   Издательство: Учитель, 2014 г.  Серия: Развивающие образовательные технологии

Цена: 197 руб.   Купить

Каждого учителя сегодня волнует проблема: как разработать урок в ракурсе ФГОС? В пособии предложена палитра творческих открытых уроков, которая показывает особенности ряда педагогических технологий в образовательном процессе (развитие критического мышления, педагогические мастерские, фотобиеннале, системно-деятельностное обучение и др.), эффективные методы и приемы, направленные на тренировку метапредметных универсальных действий и формирование у учащихся главного умения - научиться учить себя, что является той важнейшей задачей выполнения образовательного стандарта, в решении которой школьному учителю сегодня замены нет. Представлены уроки, демонстрирующие индивидуальный педагогический стиль, высокий уровень мастерства, рациональное использование инновационных и традиционных интересных приемов организации учебного процесса, нацеленные на развитие личности успешного ученика, умеющего учиться и готового к самореализации и самообучению. Предназначено учителям и руководителям МО начальной школы; рассчитано на творческое применение и пополнение личной методической копилки новинками и оригинальными находками; рекомендовано студентам педагогических учебных заведений.

ДОБАВИТЬ КОММЕНТАРИЙ  [можно без регистрации]
перед публикацией все комментарии рассматриваются модератором сайта - спам опубликован не будет

Ваше имя:

Комментарий