Паралельні і розподілені обчислення (стр. 3 из 3)
1. секціонування за вихідними даними
2. секціонування за вхідними даними
3. секціонування за вхідними і вихідними даними
4. секціонування за проміжними даними
Правило власника обчислень – кожне секціонування має виконувати обчислення над всіма даними, якими володіє.
Секціонування за проміжними даними – зазвичай проміжні дані явно не існують, необхідно реструктурувати первинний алгоритм.
Приклад: матричне множення. Максимальний ступінь паралелізму дорівнює 4. Можна збільшити ступінь паралелізму, ввівши проміжні дані. На цій додатковій стадії обчислення додаються субматриці, а результат зберігається у проміжній тривимірній субматриці D.
Реструктуризація первинного алгоритму дала змогу отримати вищий ступінь паралелізму програми, але це прискорення було досягнуто за рахунок використання додаткового об’єму пам’яті.
Схема МПД може бути представлена сукупністю процесорних елементів. Кожен вузол визначає операцію для виконання і адреси всіх вузлів, які очікують на обчислення даного операнду. В дійсності процесор МПД працює як простий круговий конвеєр. Токени - дані, що надходять з мережі. Складаються з даних і адреси призначення або тега. Актори – дії, операції, що виконуються над токенами.
У вузлі відповідності тег порівнюється з тегами, наявними у сховищі токенів. Якщо такі присутні, то вони обираються разом з операцією, яку над ними необхідно виконати. Потім вони разом подаються до модуля виконання. Отриманий результат відправляється за тими адресами, де на нього очікують. Якщо ж не всі токени для операції готові, то даний токен розміщується у сховищі токенів і очікує своєї черги на виконання.Дві типові проблеми, з якими програміст може зіткнутися при роботі з потоками :
3. Гонки (Race conditions)
4. Тупіки(Deadlocks).
Тупіки. Тупік має місце тоді, коли потік чекає ресурс, який в даний момент належить іншому потоку. Розглянемо приклад: Потік 1 захоплює об'єкт А і, для того, щоб продовжувати роботу, чекає можливості захопити об'єкт Б. В той же час Потік 2 захоплює Об'єкт Б і чекає можливості захопити Об'єкт А. Розвиток цього сценарію заблокує обидва потоки; жоден з них не виконуватиметься.
В ролі ресурсів виступають довільні спільно використовувані об’єкти, а саме файли, масиви в пам’яті.
Гонки. Ситуація гонок виникає, коли два або більш потоків намагаються дістати доступ до загального ресурсу і змінити його стан. Розглянемо наступний приклад. Хай Потік 1 дістав доступ до ресурсу і змінив його в своїх інтересах; потім активізувався Потік 2 і модифікував цей же ресурс до завершення Потоку 1. Потік 1 вважає, що ресурс залишився в тому ж стані, що і був до перемикання. Залежно від того, коли саме був змінений ресурс, результати можуть варіюватися — іноді код виконуватиметься нормально, іноді - ні.
Ситуації гонок і тупіків можна уникнути, якщо використовувати такі прийоми:
1. Взаємне виключення. Дозволяє тільки одному потоку за один раз володіти об’єктом.
Характеризується:
- тільки 1 процес знаходиться в середині критичного інтервалу
- якщо жоден процес не знаходиться в критичному інтервалі то довільний інший процес, яки бажає отримати доступ до об’єкту повинне отримати дозвіл без жодної затримки
- не повинно існувати жодних домовленостей про швидкість процесу
2. Семафори. Семафор (semaphore) подібний взаємному виключенню. Різниця між ними у тому, що семафор може управляти кількістю потоків, які мають до нього доступ.
Семафор встановлюється на граничне число потоків, яким доступ дозволений. Коли це число досягнуте, подальші потоки будуть припинені, поки один або більш потоків не від'єднаються від семафора і не звільнять доступ. Семафор – невід’ємна ціла змінна, яка може змінюватись і перевірятись лише двома функціями:
P(s): [<if<умова>|знач.|><звільнити><s:=s-1>]
V(s): [<if<умова>|знач.|><зайняти><s:=s+1>]
Блокування процесу і перемикання на інший не ефективно, коли семафор захоплюється на дуже короткий час. Очікування звільнення таких семафорів може бути реалізовано в ОС завдяки циклічним опитуванням значень семафору. Недоліки такого «активного очікування» - не продуктивна витрата часу, навантаження на загальну пам'ять і можливість практично заблокувати роботу процесу, що знаходиться в критичному інтервалі. Тобто, якщо об’єкт використовується великою кількістю потоків, використання семафорів не доцільне.
3. Подія – змінна, яка показує що відбулася певна подія.
Для об’явлення події використовується оператор: Post(ім’я змінної) , для очікування : Wait(ім’я змінної). Для очищення (привласнення 0 значення): clear(ім’я змінної).
4. Критична секція. Критичні секції подібні взаємним виключенням по суті, проте між ними існують дві головні відмінності:
· взаємні виключення можуть бути спільно використані потоками в різних процесах, а критичні секції — ні;
· якщо критична секція належить іншому потоку, чекаючий потік блокується аж до звільнення критичної секції. На відміну від цього, взаємне виключення дозволяє продовження після закінчення тайм-ауту.
5. Обмін повідомленнями. «Взаємодія паралельних процесів».1978р., Хоар.
Мета: позбутись проблему розподілу пам’яті і запропонувати модель взаємодії процесів у розподілених системах.
Використовуються основні функції:
1. Send (destination, message, size)
2. Receive (source, message, size)
Адресатом виступає процес, відправник не специфікується , в його ролі виступає довільний об’єкт.
Механізм семафорів та взаємодії процесів семантично взаємо заміняються . Тому на мультипроцесорах використовується один через інший.
Процес розподілу обчислень на менші частини, деякі або всі з яких можуть бути виконані паралельно, називається декомпозицією.
При цьому способі основне завдання розподіляється певним способом на невелику кількість незалежних задач. На наступному кроці отримані задачі знову декомпозуються, рекурсивно застосовуючи вищезазначений спосіб і т.д.
Цей спосіб призводить до виявлення природного паралелізму системи.
Приклад. Швидке сортування набору чисел : 5 12 11 1 10 6 8 2 7 4 9 3
Вибирається основний елемент Х і основна послідовність А розбивається на дві послідовності А0 і А1, такі що всі елементи послідовності А0 є меншими за Х, а всі елементи А1 є більшими за Х і т.д.