регистрация / вход

Средние величины оценка разнообразия признака в вариационном ряду

ПЕНЗЕНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ Медицинский институт Кафедра гигиены, общественного здоровья и здравоохранения ( зав. кафедрой к.м.н. А.П. Дмитриев)

ПЕНЗЕНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

Медицинский институт

Кафедра гигиены, общественного здоровья и здравоохранения

( зав. кафедрой к.м.н. А.П. Дмитриев)

СРЕДНИЕ ВЕЛИЧИНЫ, ОЦЕНКА РАЗНООБРАЗИЯ ПРИЗНАКА В ВАРИАЦИОННОМ РЯДУ.

Учебно-методическое пособие для студентов

(VШ семестр)

г. Пенза, 2005.

Информационный лист:

Учебно-методическое пособие “Средние величины, оценка разнообразия признака в вариационном ряду.” подготовлено кафедрой гигиены, общественного здоровья и здравоохранения Пензенского государственного университета (заведующий кафедрой, к.м.н. Дмитриев А.П.).

В составлении принимали участие: к.м.н. Зубриянова Н.С. , Дмитриев А.П. (ответственный за подготовку Зубриянова Н.С.).

Учебно-методическое пособие подготовлено в соответствии с «Программой по общественному здоровью и здравоохранению ” для студентов лечебных факультетов высших медицинских учебных заведений”, разработанной Всероссийским учебно-научно-методическим Центром по непрерывному медицинскому и фармацевтическому образованию Минздрава России и УМЦпкп и утвержденной Руководителем департамента образовательных медицинских учреждений и кадровой политики Н.Н. Володиным в 2000 г.

Данное Учебно-методическое пособие подготовлено для студентов для самостоятельной подготовки к практическим занятиям по указанной теме.


Тема: Средние величины, оценка разнообразия признака в вариационном ряду.

Оценка достоверности

Вопросы :

- методы расчета средних величин

- оценка достоверности относительных и средних величин

Продолжительность занятия : 4 часа

Самостоятельная работа : лабораторная работа №6

Теоретическая часть.

Средние величины

В клинической медицине и практике здравоохранения мы часто сталкиваемся с признаками, имеющими количественную характеристику (рост, число дней нетрудоспособности, уровень кровяного давления, посещения поликлиники, численность населения на участке и т.д.). Количественные значения могут быть дискретными или непрерывными. Пример дискретного значения – число детей в семье, пульс; пример непрерывного значения – артериальное давление, рост, вес (число может быть дробным, переходящим в следующее)

Каждое числовое значение единицы наблюдения называется вариантой (x). Если все варианты построить в возрастающем или убывающем порядке и указать частоту каждой варианты (p), то можно получить так называемый вариационный ряд .

Вариационный ряд, имеющий нормальное распределение, графически представляет собой колокол (гистограмма, полигон).

Для характеристики вариационного ряда, имеющего нормальное распределение (или распределение Гаусса-Ляпунова), всегда используются две группы параметров:

1.Параметры, характеризующие основную тенденцию ряда: средняя величина (`x ), мода(Мо), медиана (Ме).

2.Параметры, характеризующие рассеянность ряда: среднее квадратичное отклонение (d), коэффициент вариации (V).

Средняя величина (`x ) – это величина, определяющая одним числом количественную характеристику качественно однородной совокупности.

Мода (Мо) – чаще всего встречающаяся варианта вариационного ряда.

Медиана (Ме) – варианта, делящая вариационный ряд на равные половины.

Среднее квадратичное отклонение (d) показывает, как в среднем отклоняется каждая варианта от средней величины.

Коэффициент вариации ( V ) определяет изменчивость вариационного ряда в процентах и дает возможность судить о качественной однородности изучаемой совокупности. Целесообразно использовать для сравнения вариации различных признаков (а также степени изменчивости сильно отличающихся групп, групп особей разных видов, например, вес новорожденных и семилетних детей).

Лимиты или пределы (lim) – минимальное и максимальное значение вариант. простейший способ дать характеристику вариационному ряду, указать его размах, минимальное и максимальное значение ряда, т.е. его лимиты. Однако лимиты не указывают на то, как распределяются по изучаемому признаку отдельные члены совокупности, поэтому используют указанные выше две группы параметров вариационного ряда.

Имеются разные модификации вычисления параметров вариационного ряда. Их выбор зависит от самого вариационного ряда и технических средств.

В зависимости от того как варьирует признак – дискретно или непрерывно, в широком или узком диапазоне различают простой невзвешенный, простой взвешенный (для дискретных величин) и интервальный вариационный ряд (для непрерывных величин).

Группировку рядов проводят при большом числе наблюдений следующим путем:

1.Определяют размах ряда вычитанием минимальной варианты из максимальной.

2.Полученное число делят на желаемое число групп (минимальное число – 7, максимальное – 15). Так определяется интервал.

3.Начиная с минимальной варианты, строят вариационный ряд. Границы интервалов должны быть четкие, исключающие попадание одной и той же варианты в разные группы.

Вычисление параметров вариационного ряда ведется от центральной варианты. Если ряд непрерывный, то центральная варианта вычисляется как полусумма начальных вариант предыдущей и последующей групп. Если это прерывный ряд, то центральная варианта вычисляется как полусумма начальной и конечной вариант в группе.

Вычисление параметров вариационного ряда

Вид вариационного ряда

p

`x

d

Простой невзвешенный

1

±

Простой взвешенный

>1

±

Сгруппированный

>1

±

Алгоритм вычисления параметров простого невзвешенного вариационного ряда:

1. Располагают варианты в возрастающем порядке

2. Суммируют все варианты (Sx);

3. Разделив сумму на число наблюдений, получают невзвешенную среднюю ;

4. Вычисляют порядковый номер медианы (Ме);

5. Определяют варианту медианы (Ме)

6. Находят отклонение (d) каждой варианты от средней (d = x -`x)

7. Возводят отклонение в квадрат (d2 );

8. Суммируют d2 (Sd2 );

9. Вычисляют среднее квадратичное отклонение по формуле: ±;

10. Определяют коэффициент вариации по формуле:.

11. Делают вывод о полученных результатах.

Примечание: в однородной статистической совокупности коэффициент вариации бывает 5-10%, 11-20% - средняя вариации, более 20% - высокая вариация.

Пример:

В отделении реанимации и интенсивной терапии было проведено лечение 9 больных с сосудистым поражением мозга. Длительность лечения каждого больного в днях: 7, 8, 12, 6, 4, 10, 9, 5,11.

1.Строим вариационный ряд (x): 4,5,6,7,8,9,10,11,12

2.Вычисляем сумму вариант: Sx = 72

3.Вычисляем среднее значение вариационного ряда: =72/9=8 дней;

4.;

5.Меn =5 =8 дней;

6,7,8


x

d

d2

4

-4

16

5

-3

9

6

-2

4

7

-1

1

8

0

0

9

+1

1

10

+2

4

11

+3

9

12

+4

16

S=72

S=0

Sd2 =60

9. (дней);

10. Коэффициент вариации равен: ;

Алгоритм вычисления параметров простого взвешенного вариационного ряда:

1.Располагают варианты в возрастающем порядке с указанием их частоты (p);

2.Перемножают каждую варианту на свою частоту (x*p);

3.Суммируют произведения xp (Sxp);

4.Вычисляют среднюю величину по формуле (`x)= ;

5.Находят порядковый номер медианы ;

6.Определяют варианту медианы (Ме);

7.Чаще всего встречающуюся варианту принимают за моду (Мо);

8.Находят отклонения d каждой варианты от средней (d = x - `x);

9.Возводят отклонения в квадрат (d2 );

10. Перемножают d2 на p (d2 *p);

11. Суммируют d2 *p (Sd2 *p);

12. Вычисляют среднее квадратичное отклонение (s) по формуле: ±;

13. Определяют коэффициент вариации по формуле: .

Пример.

Измерялось систолическое артериальное давление у девушек в возрасте 16 лет.

Систолическое артериальное давление,

мм рт.ст.

x

Число обследованных,

p

x*p

d

d2

d2 *p

96

2

192

-11.4

130.0

260.0

98

3

294

-9.4

88.4

265.2

100

4

400

-7.4

54.8

219.2

102

6

612

-5.4

29.2

175.2

106

10

1060

-1.4

2.0

20.0

108

24

2592

+0.6

0.4

9.6

110

6

660

2.6

6.8

40.8

112

4

448

4.6

21.2

84.8

114

3

342

6.6

43.6

130.8

118

3

354

10.6

112.4

337.2

120

2

240

12.6

158.8

317.6

n=67

Sxp=7194

Sd2 p=1860.4

мм рт.ст.;

мм рт.ст.

;

Ме=108 мм рт.ст.; Мо=108 мм рт.ст.

Алгоритм вычисления параметров сгруппированного вариационного ряда способом моментов:

1.Расположить варианты в возрастающем порядке с указанием их частоты (р)

2.Провести группировку вариант

3.Вычислить центральную варианту

4.Варианту с самой высокой частотой принимают за условную среднюю (А)

5.Вычислить условное отклонение (а) каждой центральной варианты от условной средней (А)

6.Перемножают а на р (а*р)

7.Суммируют произведения ар

8.Определяют величину интервала y путем вычитания центральной варианты из предыдущей

9.Вычисляют среднюю величину по формуле:

;

10. Для вычисления условного квадратичного отклонения условные отклонения возводят в квадрат (а2 )

11. Перемножают а2

12. Суммируют произведения а*р2

13. Вычисляют среднее квадратичное отклонение по формуле

Пример

Имеются данные мужчин в возрасте 30-39 лет

масса,

кг

х

Число обследованных

р

Серединная варианта

хс

а

а2

а2

а*р

Накопленные частоты

45-49

1

47,5

-4

16

16

-4

1

50-54

3

52,5

-3

9

27

-9

4

55-59

7

57,5

-2

4

28

-14

11

60-64

10

62,5

-1

1

10

-10

21

65-69

19

67,5

0

0

0

0

40

70-74

15

72,5

1

1

15

15

55

75-79

12

77,5

2

4

48

24

67

80-84

6

82,5

3

9

54

18

73

85-89

3

87,5

4

16

48

12

76

сумма

246

32

- средняя арифметическая

; - среднее квадратичное отклонение; - ошибка средней

Оценка достоверности

Статистическая оценка достоверности результатов медико-статистического исследования складывается из ряда этапов – точность результатов зависит отдельных этапов.

При этом встречаются две категории ошибок: 1) ошибки, которые нельзя заранее учесть математическими методами (ошибки точности, внимания, типичности, методические ошибки и т.д.); 2) ошибки репрезентативности, связанные с выборочным исследованием.

Величина ошибки репрезентативности определяется как объемом выборки, так и разнообразием признака и выражается средней ошибкой. Средняя ошибка показателя вычисляется по формуле:

;

где m – средняя ошибка показателя;

p – статистический показатель;

q – величина обратная p (1-p, 100-p, 1000-p, и т.д.)

n – число наблюдений.

При числе наблюдений менее 30 в формулу вводится поправка:

;

Ошибка средней величины исчисляется по формулам:

; ;

где s - среднее квадратичное отклонение;

n – число наблюдений.

Пример 1.

Из стационара выбыло 289 человек, умерло – 12.

Летальность составит:

; ;

При проведении повторных исследований средняя (М) в 68% случаев будет колебаться в пределах ±m, т.е. степень вероятности (p), с которой мы получим такие доверительные границы средней, равна 0,68. Однако такая степень вероятности обычно не удовлетворяет исследователей. Наименьшей степенью вероятности, с которой хотят получить определенные границы колебания средней (доверительные границы), является 0,95 (95%). В этом случае доверительные границы средней должны быть расширены путем умножения ошибки (m) на доверительный коэффициент (t).

Доверительный коэффициент (t) – число, показывающее, во сколько раз нужно увеличить ошибку средней величины, чтобы при данном числе наблюдений с желаемой степенью вероятности (p) утверждать, что средняя величина не выйдет за получаемые таким образом пределы.

При p=0.95 (95%) t=2, т.е. M±tm=M+2m;

При p=0.99 (99%) t=3, т.е. M±tm=M+3m;

Сравнение средних показателей

При сравнении двух средних арифметических (или двух показателей), вычисленных за различные периоды времени или в несколько отличающихся условиях, определяется существенность различий между ними. При этом применяется следующее правило: разница между средними (или показателями) считается существенной в том случае, если арифметическая разность между сравниваемыми средними (или показателями) будет больше, чем два квадратных корня из суммы квадратов ошибок этих средних (или показателей), т.е.

(для сравниваемых средних);

(для сравниваемых показателей).

Определение достоверности средней при малом числе наблюдений (малая выборка).

При проведении исследований их объем не превышает 10-30 случаев. Такой объем наблюдений называется малым (или малой выборкой).

при определении статистической достоверности средней, полученной при малом числе наблюдений пользуются следующими формулами:

; где ;

d – отклонение варианты (V) от средней величины (M),

n – число наблюдений;

t – доверительный коэффициент, определяемый по специальной таблице Стьюдента (приложение).

Пример.

Измерен пульс у 9 человек. Надо вычислить среднюю частоту пульса и определить ее статистическую достоверность.

1.Строиться вариационный ряд, вычисляется средняя (М) и среднее квадратичное отклонение (s).

V

d=V-M

d2

63

-5

25

68

0

0

65

-3

9

65

-3

9

60

-8

64

70

+2

4

70

+2

4

75

+7

49

76

+8

64

SV=612, n=9

S=228

М=612/9=68 ударов в минуту

удара в минуту

2.Определяется ошибка средней арифметической величины

удара в минуту

2. Значение t определяется по таблице Стьюдента (см. приложение 1), где k=n-1, p- желаемая степень вероятности. в нашем примере число наблюдений 9, поэтому k=8, а желаемая степень вероятности p=0,95 (95%), тогда t=2.3

3. Устанавливаются пределы колебаний средней величины (ее доверительные границы): tm=1,9*2,3 » ±4. Следовательно, средняя величина пульса у 9 обследованных, равная 68 ударам в минуту, при проведении повторных исследований в 95% случаев будет колебаться в пределах 68±4, т.е. от 64 до 72 ударов.

Определение необходимого объема наблюдений.

В медицинских научных исследованиях часто используется выборочный метод. При этом изучается относительно малая часть всех возможных случаев, а полученные результаты (показатели, средние величины) рассматриваются в отношении всей совокупности. При обобщении всегда допускается некоторая ошибка, называемая предельной ошибкой выборки (D), которая представляет собой разницу между характеристиками генеральной и выборочной совокупности.

Предельно допустимая ошибка показателя (Dp ) равна: Dpген.выб.

Предельно допустимая ошибка средней Dх =`xген. -`xвыб.

Величина предельно допустимой ошибки вычисляется по формулам математической статистики:

1) для показателя: Dp =, где Dp – предельная ошибка показателя,

p – величина показателя; q=1-p или 100-p или 1000-p в зависимости от основания к которому вычислен показатель;

n – число наблюдений;

t – доверительный коэффициент (при p=95% t=2, при p=99% t=3)

2) для средней: Dх = , где s - среднее квадратичное отклонение.

Из формул вычисления предельной ошибки выводятся формулы определения необходимого числа наблюдений в выборочном исследовании:

Dp =, откуда n= t2 *p*q/D2 (необходимое число наблюдений для получения показателя).

Dх = , откуда n=t2 *d2 /D2 ; (необходимое число наблюдений для получения средней) Если в результате исследований конечный результата будет выражен абсолютными величинами (в сантиметрах, кг), необходимый объем наблюдений определяется по следующей формуле: , где

t = 2 (при p=95) или t = 3 (при p = 99),

D - предельно допустимая ошибка, выбирается исследователем.

d - среднее квадратичное отклонение

Среднее квадратичное отклонение определяется следующим образом:

1) если подобные исследования проводились , то берется из литературных источников,

2) если подобных исследований не проводилось, делается пробное исследование, при котором вычисляется d.

ПРИМЕР.

Нужно определить объем наблюдений, необходимый для того, чтобы получить достоверную среднюю величину роста семилетних мальчиков при p=0.95, t=2 и D=0,5 см.

Из приведенных ранее исследований известно, что d=5 см. Тогда n= 4*25/0,25=400, т.е. для получения достоверного результата следует взять группу, состоящую из 400 семилетних мальчиков.

Если в результате исследований конечный результат будет выражен в относительных величинах (например в %), необходимый объем наблюдений определяется по следующей формуле: ; где

t = 2 (при p=95) или t = 3 (при p = 99),

D - предельно допустимая ошибка, выбирается исследователем.

p - коэффициент в %

q = 100% - p%.

Коэффициент p определяется следующим образом:

1) если подобное исследование проводилось ранее, то р берется из литературных источников;

2) если подобных исследований не проводилось, берется максимальное значение произведения p*q , которое получается, если p = q, т.е. p и q = 50%.

ПРИМЕР.

Нужно определить объем наблюдений, необходимый для того чтобы получить достоверные данные о распространенности какого-то заболевания у студентов старших курсов медицинского института при P=95%, t=2 и D=3% Из литературных данных известно, что интересующее нас заболевание распространено в 30%, т.е. p=30%.

q = 100-30=70%, тогда n=4*30*70/9= 933, т.е. для получения достоверного результата следует иметь 933 наблюдения.

Если литературные данные отсутствуют, то n = 4*50*50/9 = 1111, т.е. для получения достоверного результата необходимое число наблюдений 1111.

В тех случаях, когда известна численность генеральной совокупности, могут быть использованы следующие формулы (для бесповторной случайной выборки):

n = N * t 2 * p * q / ( N * D 2 + t 2 * p * q ) , где N – численность генеральной совокупности.

Контрольные вопросы

1.Дайте определение вариационного ряда. Варианта. Средняя величина. Среднее квадратичное отклонение. Коэффициент вариации. Мода. Медиана.

2.Виды вариационных рядов. Особенности вычислениях основных характеристик.

3.Оценка достоверности.

4.Сравнение средних показателей

5.Определение достоверности средней при малом числе наблюдений

6.Расчет необходимого числа наблюдений.

ПРИЛОЖЕНИЕ

Таблица значений критерия t (Стьюдента)

k

(n-1)

Уровень вероятности р

0,95 (95 %)

0,99 (99 %)

0,999 (99,9 %)

1

12,7

63,6

636,6

2

4,3

9,9

31,6

3

3,1

5,8

12,9

4

2,7

4,6

8,6

5

2,5

4,0

6,8

6

2,4

3,7

5,9

7

2,3

3,5

5,4

8

2,3

3,3

5,1

9

2,2

3,2

4,7

10

2,2

3,1

4,6

11

2,2

3,1

4,4

12

2,1

3,0

4,3

13

2,1

3,0

4,2

14

2,1

2,9

4,1

15

2,1

2,9

4,0

16

2,1

2,9

4,0

17

2,1

2,8

3,9

18

2,0

2,8

3,9

19

2,0

2,8

3,8

20

2,0

2,8

3,8

21

2,0

2,8

3,8

22

2,0

2,8

3,7

23

2,0

2,8

3,7

24

2,0

2,7

3,7

25

2,0

2,7

3,7

26

2,0

2,7

3,7

27

2,0

2,7

3,6

28

2,0

2,7

3,6

29

2,0

2,7

3,6

30

2,0

2,7

3,6

¥

1,9

2,5

3,3

ТЕСТЫ к практическому занятию по теме

«Средние величины, оценка разнообразия признака в вариационном ряду.

Оценка достоверности»

1. Средние величины применяются для характеристики признаков:

1) качественных;

2) количественных.

2. В отличие от статистических коэффициентов средние величины служат для изучения:

1) вероятностных признаков, которые могут быть или не быть;

2) постоянных признаков, присущих всем единицам наблюдения.

3. Симметричный вариационный ряд характеризуется распределением:

1) нормальным;

2) бимодальным.

4. Средняя арифметическая характеризует:

1) вариабельность признака;

2) распределение признака;

3) регрессию;

4) средний уровень;

5) репрезентативность;

6) взаимосвязь.

5. Средние величины используются для характеристики одного группового свойства статистической совокупности:

1) распределение количественных и качественных признаков в изучаемой совокупности ;

2) разнообразие или колебаемость любых признаков в совокупности;

3) взаимосвязь или зависимость между любыми признаками;

4) средний уровень признаков в совокупности;

5) репрезентативность или достоверность полученных результатов.

6. Поданным о числе дыханий в минуту из 12 наблюдений можно построить вариационный ряд:

1) простой, прерывный, четный;

2) нечетный: взвешенный, сгруппированный;

3) простой, непрерывный, симметричный.

7. Для определения среднего пульса у 100 больных рациональнее построить вариационный ряд:

1) сгруппированный, нечетный, непрерывный;

2) прерывный, взвешенный, сгруппированный;

3) несгрупированный, четный, взвешенный .

8. В симметричном ряду совпадают:

1) средняя арифметическая и мода;

2) медиана, мода и средняя арифметическая;

3) мода и медиана;

4) средняя арифметическая и медиана.

9. Средними величинами являются:

1) мода и медиана;

2) медиана и лимит;

3) лимит и мода.

10. В симметричном вариационном ряду совпадают:

1) М и Мо;

2) М, Мо и Ме;

3) М и Ме;

4) Ме и Мо .

11. В простом вариационном ряду средняя арифметическая рассчитывается по формуле:

1)

2)

3)

12. Формула для расчета средней арифметической взвешенного вариационного ряда по способу моментов:

1)

2)

3)

13. К критериям разнообразия признака в статистической совокупности относятся:

1) ошибка репрезентативности;

2) коэффициент вариации;

3) мода;

4) доверительные границы.

14. Среднее квадратическое отклонение характеризует:

1) средний уровень признака;

2) взаимосвязь;

3) вариабельность признака;

4) распределение признака.

15. К критериям вариабельности признака относятся:

1) М и Мо;

2) Мо и lim;

3) lim и V;

4) V и m.

16. Степень разнообразия нескольких признаков можно сравнить, рассчитав:

1) коэффициент вариации;

2) лимит;

3) доверительные границы;

4) коэффициент регрессии.

17. Правило "трех стигм" используется для оценки:

1) достоверности результатов исследования;

2) степени разнообразия признака;

3) взаимосвязи между признаками.

18. При значении коэффициента вариации (V), равном 15%, разнообразие признака:

1) слабое;

2) среднее;

3) высокое.

19. Степень разнообразия нескольких признаков можно сравнить, рассчитав:

1) ошибку репрезентативности;

2) лимит;

3) коэффициент вариации.

20. Амплитуда вариационного ряда дает информацию о:

1) разнообразие признака с учетом внутренней структуры совокупности;

2) разнообразие крайних вариант;

3)разнообразие вариант, превышающих среднюю арифметическую.

21. Для того, чтобы сравнить степень разнообразия длины тела новорожденных мальчиков и девочек наиболее целесообразно использовать критерии разнообразия:

1) лимит;

2) амплитуду;

3) среднее квадратическое отклонение.

22. Для того, чтобы сравнить степень разнообразия массы тела новорожденных и 7-летних детей наиболее целесообразно использовать:

1) амплитуду;

2) коэффициент вариации;

3) среднее квадратическое отклонение.

Установить соответствие

23. Формулы: Применение:

А. расчет среднего квадратического отклонения во взвешенном ряду;

Б. определение среднего квадратического отклонения в простом ряду при большом числе наблюдений;

Г. определение среднего квадратического отклонения во взвешенном ряду по способу моментов;

24. Показатель:

1) лимит;

2) средняя арифметическая;

3) среднее квадратическое Формула:

А)

Б) , где V-варианта

Д)

25. Статистические величины: Показатели:

1) средние; А. уровень заболеваемости;

2) относительные; Б. численность населения;

3) абсолютные. В. средняя продолжительность жизни;

Г. диагноз;

Д. пол.

26. При вероятности безошибочного прогноза Р = 87% результаты медико - биологических исследований:

1) достоверны;

2) недостоверны.

27. К критериям оценки достоверности относятся:

1) лимит и ошибка репрезентативности;

2) ошибка репрезентативности и доверительные границы;

3) доверительные границы и коэффициент вариации.

28. Критерий Стьюдента t = 3,4 свидетельствует о статистической:

1) достоверности;

2) недостоверности различия двух относительных величин.

29. Критерий Стьюдента, равный 1,5 свидетельствует о:

1) достоверности результатов исследования;

2) недостоверности результатов исследования.

30. При вероятности безошибочного прогноза р = 97% медико-биологические исследования статистические:

1) достоверны;

2) не достоверны.

31. При вероятности безошибочного прогноза р = 95% результаты медико-биологических исследований статистически:

1) достоверны;

2) не достоверны.

32. При вероятности ошибки Р = 3% результаты медико-биологических исследований:

1) достоверны;

2) не достоверны.

ОТКРЫТЬ САМ ДОКУМЕНТ В НОВОМ ОКНЕ

Комментариев на модерации: 2.

ДОБАВИТЬ КОММЕНТАРИЙ  [можно без регистрации]

Ваше имя:

Комментарий