Метод Дельфи – принятие решений на основе экспертных оценок

Метод дельфи – это инструмент, позволяющий разработать оптимальные решения сложности, провести её качественную оценку и спрогнозировать дальнейшие события.

Сущность и черты метода прогнозирования “Дельфи”, история его разработки, этапы реализации и методы обработки результатов. Использование метода экспертных оценок для определения перспективных направлений научно-технологического и инновационного развития.

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

Министерство образования и науки Российской Федерации
Государственное образовательное учреждение высшего профессионального образования

«Санкт-Петербургский государственный университет информационных технологий, механики и оптики (ИТМО)»

Гуманитарный факультет

Реферат

по дисциплине «Социальное и экономическое прогнозирование»

на тему«Метод «Дельфи»

Выполнил: Студент гр. № U3405

Штерн С.Н.

Проверила: Воронцов Н. Ф.

Санкт-Петербург2015

Содержание

  • Введение
  • 1. Сущность и черты метода «Дельфи»
  • 2. Область и опыт применения метода «Дельфи»
  • 3. Процесс прогнозирования по методу Дельфи
  • 4. Пример прогнозирования на основе метода «Дельфи»
  • Заключение

Метод «Дельфи» – это один из самых распространённых методов групповых экспертных оценок. Суть этого метода в том, чтобы с помощью серии последовательных действий добиться максимального консенсуса при определении правильного решения. Анализ с помощью дельфийского метода проводится в несколько этапов, результаты обрабатываются статистическими методами.

Метод «Дельфи» – это один из групповых методов экспертных оценок, который позволяет обобщить в одно мнение оценки многих специалистов.

Целью данного метода является получение информации с высокой степенью достоверности в процессе анонимного обмена мнениями между группой экспертов.

Как метод экспертного прогнозирования Дельфи был разработан в 1950-е годы в корпорации RAND (США) и впервые для широкого ознакомления опубликован в работе Т. Гордона и О. Хелмера в 1964 году. Первоначально метод предназначался для повышения согласованности мнений экспертов относительно обобщенной групповой оценки или суждения. Группу экспертов называли «жюри», последовательно проводимые опросы – «турами», опросные документы с дополнительно информацией и аргументацией оценок предыдущего тура – «анкетами». Проведенные Т. Гордоном и О. Хелмером экспериментальные исследования точности и надежности метода Дельфи и схожести его результатов при повторных опросах давали эмпирические рекомендации по числу туров от двух до четырех. Большее число туров существенно не улучшало согласованность.

Данный метод прогнозирования был назван в честь дельфийского оракула, что располагался в храме города Дельфы, который находится в Греции. По легенде его основал бог Аполлон в честь победы над змеем Пифоном. Дельфийский оракул по легендам являлся одним из важных объектов древнего мира. Он давал советы всем нуждающимся, начиная от царей, заканчивая обычными людьми, которые совершали паломничества

Основными чертами этого метода прогнозирования являются:

· анонимность мнений экспертов;

· регулируемая обработка, связь, которая осуществляется аналитической группой за ряд туров опроса, причем результаты каждого тура сообщаются экспертам;

· групповым ответом, который получается с помощью статистических методов и отображает обобщенное мнение участников экспертизы

Таблица №1. Плюсы и минусы метода Дельфи

Плюсы и минусы метода «Дельфи»

Плюсы

Минусы

Позволяет обобщить мнения, участвующих экспертов

Требует много времени и организационных усилий

Наличие обратной связи между аналитической группой и экспертами

Возможный конформизм экспертов – стремление попасть в большинство

Позволяет уменьшить колебания по всей совокупности индивидуальных ответов

Возможное воздействие на экспертов со стороны

Помогает прогнозировать будущие события при малом количестве информации

Оценки, получаемые при помощи экспертов, носят статичный и одноразовый характер, в результате чего возникает необходимость повторного обращения к экспертам при составлении прогноза доли рынка на последующие периоды. Кроме того, метод внутреннего и внешнего экспертного прогнозирования характеризуется определенной степенью субъективности.

Надежность данного метода считается высокой при прогнозировании на период как от 1 до 3 лет, так и на более отдаленный период времени. В зависимости от цели прогноза для получения экспертных оценок может привлекаться от 10 до 150 экспертов.

Метод «Дельфи» целесообразно применять в таких случаях, когда имеющиеся в распоряжении или доступные данные непригодны для анализа существующей проблемы, в распоряжении нет нужных данных; нет достаточного времени для сбора данных, процесс получения и анализа необходимых данных слишком доро

прогнозирование дельфи экспертный

Область применения метода «Дельфи» достаточно широкая. Его использовали для прогнозирования во многих отраслях экономики и технологии. За последние 30 лет его применяли в таких направлениях, как:

· материалы и их обработка;

· информатика;

· электроника;

· здравоохранение и социальное обеспечение;

· изучение и использование космического пространства;

· энергетика и природные ресурсы;

· экология;

· сельское хозяйство, лесная промышленность и рыбоводство;

· промышленное производство;

· связь;

· транспор

Это далеко не весь перечень сфер, где применяется метод «Дельфи». Так же его используют и многие государства для определения перспективных направлений научно-технологического и инновационного развития и оценке последствий принятия управленческих решений в области науки и технологий являются неотъемлемым компонентом государственной научно-технической и инновационной политики.

Работы по прогнозированию с использованием метода «Дельфи» проводятся в десятках государств. Они различаются по своим масштабам, охвату рассматриваемых тематических направлений и т.п. Наиболее интересный и большой практический опыт подобных исследований для определения национальных приоритетов научно-технологического развития накоплен в Японии, Великобритании, Германии, Франци

Таблица №2. Опыт применения метода «Дельфи» в разных странах

Применение метода «Дельфи».

Страна

Область и опыт применения

Япония

В Японии научно-технологические прогнозы по методу «Дельфи» реализуются 1971 года и публикуются раз в пять лет. В этой стране накоплен обширны опыт применения результатов прогнозов при формировании науки и технологий. Японцы доработали метод «Дельфи» для решения с его помощью практических задач

Великобритания

Первый прогноз с использованием метода «Дельфи» в этой стране датируется 1995 годом. Он был направлен на становление национальной политики в области технологий. Сделан данный прогноз был отделом по реализации научно-технических прогнозов британского офиса по науке и технологиям. С тех пор метод «Дельфи» часто применяется при формировании национальных программ

Германия

В германии работы по научно-технологическому прогнозированию ведутся более 23 лет. При этом широко применяется метод «Дельфи». Его использовали для таких проектов, как «Технологии на пороге 21-ого века» и «Futur» – программа решения практических задач, стоящих перед страной

Франция

Во Франции метод «Дельфи» в первый раз применили в 1994 году для широкого обследования перспектив развития научно-технических направлений. При этом было привлечено более 1000 специалистов из различных секторов экономики. Франция и сейчас делает такие прогнозы раз в пять лет

В России также имеется определенный опыт прогнозирования технологического развития, начало которому было положено при подготовке Комплексной программы научно-технического прогресса. Значительные результаты в развитии методологии прогнозирования были достигнуты в рамках формирования системы приоритетных направлений развития науки, технологий и техники, и критических технологий. Тем не менее, комплексных работ, подобных вышеупомянутым зарубежным проектам, в России пока не проводилось. Поэтому особенно важно, чтобы предстоящие исследования опирались как на лучший российский опыт, так и на передовую зарубежную практику

Метод Дельфи является наиболее формальным из всех методов экспертного прогнозирования и наиболее часто используется в технологическом прогнозировании, данные которого используются затем в планировании производства и сбыта продукции. Это групповой метод при котором проводится индивидуальный опрос группы экспертов относительно их предположений о будущих событиях в различных областях. При прогнозировании методом «Дельфи» реализуются следующие этапы

Рисунок №1. Этапы реализации метода «Дельфи»

Процесс прогнозирования может занять от 3-4 туров. Для проведения первого тура экспертам предлагаются вопросы. Ответы должны быть представлены в виде количественных оценок на поставленный вопрос.

После проведения голосования аналитическая группа проводит статистическую обработку полученной от всех экспертов информации. Для этого рассчитывается среднее значение исследуемого параметра, средневзвешенное значение исследуемого параметра, определяется медиана как средний член общего ряда чисел, полученных от экспертов и область доверительности. Область доверительности целесообразнее рассчитывать через показатель квартиль. Значение квартиля равно ј разницы между максимальной и минимальной оценок ряда. Сама область доверительности будет равна как максимальная оценка минус значение квартиля, минимальная оценка плюс значение квартиля.

Эксперты должны обязательно познакомиться с результатами и выводами аналитиков, после чего проводится второй (очередной) тур. Эксперты по результатам представленных расчетов могут увидеть, как корреспондируется их мнение с мнением всей группы экспертов. Они могут изменить свои мнения или оставить прежними, но в этом случае выдвинуть контраргументы в свою пользу. При этом строго соблюдается принцип анонимности. Таким образом проводится 2-3 тура. В итоге получаем довольно точную групповую оценку.

При использовании метода «Дельфи» полезно учитывать следующее

· Группы экспертов должны быть стабильными, их численность должна удерживаться в благоразумных рамках.

· Время между турами опросов не должно быть более месяца

· Вопросы в анкетах должны быть тщательно продуманы и однозначно сформулированы.

· Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомиться с причиной появления той или иной оценки, а также и для критики этих причин.

· Должен проводиться систематический отбор экспертов

· Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.

· Нужна формула согласованности оценок, основанная на данных самооцено

Компания, занимающаяся производством фотоаппаратов, произвела новый продукт. Прежде чем выпускать камеру в серийное производство, фирма решила для возможных недостатков. Для этого новы фотоаппарат был выдан 14 экспертам. Их попросили дать оценку новой продукции компании и указать на возможные недостатки.

Экспертам предложено дать себе индивидуальную самооценку в баллах в диапазоне от 0 до 10. Уровень качества новой камеры предлагается оценить в % (процентах) в диапазоне от 0 до 100. При этом длина доверительного интервала должна быть равна 26

Таблица №3.

Номер эксперта

Коэффициент самооценки (баллы)

Оценка эксперта (%)

Комментарий эксперта

1

7,5

84

Слишком громкий затвор.

2

6

90

Не понравилась встроенная вспышка

3

8

78

Маленький заряд аккумулятора

4

9

49

Слабая матрица для подобного фотоаппарата

5

8,5

87

Немного тяжеловат

6

7

70

Малая глубина цвета

7

6

76

Нет гибридного автофокуса

8

9

94

Неудобно расположенная кнопка включения

9

10

55

Нету большего выбора объективов

10

5,5

71

Не понравился стандартный объектив

11

7

80

Громоздкий в сравнении с аналогами

12

8

46

Неудобная эргономика

13

6

58

Малый диапазон чувствительности матрицы

14

8,5

74

Плохо снимает видео

В последствии аналитическая группа проводит расчет следующих необходимых для определения результатов показателей.

1. Среднегрупповая оценка – сумма коэффициентом самооценки по отношению к количеству экспертов. Рассчитывается по следующей формуле:

= 8 баллов

2. Среднее значение оценки качествав – сумма оценки качества новой камеры по оценке каждого эксперта по отношению к количеству экспертов. Рассчитывается по следующей формуле.

= 72,3

3. Средневзвешенная оценка качества – сумма произведений коэффициента самооценки на уровень качества камеры по отношению к сумме коэффициентов самооценки. Рассчитывается следующим образом:

=71,8

4. Медиана (т.к. четное число экспертов) рассчитывается как среднеарифметическое значение между серединными оценками. Для начала упорядочим все оценки экспертов, выставив их от меньшего к большему. Упорядоченные оценки будут выглядеть следующим образом:

46-49-55-58-70-71-74-76-78-80-84-87-90-94

Серединными оценками являются 74 и 76.

Следовательно, медиана будет следующей

= 75

Далее находим область доверительности:

Минимальная оценка из набора экспертиз – 46, максимальная – 94. Квартиль будет равен – =12.

Следовательно:

Нижняя граница доверительной области 46+12=58

Верхняя граница доверительной области 94-12=82.

Соответственно доверительный интервал: от 58% до 82%, то есть равен 24 и значит первый тур соответствует поставленному критерию. Все полученные результаты предлагаются на рассмотрение экспертам. Если эксперты считают целесообразным откорректировать свое мнение, то они передают свои коррективы аналитической группе. И аналитическая группа рассчитывает новые результаты по тому алгоритму, который был рассмотрен выше.

Метод «Дельфи» является одним из универсальных методов экспертных оценок. Он позволяет обобщить мнения многих квалифицированных экспертов в одно. Недаром его использую для прогнозирования будущих событий во многих отраслях экономики и жизнедеятельности.

Список литературы

1. Управленческие решения. Выбор и разработка. – учебное пособие. Ю.В, Вертитков, И.А Козьева – М. КНОРУС, 2008 год.

2. Л.П. Владимирова. Прогнозирование и планирование в условиях рынка, учебное пособие (второе издание). М.: 2001 г.

3. Статья «Российский Дельфи: методы и организации». Александр Соколов. Институт статистических исследований и экономики знаний ГУ-ВШЭ. 2010 год.

4. Роль финансовой системы в научно-технологическом развитии (На примере США). Синявская Н.И. Дис. … канд. экон. наук : 08.00.14 : Москва, 2004 222 c. РГБ ОД, 61:04-8/5062

5. Сборник методов поиска новых идей и решений управления качеством / сост. В. В. Ефимов. – Ульяновск : УлГТУ, 2011. – 194 с

6. Сайт https://ru.wikipedia.org.

7. Сайт http://helpiks.org/

Размещено на Allbest.ru

Что такое метод Дельфи

Что такое метод Дельфи

Если говорить кратко, метод Дельфи – это один из способов принятия сложных решений. Идеи разрабатываются с помощью мозгового штурма, интервью, опросов. Часто незнакомые друг с другом люди, постоянно поддерживая между собой связь, дают оценку проблемы. А после предлагают варианты избавления от нее.

При использовании методики можно получить экспертное мнение по тем или иным вопросам от каждого участника мероприятия. Считается, что люди, которые не зависят друг от друга, эффективнее решают поставленные перед ними задачи по сравнению со сформированными заранее коллективами.

Дельфийский метод появился в 50-60-е годы прошлого столетия. Его разработал американский стратегический центр «RAND». Главная цель – составление прогноза влияния новых технологий на ведение войны. Создатели метода: Олаф Хэлмер, Норман Дэлки, Николас Решер.

Кстати, названием технология обязана Дельфийскому оракулу. Это прорицатель при храме Аполлона, который находился в Дельфах. По древнегреческой мифологии, именно здесь Аполлон уничтожил змея Пифона. В роли оракула выступала пифия (жрица), но все ее слова толковались жрецами, служившими при храме.

Техника Дельфи относится к эвристическим методам принятия решений и количественным методам исследования.
В западных странах дельфийский метод прогнозирования пользуется популярностью. Чаще всего его используют в процессе стратегического планирования. На территории РФ он применяется редко и только крупными компаниями.

Есть 2 причины. Первая: в стране не принято проводить подобные мероприятия. Вторая: отсутствие специалистов в этой области. Годами экспертные комиссии и аналитики пытались подстроиться под мнение большинства. Тогда как метод Дельфи и другие подобные техники ставят задачу использовать креативный, а иногда и творческий подход к решению серьезных задач.

Что такое метод Дельфи?

По определению метод Дельфи – это инструмент для эффективного прогнозирования, планирования и управления, которым с успехом пользуются множество предприятий. Это метод экспертного оценивания, помогающий получить коллективное мнение максимальной надежности и точности. Назван он в честь Дельфийского Оракула, который, согласно мифологии, создал Аполлон для того чтобы его предсказания помогли одолеть могущественного змея Пифона.

Что такое метод Дельфи

Суть эффективного анализа

Метод условно должен включать в себя несколько частей, каждая из которых важна, для удовлетворения условий данной концепции необходимы следующие критерии: аналитики, грамотные эксперты, актуальная проблема.

Люди идут

Его суть заключается в том, что экспертам дается определенная ситуация, для которой можно подобрать решение методом “Дельфи”. Каждый участник группы должен предложить свой способ выхода из проблемной ситуации. Особенностью данного анализа является тот факт, что эксперты обязаны прийти к общему выводу. Каждый из них индивидуально работает с ситуацией, затем озвучивает ее в коллективе. Они обязаны обмениваться мыслями и идеями до тех пор, пока не придут к общему знаменателю.

Основные этапы

Основные этапы метода дельфи

Как сказано выше, метод Дельфи относится к группе эвристических и количественных методов исследования и составления прогнозов. Поэтому его применение начинается с подбора участников. Понадобится 2 группы:

  1. Специалисты, высказывающие мнение по поводу решаемой проблемы.
  2. Аналитики, изучающие мнение экспертов. Они принимают окончательное решение.

Процесс состоит из 3 этапов.

Предварительный

Первое, что нужно сделать, — собрать экспертов. Ограничений касательно их количества нет. Но рекомендуется приглашать не более 20 человек.

Основной

План действий на втором этапе выглядит так:

  1. Экспертная группа проводит исследование проблемы. Участники разбивают один главный вопрос на несколько мелких. После этого аналитики изучают их суть. Группируют вопросы по распространенности, важности, составляют опросник.
  2. В игру вступают эксперты. Они проводят анализ опросника, проверяют, все ли учтено или нужно еще что-то добавить. Возможно, понадобится поиск дополнительной информации. В итоге аналитики получают на руки 20 ответов и приступают к работе над вторым опросником.
  3. Вопросы снова попадают к экспертной группе. Но теперь цель – предложить пути решения задачи, а также изучить варианты коллег. Здесь учитывают множество факторов: ресурсы, актуальность предложенных идей, возможности. Задание для аналитической группы: исследовать экспертные мнения, выделить среди них похожие. Если идея сильно отличается от других, аналитики сообщают об этом. Их коллеги пересмотрят ее и, возможно, изменят позицию.

Этапы повторяют до тех пор, пока первая группа не придет к единому мнению. Напоследок участники анализируют проделанную работу, составляют план действий по практическому применению их идеи.

Аналитический

На этом этапе метода дельфийского оракула проводится оценка деятельности обеих групп, окончательная проверка экспертных оценок, выбранного решения.

Критика — с 60-х[править | править код]

  • беззащитность эксперта перед организационной группой — слишком большие полномочия.
  • мнение большинства — не обязательно правильное; креативное решение — меньшинства, наиболее эффективные решения — отбрасываются.
  • анализ — много времени. Минимум на каждый этап — сутки. Не подходит для оперативного анализа.
  • возрастает конформизм экспертов — стремление попасть в большинство.
  • возможность манипуляции экспертами организационной группой.

Противодействия:

  • подбор организационной группы из различных структур, научных и социальных школ,
  • ту же проблему прогнать через другую группу,
  • самые оригинальные решения можно включать в качестве дополнений.

Это метод не оперативного, а стратегического планирования.

Применяется в стратегическом планировании в:

  • технике,
  • футурологии,
  • бизнесе.

Экспертные методы Дельфи

Экспертные методы Дельфи

В менеджменте есть 2 модификации метода Дельфи. Один из примеров – бесструктурный этап. Он применяется в том случае, когда стоит задача найти определенное решение, а участники при этом не могут сразу правильно увидеть, оценить проблему.

Менее распространена методика «Экспресс-Делфи». Как видно из названия, она помогает сэкономить массу времени. Это главное достоинство. Процесс занимает несколько часов. Но здесь есть одна важная особенность: работа требует наличие технической базы.

Эксперты занимаются изучением проблемы — каждый за собственным компьютером. Все компьютеры при этом связаны с руководителем. После того, как появятся первые предложения, аналитикам в ускоренном режиме нужно проверить деятельность коллег. Скорость здесь играет самую важную роль.

Необходимость быстродействия – это главный недостаток «Экспресс-Делфи». Эксперты могут не успеть тщательно изучить, обдумать проблему.

Технические недостатки[править | править код]

  • время проведения зависит от средств коммуникации экспертов.
  • опрашиваемые должны уметь хорошо излагать свои мысли, так как данный метод основан на получении информации в письменной форме, в противном случае обработка затрудняется
  • анкетируемые должны обладать высоким уровнем мотивации, так как отсутствует поощрение за заполнение анкет.

Методы коллективных экспертных оценок

Методы коллективных экспертных оценок помимо дельфийского подразделяются на коллективный метод генерирования идей, метод экспертных комиссий.  

Под методом коллективного генерирования идей обычно подразумевают так называемую «мозговую атаку» и «мозговой штурм».

Во время использования данного метода происходит совместное обсуждение проблемы и поиск ее решения. Существуют некоторые правила организации «мозговой атаки».

  • на первом этапе допускается предложение любых идей и не допускается критика;
  • регламент выступлений – не более 2 минут;
  • допускаются повторные выступления участника;
  • выступающие продолжают развитие предыдущих мыслей;
  • постоянная запись всех высказываний и идей;
  • подведение промежуточных итогов.

Этапы проведения:

  1. Определение состава участников без обязательной специализации и принадлежности к одному возрасту и профессии. 
  2. Описание проблемы. Необходимо указать причины возникновения, степень изученности, поставить цель и предложить возможные варианты решений.
  3. Озвучивание идей участниками опроса с письменным протоколом для большей результативности.
  4. Обобщение информации: определение повторов, выделение перспективных мыслей, подборка по группам.
  5. Обсуждение и критика идей по списку.
  6. Рассмотрение замечаний, выделение и обсуждение главного, принятие окончательного решения.

Методы коллективных экспертных оценок

Рекомендации

  • Привлекать рекомендуется компетентных специалистов, которые обладают знаниями касательно возникшей проблемы. Только не общей направленности, а из разных сфер, тогда можно будет рассмотреть вопрос под разными углами, согласовав выводы экспертов.
  • Прежде, чем начинать работу, используя метод Делфи, необходимо уточнить такую информацию:
    — Как именно будет строиться работа? То есть, где будут находиться участники, каким образом они будут анализировать информацию и куда отправлять результаты.
    — Кто будет ответственным за принятие окончательного решения? Кто решит, что достаточно и пора завершать этот процесс?
    — Существуют ли ещё способы, с помощью которых возможно было бы проконтролировать и перепроверить результаты?
    — Примерно, какие варианты вы ожидаете получить в итоге? Чего именно добиваетесь?
  • Предоставляйте специалистам время для того чтобы подумать над своими выводами, а также приобрести новые знания по теме.

Метод Дельфи и метод Паттерн

Суть метода Дельфи и метода Pattern схожи и направлены на получение данных о прогнозах и рисках в том или ином вопросе и его решении. Паттерн подразумевает разделение проблемы на несколько составляющих и создание иерархического дерева. Оба метода являются основными, но имеют ряд существенных отличий.

  1. В методе Дельфи принимает участие в среднем от 5-7 экспертов, в методе Паттерн их может быть до 20-ти.
  2. В первом случае осуждение происходит анонимно, каждый эксперт сам дает оценку, а во втором случае – это коллективное обсуждение.
  3. На каждом этапе опроса или анкетирования в первом методе каждый раз привлекаются новые эксперты, в методе Паттерн экспертов не меняют.

метод Паттерн схема

Примечания[править | править код]

  1. Дельфийский метод // Большой Энциклопедический словарь (рус.). — 2000.

Практическое применение

применение дельфийского метода

Кажется, что метод Дельфи слишком сложен в применении. Но на самом деле это не так. Приведем пример. Допустим, нефтяная компания планирует заменить водолазов, проверяющих платформы под водой, роботами. Нужно оценить целесообразность такой замены.

Для работы по методу Дельфи компания собирает экспертную группу. В ее состав входят водолазы, инженеры, конструкторы роботов и другие специалисты. Задача – определить, в какой промежуток времени можно автоматизировать проверку.

После первого круга обсуждений эксперты обозначили отрезок с 2000 по 2050 год. Из-за слишком большого разброса процедуру пришлось повторить. После дискуссии, оценки всех предложений и идей был составлен окончательный прогноз. Согласно ему, возможность использования роботов появится в 2005-2015 году. За это время компания успеет составить план действий и провести предварительную подготовку к внедрению новых технологий.

Проблемы использования в России

Применение метода “Дельфи” и примеры решения задач в России обнаружены в очень малом количестве. Это связано с тем, что:

  • В Советском Союзе аналитика была процессом централизованным, из-за чего конформизм многих экспертов чрезвычайно высок. Это говорит о том, что шанс выделить неверное решение проблемы увеличивается.
  • Отсутствие независимых аналитических структур.
  • Отсутствие традиций. Метод “Дельфи” не был востребовал в России ранее, что означает малую вероятность его распространения на сегодняшний день.
Рейтинг
( 1 оценка, среднее 5 из 5 )
Загрузка ...