Портал для специалистов сферы защиты детства

Методология Стандарта доказательности социальных практик

В основу общей методологии доказательного анализа практики положена модель сбора и анализа данных, позволяющая комплексно подходить к получению новых и оценке имеющихся сведений о замысле, реализации и социальных результатах практики. Методология описана в трех разделах, каждый из которых последовательно разворачивает логику сбора и анализа доказательных данных.

Первый раздел методологии задает четыре ключевых направления доказательного анализа, позволяющих оценить уровень доказательности социальной практики.

I. Регламентированность практики

— это аргумент в пользу обоснованности финансирования, а также возможность активнее распространять свой опыт и технологии.

  • Наличие и качество документов, в которых закреплены процедуры практики
  • Формы и методы обеспечения качества работы специалистов, реализующих практику
  • Формы и методы профилактики в области возможного негативного влияния и рисков
  • Соблюдение обязательных требований и процедур в процессе реализации практики
Пояснения:

Данный компонент сфокусирован на анализе стандартизированности процедур практики — насколько действия, осуществляемые в рамках практики, носят устоявшийся, предсказуемый и воспроизводимый характер.

Максимальная выраженность первого компонента у практики означает высокую степень повторяемости действий в рамках практики, наличие регламентов по основным направлениям деятельности, формализованных в методических рекомендациях и сопровождающих документах.

Свернуть
II. Обоснованность практики
  • Непротиворечивость / логичность / убедительность причинно-следственной связи между реализацией практики и социальным результатом, который достигается за счёт её применения
  • Обоснованность практики с точки зрения ценностей, потребностей, опыта и знаний благополучателей (детей и их семей)
  • Обоснованность практики с точки зрения специалистов-практиков, работающих с детьми и их семьями
  • Обоснованность практики с точки зрения научных теорий и концепций, результатов научных исследований в данной области
Пояснения:

Данный компонент сфокусирован на оценке замысла практики — насколько действия, осуществляемые в рамках практики, соответствуют потребностям благополучателей и позволяют достигать заявленных социальных результатов.

Максимальная выраженность первого компонента у практики означает чёткое понимание за счёт чего именно, почему заявленные социальные результаты могут быть достигнуты за счёт предпринимаемых действий и обоснованность этого видения.

Свернуть
III. Результативность практики (достижение социальных результатов)
  • Степень достижения заявленного социального результата
  • Устойчивость социального результата;
  • Отсутствие негативного эффекта или вреда для благополучателей и сообщества в целом.
Пояснения:

Данный компонент ориентирован на оценку результативности практики — в какой мере достигаются заявленные социальные результаты. Максимальная выраженность данного компонента у практики означает:

  • наличие заявленных социальных результатов в сфере детства, достигаемых за счёт реализации практики;
  • устойчивость достигаемых социальных результатов в краткосрочной и долгосрочной перспективе
  • отсутствие негативного эффекта от реализации практики для благополучателей или сообще-ства в целом, неухудшение положения целевой группы.
Свернуть
IV. Обоснованность данных о социальных результатах практики
  • Подтверждение социальных результатов данными из разных источников;
  • Системный характер процедур сбора и анализа данных;
  • Корректность применения исследовательских инструментов
Пояснения:

Данный компонент направлен на оценку убедительности представленных доказательств от-носительно результативности практики, в какой мере удачен выбор методов сбора и анализа данных, насколько строгой является методология оценочных исследований, достаточно ли данных и пр.

Максимальная выраженность данного компонента практики означает, что доказательства о достижении практикой социальных результатов получены:

  • на основе качественно разработанного и проведённого сбора данных (включая, оценочные исследования, прикладные исследования, сбор обратной связи со стейкхолдеров и т.д.).
  • на основе системного, комплексного сбора данных, сочетающих количественные и качественные методы исследования;
  • с вовлечением в разработку и проведение оценочных исследований заинтересованных сторон, включая благополучателей (в особенности, детей) и специалистов-практиков, непосредственно работающих с благополучателями;
  • с учетом включения наиболее полной выборки, отражающей демографический срез благополучателей Практики;
  • с использованием инструментов и методов, соответствующих особенностям благополучателей, характера социальных результатов (подходящих к показателям социального результата;
  • на основе длительных или повторяемых исследований (как минимум, спустя 6 месяцев после завершения реализации практики для благополучателя), фиксирующих сохранение или улучшение социального результата для целевой группы;
  • оценка достижения социальных результатов практики проведена не только силами команды исполнителей практики, но и подкреплена внешней оценкой;
  • учтены внешние факторы, влияющие на достижение социального результата и не относящиеся к активностям в рамках Практики.;
  • есть сведения, подтверждающие эквивалентность контекста, характеристик исследуемой и заявленной целевой группы благополучателей; перечня, последовательности и объёма реализуемых действий в рамках практики; а также требований, предъявляемых к специалистам, работающим с благополучателями при реализации практики;
Свернуть
 

Второй раздел методологии задает принцип соотнесения данных на разных этапах доказательного анализа: достоверность доказательной информации проверяется путем обязательного соотнесения данных, полученных различными методами из разных источников. Согласно этому принципу область доказанного знания о практике определяют факты, имеющие одновременное подтверждение из следующих источников:

Данный принцип также предписывает обращение ко всем трем основаниям на различных этапах доказательного обоснования практики. Изменение процедур на основе обратной связи от благополучателей, проведенной профессиональной экспертизы, данных мониторинга, оценочных и прикладных исследований является естественным и желательным для социальной практики, собирающей доказательную базу.

Данные о социальных результатах практики, полученные с помощью различных исследовательских инструментов, с опорой на анализ современной социальной теории и практики, профессиональную экспертизу и мнение благополучателей, с одной стороны обеспечивает более объемный и достоверный характер сведений, с другой – валидность и надежность доказательной информации.

Третий раздел методологии предлагает основания для того, чтобы отнести социальную практику к одному из уровней доказательности. В зависимости от качества и полноты сведений о практике и ее социальных результатах, строгости и системности процедур сбора и анализа данных, возможно распределение практик по различным уровням.

Уровень доказанности социальных практик

Пользуясь данным стандартом, можно оценить степень «доказательности» социальной практики на любой стадии ее развития. Учитывая то, что в настоящее время в профессиональном сообществе не прекращаются дискуссии о том, какие именно доказательства считать сильными, надёжными, достоверными, Стандарт позволяет пользователю вынести предварительное суждение об имеющихся сведениях о результативности практики, тем не менее, любые представленные данные нуждаются в дополнительной экспертизе. Можно ли считать результаты социальной практики «доказанными» — это решение, которое может приниматься только в рамках процедуры профессиональной верификации на основе предоставленных материалов.

Уровень доказательности практики А
НАЧАЛЬНЫЙ
В
БАЗОВЫЙ
С
ПРОДВИНУТЫЙ
Компоненты доказательного анализа
1.
РЕГЛАМЕНТИРОВАННОСТЬ ПРАКТИКИ
1.1. Наличие и качество документов, в которых закреплены процедуры практики
1.1.1.Практика имеет описание: ценности практики, благополучатели и их потребности, цели, задачи и комплекс действий в рамках практики А+1.1.2Описаны базовые регламенты практики: основные алгоритмы и процедуры, риски и ограничения, требования к реализации и специалистам B+1.1.3Базовые регламенты практики формализованы в методических рекомендациях и сопровождающих документах
1.2.Формы и методы обеспечения качества работы специалистов, реализующих практику 1.2.1.Обучение новых специалистов проходит в процессе реализации практики с опорой на опыт носителей практики А+1.2.2.Обучение новых специалистов проходит с опорой на описанные базовые регламенты практики B+1.2.3.Обучение новых специалистов проходит в рамках специально организованного взаимодействия по специальной программе, включенной в базовые регламенты практики и имеющей методическое обеспечение.
1.3. Формы и методы профилактики в области возможного негативного влияния и рисков 1.3.1.Проведен анализ рисков A+1.3.2Практика регламентирует действия специалистов в области возможного негативного влияния и рисков B+1.3.3Профилактика негативного влияния включена в базовые регламенты практики и методические рекомендации для специалистов
1.4. Соблюдение обязательных требований и процедур в процессе реализации практики; 1.4.Соблюдение обязательных требований и процедур в процессе реализации практики; А+1.4.2.Реализация практики соответствует описанным требованиям и регламентам, но есть незначительные отклонения B+1.4.3.Реализация практики полностью соответствует описанным требованиям и регламентам

 

Уровень доказательности практики А
НАЧАЛЬНЫЙ
В
БАЗОВЫЙ
С
ПРОДВИНУТЫЙ
Компоненты доказательного анализа
2.
ОБОСНОВАННОСТЬ ПРАКТИКИ
2.1. Непротиворечивость / логичность / убедительность причинно-следственной связи между реализацией практики и социальным результатом, который достигается за счёт её применения;
2.1.1.Описан механизм действия практики: за счет чего достигаются изменения в ситуации благополучателей A+2.1.2.Описана цепочка социальных изменений (от непосредственных результатов, к социальным результатам и влиянию) B+2.1.3.Описана теория изменений: причинно-следственная связь между действиями в рамках практики и достигаемым социальным результатом за счёт её применения
2.1.4Приведен перечень социальных результатов и их показателей. A+2.1.5.Социальные результаты практики систематизированы, к каждому социальному результату разработаны показатели. B+2.1.6.Разработана система мониторинга и оценки результатов практики.
2.2. Обоснованность практики с точки зрения ценностей, потребностей, опыта и знаний благополучателей (детей и их семей); 2.2.1.Практика реализуется и корректируется на основе экспертного понимания специалистов о потребностях благополучателей A+2.2.2.Практика реализуется и корректируется с опорой на содержание обратной связи от конечных благополучателей и ключевых стейкхолдеров B+2.2.3.Практика реализуется и корректируется на основе проведенных исследований потребностей конечных благополучателей и ключевых стейкхолдеров
2.3. Обоснованность практики с точки зрения специалистов-практиков, работающих с детьми и их семьями; 2.3.1.Практика реализуется с опорой на профессиональный опыт и ценности носителей практики, регулярную профессиональную рефлексию специалистов. A+2.3.2.Практика соотнесена с подобными социальными практиками, проведен анализ существующего опыта, результаты учтены в обосновании практики B+2.3.3.Замысел и теория изменений практики прошли внешнюю профессиональную экспертизу
2.4. Обоснованность практики с точки зрения научных теорий и концепций, результатов научных исследований в данной области. 2.4.1.Практика обоснована с точки зрения современных теорий социальных наук; A+2.4.2.В обосновании практики учтены данные уже имеющихся исследований, подтверждающих эффективность методов (действий), используемых в практике B+2.4.3.Практика обоснована данными первичных эмпирических исследований, подтверждающих обоснованность ее применения:

 

Уровень доказательности практики А
НАЧАЛЬНЫЙ
В
БАЗОВЫЙ
С
ПРОДВИНУТЫЙ
Компоненты доказательного анализа
3.
ДОСТИЖЕНИЕ СОЦИАЛЬНЫХ РЕЗУЛЬТАТОВ
3.1. Степень достижения заявленного социального результата и его устойчивость;
3.1.1.Описаны изменения в ситуации конечных благополучателей, участвующих в реализации практики. Изменения в ситуации благополучателей соответствуют заявленным социальным результатам. A+3.1.2.Имеются данные о характере и динамике социальных изменений в ситуации благополучаталей в краткосрочной перспективе после окончания проекта B+3.1.3.Имеются данные о динамике и характере изменений в жизни благополучателей и социального влияния практики в долгосрочной перспективе
3.2. Отсутствие негативного эффекта или вреда для благополучателей, сообщества в целом 3.2.1.Имеются данные о возможных побочных эффектах и негативном влиянии практики / или их отсутствии от благополучателей A+3.2.2.Имеются данные профессиональной экспертизы о побочных эффектах и негативном влиянии практики на ситуацию благополучателей и сообщества в целом / или их отсутствии B+3.2.3.Имеются данные эмпирических исследований о побочных эффектах и негативном влиянии практики на ситуацию благополучателей и сообщества в целом / или их отсутствии

 

Уровень доказательности практики А
НАЧАЛЬНЫЙ
В
БАЗОВЫЙ
С
ПРОДВИНУТЫЙ
Компоненты доказательного анализа
4.
ОБОСНОВАННОСТЬ ДАННЫХ О СОЦИАЛЬНЫХ РЕЗУЛЬТАТАХ
4.1. Подтверждение социальных результатов данными из разных источников
4.1.1.Достижение практикой социальных результатов подтверждено мнением специалистов, реализующих практику A+4.1.2.Достижение практикой социальных результатов подтверждено мнением конечных благополучателей. B+4.1.3.Достижение практикой социальных результатов подтверждено проведенным оценочным исследованием и/или исследованием, проведенным с использованием научной методологии
4.2. Системный характер процедур сбора и анализа данных; 4.2.1.Проводится регулярный сбор данных об изменении ситуации благополучателей. A+4.2.2.Проводится регулярный сбор данных достижении практикой социальных результатов по показателям социальных результатов B+4.3.3.Описание методологии сбора данных носит системный характер. Выбор методов сбора данных логически связан со стратегическими задачами сбора доказательств. Процедура сбора данных полностью зафиксирована документально и позволяет судить о системности применения методологии.
4.2.4.Проводятся срезы данных до и после реализации практики с целью анализа динамики и характера изменений в ситуации благополучателей. B+4.3.6.Выборка обоснована выборки с точки зрения репрезентативности и соотнесена со стратегическими задачами сбора доказательств.
B+4.3.9.Инструмент(-ы) используется (-ются) в комплексе с другими инструментами и/или источниками данных (в соответствии с принципами триангуляции) для оценка одного или нескольких социальных результатов.
B+4.3.12.Анализ выполнялся группой специалистов и существуют документы, отражающие каждый аналитический шаг, позволяющие провести аудит проделанного анализа внешними специалистами при необходимости.
4.3. Корректность применения исследовательских инструментов: 4.3.1Имеется информация о процедуре сбора данных, описывающая ключевые этапы и методы сбора данных A+4.3.2Описание процедуры сбора данных включает: описание методологии, выборки, инструментов сбора и анализа данных. Есть объяснение по какому принципу именно эти методы и дизайн исследования были выбраны для сбора данных
4.3.4.Описана выборка исследования A+4.3.5.Описание выборки содержит информацию о том, сколько респондентов, из каких групп стейкхолдеров, какой охват выборки в отношении общего кол-ва благополучателей/ стейкхолдеров и т.д.
4.3.7.Имеется описание инструментов сбора данных (указан тип инструмента и его название). Приложена копия инструмента. A+4.3.8.Инструмент(-ы) проходил (-и) пилотирование на группе благополучателей. Имеются сведения о его валидности на основе эмпирических исследований и опыта организации.
4.3.10.Имеется общее описание процесса анализа данных (кто его выполнял, какие аналитические приемы использовались (например, сравнение в отношении бенчмарка) и каким образом фиксировались результаты (например, таблицы, диаграммы итд) A+4.3.11.Имеется обоснования выбора методов анализа, почему для этого типа данных и социальных результатов использовались именно эти методы анализа.
Свернуть
Формат описания практики

Формат описания практики в доказательном ключе подразумевает ответы на контрольные вопросы, перечисленные ниже. Ответы на контрольные вопросы, составленные в соответствии с методологией Стандарта, позволяют выносить суждения о полноте и достоверности сведений о степени достижения заявленных социальных результатов в процессе реализации практики, а именно:

  • обоснованности и проработанности замысла практики;
  • интеграции знаний и опыта благополучателей, специалистов-практиков, а также научных знаний и результатов научных или прикладных исследований при разработке и оценке результатов практики;
  • достижении социальных результатов за счёт применения практики;
  • качестве имеющихся доказательств о достижении позитивных изменений в жизни благополучателей (социальных результатов).

В данном приложении приводится только перечень вопросов, подробные рекомендации по заполнению формата вы сможете найти в Методическом руководстве по заполнению формата. Скачать формат

1. Общая информация о практике
  • Как называется практика?
  • Краткая аннотация практики.
  • Кем, где и когда была первоначально разработана практика (если есть информация)?
  • Где проходила реализация практики (страны, регионы, города, сёла и пр.)?
  • Когда началась реализация практики? Когда закончилась реализация практики (если практика больше не реализуется)
  • К какому типу можно отнести вашу практику? Инновационная (в процессе разработки), пилотная (в процессе апробации), устоявшаяся.
  • Существуют ли похожие практики?
Свернуть
2. Краткое описание практики
  • Ценности практики: какие ценностные основания лежат в основе вашего подхода к решению проблем и работе с благополучателями?
  • Благополучатели: Какие группы являются основными благополучателями практики? Какие особенности, характеристики благополучателей важно учитывать при реализации практики?
  • Проблемы и потребности благополучателей: На решение каких проблем или удовлетворение каких потребностей благополучателей ориентирована практика?
  • Социальные результаты: Что должно измениться в жизни благополучателей за счёт реализации практики (каких социальных результатов планируется / планировалось достичь)?
  • Деятельность: Какие конкретные действия осуществляются в рамках реализации практики с целью достижения заявленных социальных результатов?
  • Механизм воздействия практики: за счет чего достигаются изменения в ситуации благополучателей?
  • Показатели социальных результатов практики: приведите ключевые показатели по каждому социальному результату.
  • Факторы, влияющие на достижение социальных результатов: Что благоприятствует, а что препятствует достижению каждого социального результата практики?
  • Риски реализации практики: Какие меры позволяют минимизировать риски?
Свернуть
3. Регламентированность практики
  • В каких материалах представлено полное описание практики?
  • В какой степени данные материалы актуальны и востребованы?
  • Какой минимальной базовой и дополнительной профессиональной подготовкой должны обладать исполнители практики?
  • Какие используются формы и методы обеспечения качества работы специалистов, реализующих практику?
  • Имеется ли методическое обеспечение профессиональных образовательных программ для специалистов??
  • Каким образом регламентируются действия специалистов в области возможного негативного влияния и рисков практики?
  • Какие есть расхождения между существующими регламентами и их реализацией?
Свернуть
4. Обоснованность практики
  • Каким образом практика обоснована с точки зрения интересов и потребностей благополучателей?
  • Какие есть данные, подтверждающие обоснованность применения практики с точки зрения профессионального опыта и экспертизы?
  • Какие научные теории, результаты научных или прикладных исследований подтверждают обоснованность применения практики для благополучателей практики?
Свернуть
5. Данные о достижении социальных результатов и влиянии практики
  • Какие позитивные изменения (социальные результаты) можно констатировать в жизни благополучателей благодаря применению практики?
    • Имеются ли данные о позитивных изменениях ситуации благополучателей с точки зрения достижения указанного социального результата?
    • Каким образом были получены сведения о достижении социального результата? Какие материалы могут их подтвердить?

Если данные получены с использованием исследовательского инструментария, необходимо приложить описание и обоснование методологии исследования / оценки результата, включая:

  1. Описание того, как, когда и сколько раз проводился сбор данных. Использовалась ли одна группа, состоящая только из участников Практики? Либо были использованы группы сравнения или контрольные группы?
  2. Кто из благополучателей стал источником данных (выборка)? Если не все участники стали источником данных, то по какому принципу были выбраны те, кто вошли, отличаются ли они от тех участников, которые не вошли в выборку. Сколько участников приняли участие?
  3. Какими инструментами собирались данные? Почему были использованы именно эти инструменты?
  4. Как и кем проводился анализ данных? Какие методы были использованы?
    • Как долго сохраняется достигнутый социальный результат после окончания реализации практики? Какова устойчивость результата?
    • В случае, если социальный результат является отложенным по времени (проявляется уже после реализации практики), каков срок их наступления? Как вы об этом узнаёте или узнали?
  • Возможно ли выделить вклад вашей практики в достижение социальных результатов у благополучателей?
  • Как благополучатели относятся к социальным результатам, достигнутым с помощью практики?
  • Наблюдались ли в ходе реализации практики негативные, нежелательные эффекты (результаты) для благополучателей?

 

Свернуть
Свернуть
Инструмент самодиагностики

Уважаемые коллеги, перед вами диагностический инструмент, который поможет определить текущий уровень доказательности вашей социальной практики, а также направления ее развития в доказательном ключе.

Пройти самодиагностику онлайн можно по ссылке.

Ответы на контрольные вопросы позволят осуществить самодиагностику вашей практики.

Адрес электронной почты необходим для отправки вам копии ваших ответов.
Скачать инструмент в формате Word.

Свернуть