Отбор исследований для систематического обзора и их оценка (М.О. Мид и В.С. Ричардсон )

Translated, with permission of the ACP — ASIM, from: Maureen O. Meade, W. Scott Richardson. Selecting and appraising studies for a systematic review. Ann Intern Med 1997;127:531—7.

После тщательного поиска публикаций по проблеме, которую планируется рассмотреть в систематическом обзоре, нужно отобрать подходящие исследования и затем оценить их. Обзоры всегда ретроспективны, поэтому в них высока вероятность систематических и случайных ошибок. Методы отбора и оценки данных должны быть строгими, как можно более объективными и воспроизводимыми. Перед отбором исследований следует точно сформулиро вать основной клинический вопрос и определить критерии включения. Целесообразно заранее подготовить подробный протокол отбора, отражающий тип включаемых исследований и публикаций. Критерии включения перечисляют в специально разработан ных формах. На основании этих критериев анализируют все оригинальные исследования, каждое из них обычно рассматривают независимо друг от друга два сотрудника, участвующих в подготовке обзора. Прежде чем критически оценивать данные включенных в обзор исследований, решают, какие клинические и методологические особенности исследований требуется документально подтвердить. После выбора методов оценки разрабатывают специальные формы и подробный протокол оценки. Для уменьшения вероятности ошибок используют следующие способы: дублирование оценки независимыми экспертами; анализ результатов и других особенностей оригиналь ных исследований слепым методом; обращение к авторам публикаций о конкретном исследовании за разъяснением возникших вопросов.

В конечном счете нужно отобрать, оценить и представить оригинальные исследования таким образом, чтобы читатели могли решить, применимы ли результаты обзора в обычной клинической практике и надежны ли его выводы.

В предыдущей статье этой серии описаны методы поиска литературы по клиническому вопросу, которому посвящен систематический обзор [1]. Здесь мы обсудим дальнейшие два этапа подготовки обзора: отбор оригинальных исследований и их оценку. На каждом этапе принимаются важные решения, способные повлиять на конечный результат. Некоторые из этих решений достаточно просты, другие более трудны и могут привести к ошибкам. На первом этапе определяют, пригодны ли исследования для ответа на поставленный в обзоре клинический вопрос; на втором оценивают различные особенности организации исследований и анализа полученных данных.

Чтобы быть уверенными в результатах своей работы, авторы обзора должны использовать научно обоснованные методы, обеспечивающие воспроизводимость (при повторении процедуры результат не меняется), непредвзятость (выводы не зависят от результатов исследования) и точность (выводы однозначны) [2]. Именно научно обоснованные принципы отбора и оценки исследований отличают систематические обзоры от обычных, несистематичес ких обзоров литературы. Некоторые из предлагаемых в данной статье методов недостаточно разработаны, их детальное изложение можно найти в оригиналь ных исследованиях по этому вопросу.

Отбор исследований для систематических обзоров

При тщательном поиске исследований, который проводят с помощью методов, представленных в предыдущей статье этой серии [1], можно выявить очень много публикаций. Высокая чувствительность этих методов позволяет найти большинство, а в идеальном случае — все исследования по интересую щей проблеме. С другой стороны, вследствие широты поиска специфичность его невелика, т.е. среди обнаруженных публикаций неизбежно будут и те, которые не относятся к поставленному в обзоре клиническому вопросу. Поэтому следующая задача авторов — сортировка всех найденных публикаций и отбор тех, которые будут включены в обзор. Сделать это можно с помощью методов планирования и проведения отбора, повышающих, по сути, специфичность поиска (табл. 1 и 2).

Таблица 1. Планирование отбора исследований для систематического обзора

Правильно сформулируйте основной клинический вопрос
Выберите критерии включения, соответствующие основному клиническому вопросу
Определите тип исследований, которые следует включать в обзор
Определите критерии, отражающие тип и форму публикаций об оригинальных исследованиях
Разработайте специальные формы для отбираемых исследова ний и предварительно оцените их полноту
Составьте подробный протокол отбора

Таблица 2. Практические рекомендации по отбору и оценке исследований

Следуйте протоколу и фиксируйте ход работы
Поручите анализ каждого исследования двум независимым экспертам
Рассмотрите возможность применения слепого метода при анализе результатов исследований
Свяжитесь с авторами, чтобы подтвердить все характеристики исследования

Адрес для корреспонденции: Dr. M.O. Meade, The Wellesley-Central
Hospital, Room 244, Jones Building,
150 Wellesley Street East, Toronto, Ontario
M4Y 1J3, Canada.

Правильно сформулируйте основной клинический вопрос

Авторы обзора должны убедиться, что формулировка клинического вопроса, которому будет посвящен обзор, содержит четыре параметра [3, 4]: определены характеристики больных, предмет изучения (оцениваемое вмешательство), сравниваемые вмешательства и клинические исходы. Эти параметры облегчают отбор исследований.

Выберите соответствующие клиническому вопросу критерии включения

В качестве примера рассмотрим систематический обзор, посвященный оценке эффективности конкретной медикаментозной терапии при конкретном заболевании (например, эффективности применения ингибиторов H⁺/K⁺-АТФазы при желудочно-пище водном рефлюксе). Во-первых, критерии включения должны отражать клиническую характеристику больных: например, в исследование включают больных с любыми симптомами рефлюкса или только больных с классическими симптомами, или больных, у которых наличие рефлюкса подтверждено с помощью определенных диагностических методов. Дополнительными критериями включения могут быть наличие или отсутствие сопутствующих заболеваний, различные демографические, географические или социально-культурные факторы, клиническая база (например, стационарные и амбулаторные больные).

Во-вторых, авторы обзора должны определить критерии включения, отражающие характеристики основного и сравниваемого вмешательств. В нашем примере речь может идти об отдельных лекарствен ных средствах или о всех препаратах данного класса; о любых или строго определенных дозах и схемах приема; о сравнении изучаемого лекарственного средства с препаратами других классов (например, антациды или антагонисты Н₂-рецепторов), с плацебо, или с тем и другим.

В-третьих, нужно заранее определить интересующие клинические исходы и выбрать критерии их оценки. В нашем примере авторам обзора следует сначала учесть все изучавшиеся в оригинальных исследованиях исходы (излечение желудочно-пищеводного рефлюкса или частота его рецидивирования, выявляемые эндоскопически либо клинически). Затем они должны решить, какие исследования включать в обзор: описывающие любые или только строго определенные, клинически значимые исходы (скажем, отсутствие симптоматики рефлюкса в течение года).

После рассмотрения каждого из параметров основного клинического вопроса следует точно сформулировать все критерии включения. Недостаточно четкая формулировка увеличивает вероятность ошибочных результатов обзора [5, 6]. Читателю чрезвычайно важно знать критерии включения, только так можно решить, применимы ли результаты обзора в обычной клинической практике.

Определите тип исследований, включаемых в обзор

Определив критерии включения, отражающие основной клинический вопрос систематического обзора, авторам следует решить, каков должен быть тип включаемых исследований. В идеале надо отбирать те оригинальные исследования, которые обеспечивают наиболее достоверные результаты. Например, для оценки истинной эффективности лечения надо включать в обзор рандомизированные испытания [7], поскольку благоприятные и неблагоприят ные последствия в них оцениваются точнее, чем в когортных исследованиях, исследованиях случай—контроль и описаниях серий случаев [8]. Однако рандомизированных испытаний, посвященных оценке неблагоприятных последствий лечения, может не оказаться [9]. Поэтому необходимо проанализировать все типы исследований, которые позволяют получить ответ на поставленный вопрос. Возможно, первоначальные критерии придется изменить, чтобы включать и обсервационные исследования.

Определите критерии, отражающие тип и форму публикаций об оригинальных исследованиях

При подготовке обзора авторам надо обсудить также вопросы, связанные с типом и формой отбираемых публикаций. В идеале материалы всех включенных в обзор исследований должны быть опубликованы в виде статей в рецензируемых журналах. Однако результаты некоторых исследований публикуются только в виде резюме, в нерецензируемых журналах или вообще не публикуются. При планировании поиска литературы нужно решить, включать ли такие работы в обзор. Включение всех исследова ний, в том числе неопубликованных, и их строгая критическая оценка позволяют свести к минимуму систематическую ошибку, связанную с преимущественной публикацией положительных результатов [10—12]. Кроме того, результаты одного и того же исследования могут быть опубликованы несколько раз, поэтому нужно запланировать этап поиска и исключения повторяющихся публикаций [13]. Наконец, желательно, чтобы включение статьи в обзор не зависело от языка, на котором она опубликована, так как в противном случае тоже повышается вероятность систематической ошибки [14, 15]. К сожалению, время и ресурсы, требующиеся для перевода, имеются не всегда.

Разработайте специальные формы для отбираемых исследований и предварительно оцените их полноту

Уточнив критерии включения, можно разработать специальные формы, в которых они будут перечислены (см. рисунок). Использование этих форм упрощает процесс отбора, увеличивает его воспроизводимость и обеспечивает документирование решения, принятого относительно каждого из исследований. Форма должна быть ясной, простой в применении и воспроизводимой. Сначала составляют предварительный образец, который проверяют на случайной выборке исследований, выявленных в ходе поиска литературы. Проверку обычно проводят как минимум два независимых эксперта. Они сравнивают свои результаты, при наличии разногласий выявляют их причины и затем пересматривают форму. Если вносимые изменения существенны, проверку следует повторить.

Образец формы, который заполняется при отборе исследований для систематического обзора, посвященного оценке эффективности применения b-блокаторов для вторичной профилактики кровотечений из варикозно-расширенных вен.

Источник: ____________________________

Уровень рассмотрения (пожалуйста, отметьте):

Заголовок статьи_____ Резюме_____Статья целиком_______

Фамилия автора обзора _______Дата обзора ______

Критерии включения
(пожалуйста, отметьте, отвечает ли исследование каждому из следующих критериев)

Группа больных Подтверждено ли документально наличие варикозного расширения вен желудка или пищевода?

Были ли в анамнезе случаи кровотечения из варикозно-расширен ных вен?

Изучаемое вмешательство Назначались ли пероральные b-блокаторы хотя бы в одной из групп больных?

Сравниваемое вмешательство Была ли группа больных, не получавших профилактической терапии?

Исходы Входили ли подтвержденные документально случаи кровотечения из варикозно-расширенных вен в число фиксируемых исходов?

Решение: Включить________________

Исключить_______________

Пожалуйста, укажите причины исключения: ____________________________________________

Составьте подробный протокол отбора исследований

Протокол отбора, входящий в состав общего протокола подготовки систематического обзора, облегчает работу авторов. Во-первых, в нем точно отражен основной клинический вопрос и сформулиро ваны критерии включения исследований, что позволяет позже возвращаться к этому документу для разрешения возникших разногласий. Во-вторых, в протоколе отбора указано, что, каким образом, когда, для чего и кем должно быть сделано. Таким образом обеспечивается координация работы всех участников подготовки обзора.

Если исследований очень много, процедуру отбора можно упростить. Сначала рассматривают все названия публикаций, затем тексты резюме и только после этого полные тексты статей, исключая на каждом этапе исследования, не удовлетворяющие одному или более из критериев включения. Причины исключения регистрируют в формах отбора. После выбора исследований для систематического обзора можно переходить к следующему этапу — их критической оценке. Эта процедура также требует тщательного планирования.

Оценка исследований, включаемых в систематический обзор

Оценка отобранных для обзора исследований преследует три цели:

сделать вывод о достоверности исследований;
выявить причины различий в результатах исследований;
обеспечить читателей достаточной информацией для принятия решения о том, применимы ли результаты систематического обзора в обычной клинической практике.

Для достижения этих целей надо снова тщательно проанализировать основные характеристики оригинальных исследований, для чего можно использовать подходы, представленные в табл. 2 и 3.

Таблица 3. Планирование оценки исследований

Изучите клинические особенности оригинальных исследований
Изучите качество методов, применяемых в оригиналь ных исследованиях
Разработайте и протестируйте формы для оценки исследований
Ведите подробный протокол

Изучите клинические особенности оригинальных исследований

Критерии включения исследований в системати ческий обзор четко определяют группу обследуемых, вмешательства и интересующие авторов исходы. При оценке каждого исследования дается более детальное описание этих характеристик: например, для больных — высокий, средний или низкий риск; для вмешательства — частота, степень и продолжитель ность; для исходов — их точное определение и детальность наблюдения. Различия в любых из этих особенностей могут стать причиной существенных различий в результатах оригинальных исследований. Однако выявленные при критической оценке различия можно использовать для анализа данных в подгруппах при проведении мета-анализа.

Рассмотрим, например, систематический обзор по оценке прогностической точности сцинтиграфии с таллием и дипиридамоловой нагрузкой при определении риска развития инфаркта миокарда после хирургических вмешательств на крупных сосудах. Поскольку точность метода зависит от степени риска развития инфаркта миокарда [16], авторам обзора следует в каждом исследовании документировать такие факторы риска, как возраст, наличие сахарного диабета, артериальной гипертонии, застойной сердечной недостаточности, нестабильной стенокардии и инфаркта миокарда в анамнезе. Кроме того, надо уточнять особенности применявшихся в исследовании методов (как вводился дипиридамол — внутривенно или перорально; какая разновидность компьютерной томографии выполнялась — плоскостная или однофотонная эмиссионная; каков был интервал времени между введением таллия и получением изображения). Следует также регистрировать особенности, связанные с оценкой исходов, в том числе точное определение инфаркта миокарда в каждом из исследований, полноту и продолжительность наблюдения за больными.

Изучите качество методов, применяемых в оригинальных исследованиях

О качестве (уровне доказательности) оригиналь ных исследований можно судить по применяемым в них методам. Под качеством исследования подразумевается, насколько его организация и проведение, а также анализ результатов сводят к минимуму вероятность систематических ошибок. Наличие таких ошибок может привести к неверным выводам в оригинальном исследовании и, следовательно, в систематическом обзоре. Поэтому авторам обзора необходимо критически оценить методы, применявшиеся во всех исследованиях. Чем выше методологическое качество, тем больше вероятность истинной оценки благоприятных и неблагоприятных последствий любого вмешательства, точности диагностического теста или прогноза. В систематических обзорах должны использоваться современные стандарты оценки методологического качества исследований, посвященных диагностике, лечению, прогнозированию и профилактике заболеваний (табл. 4) [4].

Опыт показывает, что на результаты исследова ний, посвященных лечению, влияют такие методологические особенности, как рандомизация, маскированная рандомизация и применение слепого метода [7, 17—19]. Рандомизация — случайное распределение больных по группам — обеспечивает одинаковую вероятность попадания каждого из включаемых в исследование больных в основную или контрольную группу. Маскированная рандомизация означает, что для исследователей исключена возможность повлиять на распределение включаемых больных в ту или иную группу. При использовании слепого метода информация о том, какое лечение назначено больному, отсутствует у врача, больного и нередко у лиц, обрабатывающих результаты исследования. Исследования, в которых не применяют рандомизацию [17, 18], маскированную рандомизацию [18, 19] и слепой метод [7], часто дают завышенную оценку эффективности вмешательств. В ряде анонимных сообщений описываются уловки, к которым прибегали исследователи, чтобы повлиять на результаты рандомизации или выяснить, в какую группу попал тот или иной больной [20]. В публикациях об оригинальных исследованиях рандомизация должна быть четко документирована, чтобы читатели и авторы обзора могли оценить эту важную методологическую характеристику. К сожалению, в большинстве публикаций это требование не выполняется [19, 21, 22].

Таблица 4. Краткая анкета для оценки методологического качества оригинальных исследований (приводится с разрешения авторов по [4])

Предмет исследования Вопрос

Лечение Распределялись ли больные по группам случайным образом (рандомизированно)?

Было ли наблюдение достаточно детальным и наблюдались ли до конца исследования все первоначально включенные больные?

Регистрировались ли все отклонения от протокола (выбывание, переход в другую группу, несоблюдение плана лечения и т.д.)?

Анализировались ли данные о больных в соответствии с протоколом исследования?

Диагностика Проводилось ли независимое слепое сравнение применявшегося диагностического метода с эталонным (“золотым стандартом”)?

В полной ли мере характеристики больных, включенных в исследование, соответству ют характеристикам больных, у которых диагностический метод будет применяться в клинической практике?

Оценка неблагоприятных воздействий Сходны ли были в группах сравнения основные факторы (помимо исследуемого), определявшие развитие конкретного исхода?

Одинаковы ли были вмешательства и критерии оценки исходов в сравниваемых группах?

Прогноз Была ли сформирована представительная выборка больных со сходными изучаемыми характеристиками (например, с одной и той же стадией болезни)?

Были ли прослежены до конца исследования все первоначально включенные больные?

Существует много способов оценки методологи ческого качества исследований. Самый простой из них — перечисление нескольких ключевых особенностей организации исследований (см. табл. 4). Авторы обзора могут расширить этот перечень, включив в него другие характеристики. Более подробные, заранее разработанные анкеты особенно полезны при оценке качества исследований, посвященных диагностике и прогнозу. Кроме того, можно использовать количественные шкалы и вычислять обобщенный показатель качества исследования. В недавнем обзоре, посвященном этой проблеме [23], были представлены 9 анкет и 25 различных шкал по оценке методологического качества исследований, отбираемых для включения в систематические обзоры, хотя тщательно разработана была только одна из анкет. В большинстве шкал, предложенных для общего пользования, нет пунктов, характеризующих истинность оценки изучаемого вмешательства, т.е. отсутствие систематической ошибки. В одну из опубликованных шкал включен пункт, фиксирующий факт расчета исследователями необходимого размера выборки на этапе планирования работы [24]. Отсутствие данных о размере выборки может свидетельствовать о том, что этот показатель априорно не определялся либо не был включен в публикацию вследствие оплошности при представлении данных или редактировании статьи. Однако подобные оплошности не приводят к смещению оценки эффективности. При количественной оценке методологического качества отмечают те характеристики исследований, которые уменьшают вероятность систематической ошибки (рандомизация, применение слепого метода). Каждой из этих характеристик соответствует определен ное количество баллов, которые потом суммируют и получают количественный показатель методологи ческого качества исследования.

Эти показатели используются в систематических обзорах по-разному [25]. Например, можно оценить влияние методологического качества исследования на его результаты, сопоставляя все показатели на графике. Это особенно полезно, если применяемые в отдельных исследованиях методы существенно различаются. Кроме того, такие показатели могут служить отправной точкой для последующего качествен ного или количественного анализа. Например, авторы обзора могут установить значение показателя, в соответствии с которым все исследования подразделяют на группы для вторичного анализа. В идеале это значение должно быть выбрано априорно, на основе биологических закономерностей, а не на основе результатов исследований. Показатель методологичес кого качества можно использовать при анализе чувствительности в подгруппах исследований, сформированных в соответствии с показателями качества или типом исследований. Кроме того, на основании этого показателя можно определять относительный вес отдельных исследований при проведении мета-анализа. Однако при подготовке систематических обзоров нужно помнить и о некоторых ограничениях показателя методологического качества. Например, присвоение относительного веса тому или иному методу исследования — процесс не строго обоснованный, а в значительной степени произвольный. Кроме того, не всегда верно предположение о прямой зависимости между качеством исследования и его результатами. Так, группа исследователей применила одну из шкал качества к исследованиям, которые были включены в семь мета-анализов, опубликованных в 80-х годах; зависимости между показателями качества исследований и их результатами выявить не удалось [26]. Методы количественного анализа данных будут подробно обсуждаться в следующей статье этой серии [27].

Разработайте и протестируйте формы для оценки исследований

При оценке исследований, как и при их отборе, рекомендуется разработать специальные формы. Затем в ходе их проверки и консультаций с экспертами по клиническим и методологическим вопросам авторы должны убедиться, что эти формы содержaт достаточно полный перечень параметров, характеризующих организацию исследований и клиническую проблему.

Ведите подробный протокол

Как и в случае отбора исследований, полезно составить подробный протокол их оценки.

Практические рекомендации по отбору и оценке исследований

Действуйте по протоколу и фиксируйте ход работы

Составив протоколы отбора и оценки исследова ний, основанные на разумно выбранных критериях, и тщательно разработав специальные формы, авторы могут приступать к регистрации результатов. Решение относительно каждой из рассмотренных статей фиксируется в соответствующих формах. Эта информация бывает неоценимой при подготовке к публикации списка исключенных исследований или таблицы, в которой приводится методологическое качество включенных исследований.

Поручите анализ каждого исследования двум независимым экспертам

Даже четко сформулированные критерии включения и оценки исследований не всегда позволяют принять правильное решение. Для уменьшения вероятности ошибки каждое исследование должны рассматривать как минимум два эксперта независимо друг от друга. Чтобы прийти к соглашению по отдельным пунктам из форм отбора и оценки исследований, авторы часто используют коэффициент согласия k (каппа) [28, 29]. Хотя высокий коэффициент согласия между двумя авторами не гарантирует безошибочности принимаемого решения, чем выше этот показатель, тем достовернее результаты обзора [30]. Если мнения авторов расходятся, нужно выяснить причины разногласий. Это можно сделать довольно быстро, обратившись к статье и протоколу обзора. Кроме того, можно привлечь к разрешению спорного вопроса других исследователей. Разногласия лучше снимать путем обсуждения, а не простым голосованием, поскольку большинство может ошибаться. Спорные вопросы и способ их разрешения следует обязательно фиксировать.

Рассмотрите возможность применения слепого метода при анализе результатов исследований

Слепой метод рассмотрения результатов оригиналь ных исследований повышает беспристрастность суждений. Применить его несложно: авторам обзора предоставляются данные только из раздела “Методы”. К сожалению, нужные сведения часто бывают рассеяны в разделах “Обсуждение” и “Результаты”, поэтому может потребоваться большая работа по перекомпо новке статей. Кроме того, если автор знаком с исследователями, местом их работы, датой или местом публикации, на его решение может повлиять знание об исследовании или его результатах. В этом случае отдельные страницы статьи сканируют, удаляют соответствующие сведения и затем повторно распечатывают. Однако этот процесс может оказаться чрезвычайно трудоемким и требует большой ответственности.

В одной работе было показано, что при оценке методологического качества исследований слепым методом показатели качества достоверно более низкие и менее изменчивые, чем при открытой оценке [31]. Однако в ходе недавно проведенного рандомизированного испытания открытого и слепого (отсутствие информации об авторе, учреждении, журнале) методов отбора исследований в пяти изученных мета-анализах не было выявлено ни клинически, ни статистически значимых различий в итоговых показателях отношения шансов [32]. Некоторые авторы по-прежнему рекомендуют слепой метод при анализе результатов оригинальных исследований, но прежде нужно решить, оправдано ли его применение.

Свяжитесь с авторами, чтобы уточнить параметры исследования

Описание методов исследования нередко бывает неполным или запутанным. Чтобы избежать ошибок при отборе и критической оценке исследований, можно обратиться к авторам статьи за разъяснением. Этот шаг, а также принятые на его основе решения тоже нужно документировать, чтобы впоследствии на них можно было ссылаться.

Заключение

Отбор исследований для систематического обзора и их последующую оценку нужно проводить с помощью тщательно разработанных, воспроизводимых и беспристрастных методов. Для этого следует хорошо знать принципы критической оценки научных публикаций. Выявление методологических различий помогает оценить и объяснить различия в результатах. Кроме того, критическая оценка обеспечивает обоснованность выводов систематического обзора и может стать отправным пунктом для дальнейших исследований по данной теме.

Применив представленные в этой статье практические рекомендации к выявленным в результате поиска статьям, авторы обзора могут двигаться дальше, к качественному и количественному объединению результатов оригинальных исследований. Методы объединения результатов нескольких исследований, в том числе статистические, будут представлены в следующей статье этой серии [27].

Основные положения статьи

При отборе исследований для систематического обзора нужно определить, отвечают ли они на поставленный клинический вопрос, и критически оценить особенности их организации.

Чтобы быть уверенными в результатах, авторы обзора должны использовать строгие, воспроизводимые и непредвзятые методы отбора и оценки исследований.

Если исследований много, авторы могут упростить задачу, вначале рассматривая все названия публикаций, потом тексты резюме и лишь затем — полные тексты статей, исключая на каждом этапе исследования, не удовлетворяющие одному или более из критериев включения.

Включение любых материалов (например, статей из рецензируемых и нерецензируемых журналов, тезисов и неопубликованных сообщений) и их одинаковая строгая критическая оценка позволяют свести к минимуму вероятность систематических ошибок.

Оценка исследований, отобранных для систематического обзора, преследует три цели: 1) сделать вывод о достоверности исследований; 2) выявить причины различий в результатах исследований; 3) обеспечить читателей достаточной информацией для принятия решения о том, применимы ли результаты систематического обзора в обычной клинической практике.

Опыт показывает, что на результаты исследований, посвященных лечению, влияют три методологические особенности: рандомизация, маскированная рандомизация и применение слепого метода.

Источники:

1. Counsell C. Formulating the questions and locating primary studies for inclusion in systematic reviews. Ann Intern Med 1997;127:380—7. Международный журнал медицинской практики 1999;4:20—8.

2. Oxman A.D., ed. Section VI: Preparing and Maintaining Systematic Reviews: The Cochrane Collaboration Handbook. Oxford: Cochrane Collaboration; 1994:28—40.

3. Richardson W.S., Wilson M.C., Nishikawa J., Hayward R.S. The well-built clinical question: a key to evidence-based decisions [Editorial]. ACP J Club 1995;123:A12—3.

4. Oxman A.D., Sackett D.L., Guyatt G.H. Users' guides to the medical literature. I. How to get started. The Evidence-Based Medicine Working Group. JAMA 1993;270:2093—5.

5. Chalmers T.C., Levin H., Sacks H.S., Reitman D., Berrier J., Nagalingam R. Meta-analysis of clinical trials as a scientific discipline. I: Control of bias and comparison with large co-operative trials. Stat Med 1987;6:315—25.

6. Chalmers T.C., Berrier J., Sacks H.S., Levin H., Reitman D., Nagalingam R. Meta-analysis of clinical trials as a scientific discipline. II: Replicate variability and comparison of studies that agree and disagree. Stat Med 1987;6:733—44.

7. Schulz К., Chalmers I., Hayes R.J., Altman D.G. Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled clinical trials. JAMA 1995;273:408—12.

8. Cook D.J., Guyatt G.H., Laupacis A., Sackett D.L., Goldberg R.J. Clinical recommendations using levels of evidence for antithrombotic agents. Chest 1995;108(4 Suppl):227S—30S.

9. Levine M., Walter S., Lee H., Haines T., Holbrook A., Moyer V. Users' guides to the medical literature IV. How to use an article about harm. The Evidence-Based Medicine Working Group. JAMA 1994;271:1615—9.

10. Easterbrook P.J., Berlin J.A., Gopalan R., Mathews D.R. Publication bias in clinical research. Lancet 1991;337:867—72.

11. Cook D.J., Guyatt G.H., Ryan G., Clifton J., Buckingham L., Willan A., et al. Should unpublished data be included in meta-analyses? Current convictions and controversies. JAMA 1993;269:2749—53.

12. Scherer R.W., Dickersin K., Langenberg P. Full publication of results initially presented in abstracts. A meta-analysis. JAMA 1994;272:158—62.

13. Gotzsche P. Multiple publications of reports of drug trials. Eur J Clin Pharmacol 1989;36:429—32.

14. Gregoire G., Derderian F., Le Lorier J. Selecting the language of the publications included in a meta-analysis: is there a Tower of Babel bias? J Clin Epidemiol 1995;48:159—63.

15. Egger M., Zellwegger-Zahner T., Schneider M., Junker C., Lengeler C., Antes C. Language bias in randomised controlled trials published in English and German. Lancet 1997;350:326—9.

16. Ransohoff D.F., Feinstein A.R. Problems of spectrum and bias in evaluating the efficacy of diagnostic tests. N Engl J Med 1978;299:926—30.

17. Sacks H.S., Chalmers T.C., Smith H. Jr. Randomized versus historical assignment in controlled clinical trials. N Engl J Med 1983;309:1353—7.

18. Chalmers T.C., Celano P., Sacks H.S., Smith H. Jr. Bias in treatment assignment in controlled clinical trials. N Engl J Med 1983;309:1358—61.

19. Schulz K.F., Chalmers I., Grimes D.A., Altman D.G. Assessing the quality of randomization from reports of controlled trials published in obstetrics and gynecology journals. JAMA 1994;272:125—8.

20. Schulz K.F. Subverting randomization in clinical trials. JAMA 1995;274:1456—8.

21. Attman D.G., Dore C.J. Randomization and baseline comparisons in clinical trials. Lancet 1990;335:149—53.

22. Williams D.H., Davis C.E. Reporting of assignment methods in clinical trials. Control Clin Trials 1994;15:294—8.

23. Moher D., Jadad A.R., Nichol G., Penman M., Tugwell P., Walsh S. Assessing the quality of randomized controlled trials: an annotated bibliography of scales and checklists. Control Clin Trials 1995;16:62—73.

24. Chalmers T.C., Smith H., Blackburn B., Silverman B., Schroeder B., Reitman D., et al. A method for assessing the quality of a randomized control trial. Control Clin Trials 1981;2:31—49.

25. Detsky A.S., Naylor C.D., O'Rourke K., McGeer A.J., L'Abbe K.A. Incorporating variations in the quality of individual randomized trials into meta-analysis. J Clin Epidemiol 1992;45:255—65.

26. Emerson J.D., Burdick E., Hoaglin D.C., Mosteller F., Chalmers T.C. An empirical study of the possible relation of treatment differences to quality scores in controlled randomized clinical trials. Control Clin Trials 1990;11: 339—52.

27. Lau J. Combining data quantitatively in systematic reviews. Ann Intern Med 1997; [In press].

28. Streiner D.L., Norman G.R. Reliability. In: Health Measurement Scales: A Practical Guide to Their Development and Use. 2d ed. Oxford: Oxford Univ Pr; 1995.

29. Altman D.G. Measuring agreement. In: Practical Statistics for Medical Research. London: Chapman and Hall; 1991.

30. Oxman A.D., Cook D.J., Guyatt G.H. Users' guides to the medical literature. VI. How to use an overview. The Evidence-Based Medicine Working Group. JAMA 1994;272:1367—71.

31. Jadad A.R., Moore R.A., Carrol D., Jenkinson C., Reynolds D.J., Gavaghan D.J., et al. Assessing the quality of randomized clinical trials: is blinding necessary? Control Clin Trials 1996;17:1—12.

32. Berlin J.A., Miles C.G., Crigliano M.D., Conill A.M., Goldmann D.R., Horowitz D.A., et al. Does blinding of readers affect the results of meta-analyses? Results of a randomized trial. Online J Curr Clin Trials. Document No. 205.