Как потребители медицинских услуг и руководители здравоохранения могут использовать систематические обзоры для принятия решений ( Л.А. Беро и А.Р. Джадад )

Translated, with permission of the American College of Physicians, from: Bero L.A. and Jadad A.R. How consumers and policymakers can use systematic reviews for decision making. Ann Intern Med 1998;127:37—42.

Систематические обзоры очень полезны для принятия решений, потому что они объективно обобщают большое количество информации, определяют пробелы в медицинских научных исследованиях и выявляют пользу или вред вмешательства. Потребители медицинских услуг могут использовать систематические обзоры, чтобы принять решение по выбору медицинской помощи. Руководители здравоохранения могут использовать систематические обзоры, чтобы принять решение о видах медицинской помощи, которую следует предоставлять. Несмотря на потенциальную ценность систематических обзоров, мало известно об их прямом воздействии на решения, принимаемые потребителями медицинских услуг и представителями власти. В статье обсуждается стратегия оптимального использования систематических обзоров. Этого можно достичь, распространяя знания о существовании таких обзоров, обучая критически оценивать их результаты, и преодолевая преграды для включения обзоров в процесс принятия решений. Кроме того, участие потребителей медицинских услуг и руководителей здравоохранения в организации, проведении и публикации систематических обзоров поможет сделать эти обзоры более полезными и понятными для целевых аудиторий. Поскольку процесс принятия решений в здравоохранении сложен, и роль информации (например, предоставляемой в систематических обзорах) ограничена известными рамками, следует оценить возможные способы для повышения значения систематических обзоров в процессе принятия решений.

Здоровая беременная женщина решает, следует ли провести ультразвуковое исследование, рекомендованное ее врачом. Члены городского совета решают, следует ли запретить курение в местных ресторанах и барах. Решения, подобные этим, ежедневно принимаются потребителями медицинских услуг и представителями власти. Первые должны решать, проводить ли диагностическое исследование или выбрать один из возможных методов лечения. Вторые должны выбирать виды предоставляемого медицинского обслуживания. В этой статье обсуждается, как систематические обзоры могут помочь при принятии решений. Под потребителями медицинских услуг подразумеваются как больные, так и здоровые, члены их семей, а также люди, отстаивающие их интересы. Руководители здравоохранения включают лиц, принимающих решения на государственном, региональном, местном и учрежденческом уровнях. Руководителями здравоохранения считаются, например администраторы, местные власти здравоохранения, руководители страховой медицины и регулирующие органы.

Наше обсуждение будет сосредоточено на факторах, общих для принятия решений как потребителями медицинских услуг, так и руководителями здравоохранения. Принципиальное различие в процессе принятия решений между представителями власти и потребителями медицинских услуг заключается в том, что первые склонны рассматривать проблемы с точки зрения здоровья в популяции, тогда как вторые учитывают в основном собственные интересы. Руководители здравоохранения при принятии решений оценивают, какова будет заболеваемость и смертность, если индивидуум не получит лечения по поводу определенного состояния, а также распространенность этого состояния в общей популяции [1]. Если заболеваемость и смертность высоки, то представители власти решают действовать. Понятно, что потребители медицинских услуг, принимая решения, скорее будут учитывать степень личных страданий и возможные личные выгоды. Лучшее решение для группы людей не обязательно является лучшим для отдельных представителей этой группы [2].

Как сегодня потребители медицинских услуг и представители власти используют систематические обзоры?

Наш поиск публикаций выявил мало фактов, свидетельствующих о применении систематических обзоров для принятия решений (подробности стратегии поиска можно получить у доктора Л.А. Беро). Мы обнаружили лишь одно исследование [3], где систематические обзоры повлияли на решение о финансировании скрининговой маммографии и программы реабилитации при заболеваниях сердца. Другая публикация была описанием случая [4], в котором один из авторов провел систематический обзор, убедивший врача изменить рекомендации. Отсутствие научных исследований о влиянии систематических обзоров на принятие решений может быть результатом отсутствия интереса научного сообщества или сложности изучения процесса принятия решений.

Мы предприняли попытку отыскать исследования, где оценивалось бы непосредственное влияние систематических обзоров на принятие решений. Хотя были обнаружены лишь две такие публикации, в литературе имеется множество примеров использования систематических обзоров для информационной поддержки принятия политических решений. Например, R.J. Light и D.B. Pillemer [5] описали, как представители власти в поиске ответов заказывали проведение систематических обзоров. Клинические рекомендации (например, рекомендации Агентства по политике здравоохранения и научных исследований и Американской коллегии врачей) часто основаны на систематических обзорах. Кроме того, оценки новых медицинских технологий (подобные оценкам, проводимым Агентством по оценке технологий США) часто включают систематические обзоры литературы по клинической эффективности. Оказывается, что систематические обзоры чаще, чем оригинальные статьи, цитируются средствами массовой информации при освещении научных исследований по влиянию пассивного курения. Это свидетельствует о том, что систематические обзоры могут оказывать и косвенное влияние на принятие решений [6]. Указанные факты подчеркивают необходимость точной оценки прямого воздействия систематических обзоров на принятие стратегических решений.

Причину небольшого числа данных о воздействии систематических обзоров на процесс принятия решений можно объяснить рядом факторов. Лица, принимающие решение, учитывают источник, формат, актуальность и другие аспекты информации (табл. 1). Склонность лиц, принимающих решение, опираться скорее на анекдотические аспекты имеющихся фактов или на личный опыт, вместо того, чтобы проводить широкую и систематическую оценку доказательств, подрывает значение систематических обзоров [7]. Кроме того, роль информации зависит от ее взаимодействия с другими компонентами процесса принятия решений (включая систему ценностей, предпочтения и убеждения принимающего решения лица) и ситуации, в которой принимается решение (см. табл. 1) [8]. Несмотря на то что методы проведения систематических обзоров были разработаны достаточно давно, они лишь недавно стали использоваться в клинической практике [12—14]. Например, основополагающая статья, обобщающая современную методологию проведения систематических обзоров, была опубликована в медицинской литературе лишь в 1987 г. [15]. Кроме того, в 1992 г. была основана международная организация — Кохрановская Ассоциация, поставившая своей целью проведение и распространение результатов систематических обзоров в медицине [16].

Роль информации как одного из аспектов сложного процесса принятия решений проиллюстрирована вышеприведенными примерами. Здоровой беременной женщине, принимающей решение о проведении УЗИ, вероятно, интересно узнать, что четыре систематических обзора, оценивавших широкое применение УЗИ на ранних сроках беременности, установили его безопасность и эффективность для выявления дефектов развития плода [17—20]. Однако она, вероятно, соотнесет эту информацию с собственным ощущением риска рождения ребенка с дефектами развития, временем, на которое ей придется отпроситься с работы, проблемами, связанными с самой процедурой (например, дополнительными расходами) и опытом своей сестры или соседки [21]. Члены городского совета, принимая решение об ограничении курения в общественных местах, могут получить информацию из трех мета-анализов влияния пассивного курения на развитие сердечных заболеваний [22—24]. Однако члены совета, вероятно, примут во внимание точки зрения своих коллег и давление, оказываемое лоббистами табачной промышленности и энтузиастами запрета курения.

Как можно использовать систематические обзоры?

Хотя любая информация играет в процессе принятия решений лишь ограниченную (но потенциально существенную) роль, есть основание считать, что систематические обзоры могут оказывать особенно важное влияние на решения, принимаемые как потребителями медицинских услуг, так и представителями власти. Правильно проведенный систематический обзор может объективно обобщить большое количество данных. Тем потребителям медицинских услуг и руководителям здравоохранения, которые хотели бы разобраться в подоплеке разных аргументов, систематические обзоры помогут согласовать противоречивые результаты научных исследований. Систематические обзоры могут послужить руководителям здравоохранения основой для создания других обобщающих аналитических материалов, например оценок риска, практических рекомендаций, экономического анализа и анализа принятия решений [25]. Систематические обзоры могут помочь процессу достижения согласия, поскольку часто согласительные документы готовятся в отсутствие объективной основы для сбора и анализа фактов [1]. Систематические обзоры также обычно выявляют пробелы в научных знаниях. Выявление пробелов может приостановить процесс принятия решений в отсутствие надежных фактов либо побудить к проведению необходимых медицинских исследований. J. Savulescu et al. [26] рекомендовали комитетам по медицинской этике требовать от исследователей проведения систематических обзоров по изучаемой проблеме для обоснования необходимости нового исследования.

Однако неграмотное использование систематических обзоров, как, впрочем, и результатов любого научного исследования может принести больше вреда, чем пользы. Например, в Великобритании среди беременных женщин и работников здравоохранения распространяли листовки, где описаны преимущества широкого применения УЗИ. В листовках обобщены результаты систематических обзоров, свидетельствующих об эффективности и безопасности широкого применения УЗИ у беременных. Когда стали изучать реакцию людей [27], выяснилось, что содержание листовок вызывает у беременных потрясение и в то же время удовлетворение от возможности узнать о преимуществах и недостатках широкого применения УЗИ; часто они интересовались дополнительной информацией. Акушерки считали, что листовки помогут женщинам в поисках более качественного медицинского обслуживания. Специалисты УЗИ высказывали озабоченность, что информационные листки могут спровоцировать тревогу среди женщин и отказ от проведения обследований [27]. Противоречивые реакции акушерок и специалистов УЗИ могли привести к конфликту и потере взаимного доверия.

Неверная интерпретация заключений систематических обзоров в угоду интересам отдельных организаций или политической линии может также нанести вред. Например, систематический обзор [24] влияния пассивного курения на развитие сердечных заболеваний был представлен без ссылок на другие аналогичные публикации. Это привело к неверному истолкованию основного вывода о том, что данный обзор якобы не подтверждает вредного влияния табачного дыма [28]. Неправильное толкование систематических обзоров средствами массовой информации может повлиять на решения, принимаемые правительственными чиновниками, что иллюстрирует вышеприведенный пример.

Потенциальная польза от систематических обзоров перевешивает возможные негативные моменты. Однако необходимы усилия, чтобы достичь лучшего понимания разных стадий на пути использования систематических обзоров для принятия решений (табл. 2). В следующих разделах будут описаны методы оптимального использования систематических обзоров по модели, аналогичной той, которая предложена для внедрения нововведений [9].

Оптимизация использования систематических обзоров

Повышение доступности систематических обзоров: осведомленность об их наличии и выявление нужных обзоров

Обязательное условие влияния систематических обзоров — осведомленность потребителей медицинских услуг и руководителей здравоохранения о существовании, особенностях и потенциальном значении обзоров. Руководители здравоохранения обычно бывают в курсе научных исследований, поддерживающих их позицию [7]. С развитием сети Интернет у потребителей медицинских услуг также появилась возможность получать информацию, которая ранее была недоступна [29]. Однако неизвестно, насколько потребители медицинских услуг и руководители здравоохранения информированы о систематических обзорах, включая то, где их можно найти.

Систематические обзоры часто публикуются в медицинских журналах, которые можно найти, просматривая библиографические базы данных. Систематические обзоры были бы доступнее, если бы они имелись на рабочем месте у руководителей здравоохранения и в библиотеках. Врачи могли бы способствовать совместному с пациентами принятию решений, приобщая их к информации, содержащейся в систематических обзорах. Примером таких усилий в национальном масштабе служит Великобритания, где все больницы, поликлиники и медицинские центры подписываются на Кохрановскую Библиотеку — электронную базу данных систематических обзоров, публикуемую Кохрановской Ассоциацией [30]. Таким образом руководители здравоохранении в Великобритании получают доступ к систематическим обзорам. Распространение сборников систематических обзоров по приемлемым ценам общественными и профессиональными организациями также могло бы повысить осведомленность о существовании обзоров.

Сообщества заинтересованных лиц могут облегчить себе доступ к систематическим обзорам. Кохрановская Сеть потребителей медицинских услуг представляет собой международную информационную сеть, способствующую распространению результатов систематических обзоров. Информация распространяется среди потребителей медицинских услуг, членов их семей и других заинтересованных лиц посредством взаимного обмена данными через Интернет и оповещения средств массовой информации об интересных разработках [31].

(Более подробную информацию об этой инициативе можно получить по следующему адресу:
Hilda Bastian, Coordinator, Consumer Network,
The Australian Cochrane Centre, Flinders Medical Centre,
Bedford Park SA 5042, Australia. Телефон:
61 8 204 5399; факс: 61 8 276 3305.
[email protected]).

В качестве способа повышения осведомленности о систематических обзорах в области акушерства и перинатологии было предложено организовать сеть среди руководителей здравоохранения из ведущих организаций в этой сфере [32].

Критическая оценка систематических обзоров

Существует мнение, что все научные исследования подвержены влиянию предубеждений исследователей и специфических интересов финансирующих организаций [33]. Как и все прочие научные исследования, систематические обзоры варьируют по методологическому качеству. Обзоры, содержащие систематические ошибки, могут привести к потенциально опасным результатам [34, 35]. Поэтому потребителям медицинских услуг и руководителям здравоохранения имеет смысл ограничить источники информации наиболее надежно проведенными систематическими обзорами. Самое простое — научиться отличать систематические обзоры от обычных обзоров литературы [36]. Полное раскрытие источников финансирования и учет возможности наличия конфликта интересов у авторов могут также помочь потребителям медицинских услуг и руководителям здравоохранения отобрать наиболее взвешенные систематические обзоры [37]. Например, когда городской совет принимает решение об ограничении курения в общественных местах, его членам следует знать, что некоторые обзорные статьи о влиянии пассивного курения на здоровье финансировались табачной промышленностью. В этих статьях (отрецензированных и прошедших контроль качества) делается вывод об отсутствии неблагоприятных воздействий на здоровье в отличие от других обзорных статей, в финансировании которых представители табачной промышленности не участвовали [38].

Использование систематических обзоров для принятия решений

Даже если потребителям медицинских услуг и руководителям здравоохранения предоставляется понятная, своевременная, относящаяся к рассматриваемой проблеме объективная информация, на процесс принятия решений с использованием систематических обзоров влияет множество других факторов (например, приведенных в табл. 1). Барьеры на пути использования хорошо доказанных фактов для принятия решений подробно рассматривались другими авторами и не обсуждаются в данной статье [21, 39, 40]. Вкратце, для того чтобы при принятии решений был сделан акцент на использование систематических обзоров по сравнению с другими факторами, необходимо выявить барьеры, специфичные для каждой конкретной аудитории, и разработать специальную стратегию для их преодоления [10].

Участие в создании систематических обзоров

Одно из основных препятствий для использования систематических обзоров состоит в осознании лицами, принимающими решение, актуальности, уместности информации по отношению к принимаемому решению [21]. Потребители медицинских услуг и руководители здравоохранения могут рассматривать научное исследование как не относящееся к рассматриваемой проблеме, потому что оно несвоевременно, отвечает не на те вопросы или попросту неинтересно [41]. Кроме того, поскольку финансирование исследования, способы его проведения, публикация и распространение его результатов контролируются научным сообществом, у потребителей медицинских услуг и руководителей здравоохранения мало возможностей влиять на ход событий.

Проблемы, решаемые исследователями, имеют тенденцию отличаться от проблем, интересующих потребителей медицинских услуг и руководителей здравоохранения. Исследователи, например, могут чрезмерно упростить проблему с целью разработки узко очерченной задачи [42]. Потребители медицинских услуг и руководители здравоохранения, напротив, предпочитают сосредоточиться на более комплексных проблемах, стоящих в контексте их конкретных обстоятельств. Кроме того, исследователи часто изучают то, что легче измерить, — промежуточные (косвенные) исходы, актуальность которых для потребителей медицинских услуг и руководителей здравоохранения не очевидна. Например, для больных с сердечной недостаточностью важны такие исходы, как смертность и связанное с заболеванием качество жизни. При этом их могут совершенно не волновать такие исходы, как эхокардиографические показатели или результаты определения толерантности к физической нагрузке [43]. В научных исследованиях часто отсутствуют данные об относительной стоимости разных методов лечения или прямое сравнение этих методов. Некоторые недостатки научных исследований можно устранить, привлекая потребителей медицинских услуг и руководителей здравоохранения к планированию исследований [44, 45]. Например, в процессе разработки рекомендаций по лечению боли, связанной со злокачественным новообразованием, онкологические больные, члены их семей и врачи вместе проводили поиск и оценку соответствующих научных исследований, включая систематические обзоры, и на их основании делали выводы [46].

Систематические обзоры с их четкой постановкой основной задачи исследования могут помочь в принятии решений, если предоставить достаточно информации, позволяющей интерпретировать полученные результаты. Систематические обзоры, предоставляющие подробную информацию по критериям включения и исключения оригинальных исследований и оценку характеристик этих исследований, помогут потребителям медицинских услуг и руководителям здравоохранения решить, насколько полезны полученные данные. Например, здоровую беременную женщину, которой нужно решить, проводить ли эхографию, будут интересовать только те систематические обзоры, где оцениваются исследования применения эхографии у аналогичных ей пациентов.

Вовлечение заинтересованных людей в исследовательский процесс позволит подготавливать систематические обзоры, которые отвечают на более актуальные для потребителей медицинских услуг и руководителей здравоохранения вопросы. Научные исследования с участием потребителей медицинских услуг и руководителей здравоохранения более прагматичны, они сосредоточены на получении “знаний для действия”, в отличие от “знаний для понимания” [47]. При таком подходе используется открытый метод планирования научных исследований, учитывающий местные приоритеты, процессы и перспективы. Например, министерство здравоохранения Великобритании пытается приобщить потребителей медицинских услуг и руководителей здравоохранения к планированию научных исследований [48]. Начиная с 1991 г., это министерство проводит широкие консультации, поощряющие ее собственный персонал, уполномоченные агентства, руководство клиник, профессиональные сообщества, потребительские группы, учебные центры и научно-исследовательские организации определять насущные области научных исследований, включая систематические обзоры.

Конечно, участие потребителей медицинских услуг и руководителей здравоохранения не может устранить несовершенства отдельных оригинальных научных исследований, включаемых в систематический обзор. Однако такое участие может гарантировать, что систематический обзор будет содержать действительно актуальную информацию. В дополнение к определению тем обзоров (что поощряется министерством здравоохранения Великобритании), потребителей медицинских услуг и руководителей здравоохранения можно приобщить к критической оценке обзоров и поэкспериментировать с их участием в интерпретации и представлении результатов. Кохрановская Ассоциация предоставляет уникальные возможности потребителям медицинских услуг принимать участие в планировании, трактовке и использовании результатов систематических обзоров. Члены Кохрановской Сети потребителей медицинских услуг входят в состав руководства Кохрановской Ассоциации и все чаще принимают непосредственное участие в подготовке обзоров. В частности, они пишут рефераты обзоров, предназначенные для непрофессиональной аудитории, и разрабатывают методы распространения обзоров среди потребителей медицинских услуг. Участие потребителей медицинских услуг в таких организациях, как Кохрановская Ассоциация, может повысить не только актуальность научных исследований, но и эффективность использования ресурсов здравоохранения [31, 49].

Форма подачи результатов исследования также способна повлиять на принятие решений. Объем материалов, степень сложности изложения, показатели, использованные для выражения исходов, ясность выражения сути проблемы — все это влияет на процесс принятия решений. Рефераты систематических обзоров, подготовленные специально для потребителей медицинских услуг, руководителей и чиновников разного ранга (и, в идеале, с их участием), ясно и в сжатом виде представляющие результаты этих обзоров, очень ценны для передачи такой специализированной информации. Реферат должен быть доступен для восприятия, манера подачи — привлекательной, а информация — актуальной. Примером могут служить разработанные в Великобритании листовки, резюмирующие результат систематических обзоров о широком применении УЗИ [27]. Другой потенциально полезный подход — публикация лишенных профессионального жаргона версий систематических обзоров в электронном виде, связанных гипертекстовыми ссылками с текстом основных обзоров, что даст возможность лицам с различным образовательным цензом получать информацию соответствующей сложности.

Заключение

Систематические обзоры могут быть очень ценным инструментом принятия решений, поскольку они объективно обобщают большие объемы информации, выявляют пробелы в научных исследованиях и определяют пользу или вред медицинских вмешательств. К настоящему времени проведено мало исследований, где оценивалось бы непосредственное влияние систематических обзоров на процесс принятия решений. Отчасти это можно объяснить ограниченной доступностью обзоров; отсутствием интереса исследователей; отсутствием фактов, подтверждающих ценность такой информации; отсутствием стратегии, направленной на повышение осведомленности и помогающей находить, оценивать и применять систематические обзоры. Использование результатов систематических обзоров в процессе принятия решений в идеале должно стимулировать исследования по оценке влияния этой информации на клинические исходы [9].

Принятие решений по проблемам здравоохранения — это сложный процесс, в котором информации отводится лишь определенная роль. Даже если были бы устранены все барьеры на пути использования систематических обзоров, то при всей своей важности этого было бы недостаточно для сложного процесса принятия решений [50, 51]. Необходимы дальнейшие усилия, чтобы разобраться, как взаимодействуют различные источники информации, как они используются различными людьми в конкретных ситуациях. Очень важно, чтобы систематические обзоры обязательно содержали информацию о методах их подготовки, о спонсорах. Кроме того, они должны быть представлены в доступной и привлекательной форме, позволяющей пользователям судить об их достоверности и актуальности.

Трудности на пути использования систематических обзоров встают не только перед потребителями медицинских услуг и руководителями здравоохранения, но также перед врачами и исследователями. Много времени и усилий будут потрачены напрасно, если каждая из этих групп станет независимо друг от друга разрабатывать стратегию преодоления общих препятствий. Поиск ответов на вопросы, волнующие руководителей здравоохранения и потребителей медицинских услуг, требует эффективного взаимодействия всех лиц, ответственных за принятия решений.

Таблица 1. Факторы, влияющие на процесс принятия решений*

Информация

Источник (например, средства массовой информации, друзья, лоббирующие группы, профессиональные организации)
Ясность содержания
Как представлена информация (форма подачи)
Ощущение достоверности
Ощущение актуальности
Сила воздействия (живость подачи)

Личные ценности, предпочтения и убеждения

Социальная роль лица, принимающего решение (потребитель услуг или представитель власти)
Социально-экономический фон
Предшествующее образование или опыт
Политические пристрастия
Желание воспринимать нововведения
Желание принимать неопределенность
Желание принимать участие в принятии решений
Этические аспекты решения
Предшествующие гипотезы

Ситуация, в которой принимается решение

Социальная роль лица, принимающего решение (потребитель услуг или представитель власти)
Культурные особенности
Лоббирование заинтересованных организаций
Фактор времени
Административные, финансовые или политические ограничения

Примечание. * — взято из [7—11].

Таблица 2. Стадии использования систематических обзоров

Осведомленность о существовании систематических обзоров
Осознание преимуществ и сложностей их использования
Выявление нужных обзоров
Критическая оценка
Включение в процесс принятия решений
Участие в создании систематических обзоров

Основные положения статьи

К настоящему времени проведено мало исследований, где оценивалось бы непосредственное влияние систематических обзоров на процесс принятия решений.

Принятие решений по проблемам здравоохранения — это сложный процесс, в котором информации отводится лишь определенная роль.

Следует разработать способы повышения информированности потребителей медицинских услуг и руководителей здравоохранения о существовании систематических обзоров, чтобы стимулировать применение этой информации в процессе принятия решений.

Поиск ответов на вопросы, волнующие руководителей здравоохранения и потребителей медицинских услуг, требует эффективного взаимодействия всех лиц, ответственных за принятия решений.

Источники:

1. Woolf S.H., Battista R.N., Anderson G.M., Logan A.G., Wang E. Assessing the clinical effectiveness of preventive maneuvers: analytic principles and systematic methods in reviewing evidence and developing clinical practice recommendations. A report by the Canadian Task Force on the Periodic Health Examination. J Clin Epidemiol 1990;43:891—905.

2. Diamond G.A., Denton T.A. Alternative perspectives on the biased foundations of medical technology assessment. Ann Intern Med 1993;118:455—64.

3. Fahey T., Griffiths S., Peters T.J. Evidence based purchasing: understanding results of clinical trials and systematic reviews. BMJ 1995;311:1056—9.

4. Jadad A.R. Are you playing evidence-based medicine games with out daughter? [Letter] Lancet 1996;347:274.

5. Light R.J., Pillemer D.B. Summing Up: The Science of Reviewing Research. Cambridge, MA: Harvard Univ Pr; 1984.

6. Kennedy G., Frockt D., Bero L. The extend and accuracy of newspaper coverage on environmental tobacco smoke research [Abstract]. American Public Health Association Meeting: New York; 1996.

7. Weiss C. Ideology, interests, and information: the basis of policy positions. In: Callahan D., Jennings B., eds. Ethics, The Social Sciences, and Policy Analysis. New York: Plenum; 1983:213—45.

8. Haynes R.B., Sackett D.L., Gray J.M., Cook D.J., Guyatt G.H. Transferring evidence from research into practice: 1. The role of evidence from clinical care research in clinical decisions [Editorial]. ACP J Club 1996;125:A14—5.

9. Rogers E.M. Diffusion of Innovations, 3d ed. New York: Free Pr; 1983.

10. Bero L. Executive summary. In: Banta D., Bero L., Bonair A., Cochet C., Espinas J., Freemantle N. eds. Report of the EURASSESS Subgroup on Dissemination and Impact. Stockholm: The Swedish Council on Technology Assessment in Health Care; 1996.

11. Llewellyn-Thomas H.A. Patients’ health-care decision making: a framework for descriptive and experimental investigations. Med Decis Making 1995;15:101—6.

12. Solari M.E., Wheatley D. A method of combining the results of several clinical trials. Clin Trials J 1966;3:537—45.

13. Cochran W.G. Problems arising in the analysis of a series of similar experiments. Journal of the Royal Statistics Society 1937;4:102—18.

14. Yates F., Cochran W.G. The analysis of groups of experiments. J Agric Sci 1938;28:556—80.

15. Mulrow C.D. The medical review article: state of the science. Ann Intern Med 1987;106:485—8.

16. Bero L., Rennie D. The Cochrane Collaboration. Preparing, maintaining, and disseminating systematic reviews of the effects of health care. [Editorial]. JAMA 1995;274:1935—8.

17. Bucher H.C., Schmidt J.G. Does routine ultrasound scanning improve outcome in pregnancy? Meta-analysis of various outcome measures. BMJ 1996;307:13—7.

18. Giles W., Bisits A. Clinical use of Doppler ultrasound in pregnancy: information from six randomised trials. Fetal Diag Ther 1993;8:247—55.

19. Neilson J. Routine ultrasound in early pregnancy. In: Neilson J., Crowther C., Hodnett E., Hofmeyr G., Keirse M., Renfrew M., eds. Pregnancy and Childbirth Module of the Cochrane Database of Systematic Reviews. v 2. London: BMJ Publishing Group; 1996.

20. Pearson V. Antenatal ultrasound scanning. Report 26. Bristol, England: Health Care Evaluation Unit, University of Bristol; 1994.

21. Nisbett R., Ross L. Improving human inference: possibilities and limitations. In: Nisbett R., Ross L., eds. Human Inference: Strategies and Shortcomings of Social Judgment. Englewood Cliffs, NJ: Prentice-Hall; 1980:273—96.

22. Glantz S.A., Parmley W.W. Passive smoking and heart disease: Epidemiology, physiology, and biochemistry. Circulation 1991;83:1—12.

23. Wells A.J. Passive smoking as a cause of heart disease. J Am Coll Cardiol 1994;24:546—54.

24. Steenland K. Passive smoking and the risk of heart disease. JAMA 1992; 267:94—9.

25. Cook D.J., Mulrow C.D., Haynes R.B. Systematic reviews: synthesis of best evidence for clinical decisions. Ann Intern Med 1997;128:376—80.

26. Savulescu J., Chalmers I., Blunt J. Are research ethics committees behaving unethically? Some suggestions for improving performance and accountability. BMJ 1996;313:1390—3.

27. Oliver S., Rajan L., Turner H., Oakley A., Entwistle V., Walt I., et al. Informed choice for users of health services: views on ultrasonography leaflets of women in early pregnancy, midwives, and ultrasonographers. BMJ 1996;313:1251—3.

28. Sullum J., Lieberman B. Imbalancing act. National Review 1995;47:48—52.

29. Coiera E. The Internet’s challenge to health care provision. A free market in information will conflict with a controlled market in health care. BMJ 1996;312:3—4.

30. NHS Executive. Promoting clinical effectiveness: a framework for action in and through the NHS. United Kingdom: National Health Service, The Department of Health; 1996.

31. Bastian H. Finding out what health care works: consumer involvement in research and the Cochrane Collaboration [Editorial]. Health Forum (Journal of the Consumers’ Health Forum of Australia) 1994;32:15—6.

32. Sisk J. Improving the use of research-based evidence in policy-making: effective care in pregnancy and childbirth in the United States. Milbank Q 1993;71:477—96.

33. Greer A.L. The state of the art versus the state of the science. The diffusion of new medical technologies into practice. Int J Technol Assess Health Care 1988;4:5—26.

34. Sacks H.S., Berrier J., Reitman D., Pagano D., Chalmers T.C. Meta-analysis of randomized controlled trials: an update of the quality and methodology. In: Bailar J.C., Mosteller F., eds. Medical Uses of Statistics. 2d ed. Boston: NEJM Books; 1992:427—42.

35. Jadad A.R., McQuay H.J. Meta-analyses to evaluate analgesic interventions: a systematic qualitative review of their methodology. J Clin Epidemiol 1996;49:235—43.

36. The Cochrane Collaboration. The Cochrane Library [database on disk and CD ROM]. v 2 Oxford: Update Software: 1996 [updated 6 June 1996].

37. Phillips K., Bero L.A. Improving the use of information in medical effectiveness research. Int J Qual Health Care 1996;8:21—30.

38. Barnes D., Bero L. Quality of Review Articles on Environmental Tobacco Smoke [Abstract]. New York: American Public Health Association Meeting; 1996.

39. Naylor C.D. Grey zones of clinical practice: some limits to evidence-based medicine. Lancet 1995;345:840—42.

40. Redelmeier D., Rozin P., Kahneman D. Understanding patients’ decisions. Cognitive and emotional perspectives. JAMA 1993;270:72—6.

41. Goel V., Naylor C.D. Using research and evaluation results in health services policy making. In: Dunn E.V., Norton P.G., Stewart M., Tudiver F., Bass M.J. eds. Disseminating Research, Changing Practice. v 6. Thousand Oaks: Sage Publications; 1994;199—211.

42. Dixon A. The evolution of clinical policies. Med Care 1990;28:201—20.

43. Hadorn D., Baker D., Dracup K., Pitt B. Making judgments about treatment effectiveness based on health outcomes: theoretical and practical issues. Jt Comm J Qual Improv 1994;20:547—54.

44. Goodare H., Smith R. The rights of patients in research—patients must come first in research. BMJ 1995;310:1305—6.

45. Chalmers I. What do I want from health research and researchers when I am a patient? BMJ 1995;310:1315—8.

46. Jadad A.R., Whelan T., Reyno L., et al. A team approach to pain relief: a guide developed with patients and family members [Abstract]. Supportive Care in Cancer 1996;3:245.

47. Scott R.A., Shore A.R. Why Sociology Does Not Apply: A Study of the Use of Sociology in Public Planning. New York: Elsevier; 1979.

48. Johes R., Lamont T., Haines A. Setting priorities for research and development in the NHS: a case study on the interface between primary and secondary care. BMJ 1995;311:1076—80.

49. Oliver S.R. How can health service users contribute to the NHS research and development programme? BMJ 1995;310: 1318—20.

50. Freemantle N. Dealing with uncertainty: will science solve the problems of resource allocation in the UK NHS? Soc Sci Med 1995;40:1365—70.

51. Caplan N. What do we know about knowledge utilization? In: Braskamp L.A., Brown R.D. eds. New Directions for Program Evaluation. San Francisco: Jossey-Bass; 1980.