Научная электронная библиотека
Монографии, изданные в издательстве Российской Академии Естествознания
Доказательная гипертензиология: количественная оценка результата антигипертензивной терапии.
Николаев Н. А.,
ГЛАВА 1. Методологические основы
С начала формирования парадигмы, что у больных ГБ антигипертензивная терапия должна быть непрерывной и пожизненной, различными исследователями многократно осуществлялись попытки разработать унифицированную систему критериев, позволяющих измерить результат лечения. Однако такой системы пока не существует.
Главная трудность работ в этом направлении заключается в том, что до настоящего времени большинство выполненных исследований в гипертензиологии посвящено изучению лишь монотерапии или двухкомпонентной комбинированной терапии, при этом методология многих исследований противоречат достижениям современной клинической медицины (например, в качестве препаратов сравнения часто используются заведомо морально и технологически устаревшие препараты и/или лекарственные формы). Массивные исследования с солидной доказательной базой посвященные многокомпонентной антигипертензивной терапии (с использованием трех и более средств одновременно) фактически отсутствуют, а те, что выполнены, часто оказываются далеки от условий реальной клинической практики.
Следует учесть, что важнейшим инструментом доказательной медицины, используемом при оценке медицинских вмешательств, является Рандомизированное контролируемое испытание (РКИ) [22]. Методы РКИ, изначально предназначенные для тестирования новых фармакологических средств, в настоящее время применяются при исследовании множества вмешательств, от сестринской помощи до физиотерапии, а также более сложных вмешательств из области комплементарной и альтернативной медицины [53, 54].
Базовое требование РКИ - обеспечение случайного распределения (рандомизации) достаточно большого количества тщательно отобранных пациентов в группы экспериментального вмешательства и контроля, обеспечивающее как равномерность распределения в группах влияния известных и неизвестных вмешивающихся факторов, так и различие в исходах между группами. Агентства по оценке технологий в здравоохранении (health technology assessment, HTA) разработали и применяют «иерархию методов», согласно которой серии случаев, когортные исследования с историческим контролем и нерандомизированные контролируемые испытания имеют меньшую доказательность, чем проспективные РКИ. Объясняется это тем, что в исследованиях сравнения с контролем и обсервационных исследованиях влияние вмешивающихся факторов больше и спектр возможных смещений шире, чем в экспериментальных исследованиях типа двойных слепых контролируемых испытаний [23]. Положения HTA в настоящее время составляют теоретическую основу доказательной медицины и процесса принятия клинических решений, хотя, по мнению Н. Walac и Соавт. (2006), нередко применяются произвольно и без глубокого понимания [13].
В то же время следует понимать, что не существует никакого единственно верного, идеального метода. Разные методы применяются для поиска ответов на разные вопросы, все вместе они создают фрагментарный или полный набор доказательств [11, 48]. Небрежно спланированное и плохо проведенное РКИ имеет меньшую ценность, чем тщательно проведенное исследование другого дизайна, а в некоторых случаях даже нерандомизированное исследование может дать более надежные и полезные результаты.
Часто исследование проводится с использованием метода, позволяющего получить наиболее близкое к истинному значение измеряемой величины, но не самого точного из существующих, поскольку референтные (дающие эталонное по точности измерение) методы обычно трудоемки, опасны, болезненны или дороги. Это тоже неблагоприятно сказывается на его результатах [7].
Важно учитывать допущения, на которых базируются РКИ: пациент и исследователь не отдают заранее предпочтения исследуемому методу; заранее неизвестно, какой из оцениваемых методов лучше, и нет достаточных доказательств этого, полученных из других источников; только специфический эффект вмешательства имеет терапевтическую ценность; эффективность вмешательства постоянна, и не зависит от контекста; информация о полученных в ходе исследования результатах может быть напрямую экстраполирована в клиническую практику [30]. Однако использование этих допущений при обсуждении комплексных вмешательств проблематично, а иногда ошибочно.
В качестве первой проблемы РКИ можно выделить баланс потенциальных пользы и вреда, означающий, что заранее нельзя сделать однозначный вывод о преимуществе лечения над альтернативным вмешательством или отсутствием лечения. Однако во многих областях медицины, в том числе и в гипертензиологии, невозможно следовать рациональной логике РКИ, так как здесь одновременно и синергично действует целый набор терапевтически активных элементов, что делает невозможным уравновешивание до начала испытания.
По сведениям R. Lefering и соавт. (1998), особенно это характерно для случаев, когда вмешательство выполняется врачами, прошедшими дополнительное обучение специальным дисциплинам, так как позиции этих специалистов часто базируются на собственном фундаменте доказательств [34]. Накопленный ранее несистематический опыт и предпочтения пациентов или тех, кто проводит исследование, тесно связаны. Как сообщают Н. Walac и соавт. (2006), чем больше опыт, тем больше он влияет на предпочтения пациентов и врачей, изменяя баланс, ожидания и исходы [13].
Не менее важно, что исследователь работает, всегда в той или иной мере отдавая предпочтение своей рабочей гипотезе. Если она не подтверждается, то это ведет к разочарованию и утрате интереса к опубликованию. В результате, как ещё в 1959 г. заметил T.D. Sterling, обнародуются чаще те исследования, которые дают положительные результаты [49]. Но самым значимым фактором, определяющим отказ от обнародования, являются интересы спонсора. Классический пример - отказ от опубликования результатов РКИ фармацевтическими и иными компаниями в случаях, когда исследования дают отрицательный результат, и, наоборот, при положительном результате, способном стимулировать продажи, результаты многократно публикуются повторно [12, 27, 36].
Ко второй проблеме РКИ может быть отнесена малая специфичность. Обычно подразумевается, что полезные эффекты могут быть обоснованы понятным механизмом приписываемого лишь одному специфическому компоненту вмешательства. Однако эта предпосылка, особенно когда речь идет об ощущениях пациентов, приводит к «парадоксу эффективности»: исследователи, стараясь изолировано оценить специфический компонент лечения, сосредоточены лишь на разнице между состоянием пациентов, получающих лечение, и группой контроля, при этом пренебрегают общим эффектом лечения, хотя именно последний больше всего интересует пациентов [10, 20, 35, 57].
Иногда вмешательство проявляет полную терапевтическую пользу лишь в обстоятельствах, когда не делается попыток вычленить какую-либо часть эффекта. Тогда в ситуации, когда специфический эффект вмешательства невелик, однако общий эффект значителен (так как обусловлен комплексным взаимодействием специфического и неспецифического эффектов), формат РКИ может быть вообще нежелателен [28, 29].
Третьей проблемой РКИ являются накопленные к настоящему времени доказательства того, что утверждение о независимости результатов от контекста и места проведения исследования также неверно [17]. Оказалось, что ожидания пациентов так влияют на терапевтическую эффективность, что фармакологический и психологический компоненты становятся неотделимы друг от друга [44]. Метаанализ взаимного влияния ЛС и условий их применения, выполненный J. Kleijnen и соавт. ещё в 1994 г., выявил, что фармакологический эффект непостоянен и иногда значительно изменяется под влиянием сопутствующих обстоятельств и ожиданий [45].
По свидетельству многих исследователей, в клинических условиях контекст может изменяться под влиянием множества факторов, таких как энтузиазм, сопровождающий вмешательство (E.H. Uhlenhuth,1959, 1966) [16, 52], манеры врачей и их отношение к лекарственным средствам (K.B. Thomas, 1987, 1994) [55, 56], убеждения поставщиков лекарственных средств и пациентов (A.H. Roberts и соавт., 1996) [51], культурного контекста и установок, касающихся диеты и здоровья (D.E. Moerman, 1983, 2000) [38, 39]. По информации А. Khan и S. Khan (2003), влияние контекста может полностью затмить фармакологический эффект, как это, например, произошло с ингибиторами обратного захвата серотонина [31]. Как считают I. Kirsch (1985) и H. Walach с соавт. (2003), ключевую роль в изменении контекста играют ожидания пациентов [32, 58]. Совокупность полученных результатов приводит к заключению, что оценка изолированного (внеконтекстного) терапевтического эффекта для реальной клинической практики неприменима.
Четвёртой проблемой РКИ можно назвать применимость полученных результатов: будет ли в открытом клиническом исследовании и в последующей клинической практике сохраняться эффект того же размера, что и в РКИ. Ведь, как остроумно подметили K.I. Howard и соавт. (1990), «предположение, что результаты РКИ могут быть обобщены на клиническую практику, часто делается, редко проверяется, а если изучается эмпирически, то часто не подтверждается» [25].
Общепринятой является точка зрения, что внутренняя валидность (достоверность) - это не только необходимое, но и достаточное условие для обобщаемости результатов РКИ, при этом признаётся, что полученные результаты могут быть распространены лишь на пациентов того же типа, что и участники испытания. Для того чтобы наблюдаемый эффект стал обобщаемым (распространяемым на популяцию), выборка участников испытания должна быть достаточно большой и репрезентативной, что часто недостижимо [13]. Как утверждают E. von Rohr и соавт. (2000) и J.A. Wragg и соавт (2000), включенные в РКИ пациенты, в зависимости от особенностей вмешательства и заболевания в большей или меньшей степени, но отличаются от тех, с которыми встречается практикующий врач [19, 62]. По мнению T. Pincus (1997) и F. Lloyd-Williams с соавт. (2003), это происходит потому, что критерии отбора в РКИ часто не отражают состояния клинической практики [43, 60].
В 2000 г. S.B. Patten сообщил, что готовность участвовать в РКИ может быть связана с определенными индивидуальными характеристиками пациента [42], а ещё раньше R. Dahan и соавт. (1986), P. Netter и соавт. (1986) и H.A. Llewellyn-Thomas и соавт. (1991) показали, что когда участники РКИ более позитивно относятся к вмешательству, чем те, кто не вошли в испытание, это может приводить к ложно завышенной оценке эффективности [15, 40, 41]. Например, при изучении эффективности медицинских вмешательств подбирают: пациентов, у которых в предварительном испытании выявляется хорошая реакция на препараты изучаемой группы; пациентов, которые правильно выполняют назначения; пациентов с большей тяжестью болезни, поскольку у таких пациентов величина изменений под влиянием лечения обычно бывает выраженнее [1]. Чтобы внутри-индивидуальные изменения лучше выявлялись, в РКИ включают пациентов с благоприятными для исследования характеристиками. С этой же целью силу воздействия (дозу) выбирают достаточно большую, чтобы вызвать заметные изменения. В результате даже в очень крупных исследованиях далеко не всегда удается удовлетворительно моделировать свободный выбор терапевтического метода.
Отметим, что пирамидно-иерархическая схема РКИ, в основании которой лежат данные доказательной медицины, редко применяется в реальности. По убеждению Н. Walac и соавт. (2006) это происходит, прежде всего, потому, что такая структура управления процессами терпит неудачу при попытке учесть особенности личности, предпочтения и потребности пациента и врача [13]. Например, состояние многих пациентов может улучшаться в силу комплексных, синергичных или уникальных причин, которые не могут быть изолированно воспроизведены в контролируемых условиях эксперимента.
Альтернативной РКИ является «циркулярная модель», которая выводится из опыта и истории проведения оценки в социальных науках, где исследователи достаточно давно пришли к соглашению, что, так как любой метод имеет достоинства и недостатки (и это противоречие не может быть разрешено в рамках самого метода), то лишь применение совокупности методов может в итоге дать реалистичную оценку эффективности и безопасности вмешательства [14, 61].
В циркулярной модели экспериментальные методы (необходимые для специфического тестирования эффективности материала исследования), дополняются не экспериментальными (обсервационными) методами, изучающими эффективность и применимость вмешательства в реальной жизни (ретроспективные наблюдения, проспективные серии случаев и пр.) [13]. При этом важно не столько, является ли испытание рандомизированным, сколько то, подходит ли используемый метод для получения ответов на интересующие исследователей вопросы и тщательно ли метод применяется.
Структурно циркулярная модель исследования выглядит следующим образом. В качестве базовых используются методы, обладающие большой достоверностью (плацебо-контролируемые или активные вмешательства РКИ), однако следует учесть, что, как сообщает D. Mant (1999), их обобщаемость невысока [37]. Для выравнивания этого дисбаланса необходимы крупные длительные обсервационные исследования, документально подтверждающие применимость, безопасность и эффективность вмешательств в реальной клинической практике [47], а для выяснения вопроса, будет ли вмешательство так же эффективно в интересующей клиницистов популяции, как было продемонстрировано в РКИ, нужны сравнительные исследования в соответствующих когортах. В некоторых случаях нужную информацию можно получить из ретроспективного аудита документированных данных или при проспективном наблюдении за когортой подвергаемых лечению пациентов. Полезным может оказаться обсервационное исследование с участием единственной, но достаточно большой группы пациентов [18]. Наконец, применимость вмешательства, приемлемость его для врачей и пациентов и профиль безопасности изучают в крупных моногрупповых обсервационных испытаниях.
Для прочно утвердившихся в арсенале медицины традиционных вмешательств, а также для утвердившихся, но мало изученных комплексных вмешательств, процедура оценки проходит в обратном порядке: сначала решается вопрос об общей клинической эффективности и безопасности применения вмешательства, а затем (если этот этап прошел успешно), выясняют вопрос его специфической эффективности [59, 24].
Очень важную информацию об эффективности лечения можно получить, анализируя качество жизни, так как при большинстве хронических заболеваний оценка пациентом своего состояния является самым важным показателем здоровья [46]. Этот абсолютно субъективный параметр, характеризующий личный опыт болезни пациента, может быть изучен лишь в качественных исследованиях, и в данной области это лучший путь получения доказательств [13].
В медицине более точным является термин «качество жизни, связанное со здоровьем» (КЖСЗ) [50], объединяющий психологическое, социальное, физическое и духовное благополучие больного [3, 8], при этом, как указывает A. Bowling (1996), Возможна оценка КЖСЗ одного человека, группы людей, слоев населения и общества в целом [9].
КЖСЗ - мультифакторный критерий [3]. Его основными характеристиками являются многомерность (единый комплекс компонентов как связанных, так и не связанных с заболеванием), изменяемость во времени (возможность изменения в зависимости от состояния больного, обусловленного эндогенными и экзогенными факторами) и зависимость от мнения больного (участие больного в оценке собственного состояния) [26]. В настоящее время доказано, что параметры КЖСЗ обладают независимой прогностической значимостью, и часто являются более точными факторами прогноза выживаемости и состояния больного во время лечения, чем общесоматический статус [21]. По мнению F. Joly и соавт. (1996), при хронических состояниях в фазе ремиссии КЖСЗ является основным критерием оценки состояния больного [33].
Кроме того, изучение качества жизни делает возможным обоснование методов лечения с учетом оценки стоимости болезни (cost of illness), минимизации затрат (cost-minimization), показателей «стоимость-эффективность» (cost-effectiveness), «стоимость-полезность» (cost-utility), «стоимость-польза» (cost-benefit) и «польза-стоимость/полезность» (benefit-cost/utility) [2, 4, 5, 6].
Таким образом, циркулярная модель, с присущей ей гибкостью и способностью подстраиваться к характеристикам индивидуума, помогает описать комплекс взаимодействий между пациентом и врачом, как единую общность знаний, основанную на систематических обзорах, РКИ, обзорах качественных исследований, данных о безопасности и затратности вмешательства и личном клиническом опыте [61].
С учётом этого нами была разработана программа многоуровневого циркулярного исследования, конечной целью которого являлось создание инструментов количественной оценки эффективности антигипертензивной терапии.
Программа включала три этапа:
Первый - анализ результатов завершённых РКИ, посвященных изучению различных аспектов антигипертензивной терапии.
Второй - анализ факторов (помимо уровня АД), оказывающих влияние на интегральные конечные точки (качество жизни, смерть) у больных ГБ и оценка их иерархии.
Третий - собственно разработка инструментов, на основании полученных данных.
Результаты реализации этой программы легли в основу настоящей монографии.
Литература к главе
1. Власов В. В. Явления непреднамеренного отбора в клинических исследованиях / В. В. Власов // Клинич. Мед., 1995. - Т. 73(5). - С. 71-73.
2. Воробьев П. А. Клинико-экономический анализ. 3-е изд., с прил. / П. А. Воробьев. - М.: Ньюдиамед, 2008. - 778 с.
3. Новик А. А. Руководство по исследованию качества жизни в медицине / А. А. Новик, Т. И. Ионова. - СПб.: Издательский дом Нева; М.: ОЛМА ПРЕСС; Звездный мир, 2002. - 320 с.
4. Остроумова О. Д. Что определяет экономическую эффективность лечения артериальной гипертонии? / О. Д. Остроумова, С. Р. Гиляревский, В. И. Мамаев // Кардиология, 2003. - № 12. - С. 86-90.
5. Стародубов В. И. Клиническое управление: теория и практика / В. И. Стародубов, Т. К. Луговкина. - М.: Медицина, 2003. - 192 с.
6. Фармакоэкономические исследования в здравоохранении / Под ред. Б. И. Гельцера. - Владивосток: Дальнаука, 2002. - 272 с.
7. A dictionary of epidemiology. 4 edn. IEA, Oxford University Press: Oxford 2001. - 466 p.
8. Aaronson N. K. Quality of life assessment in clinical trials: methodologic issues / N. K. Aaronson // Control Clin. Trials, 1989. - Vol. 10. - P. 195-208.
9. Bowling A. Measuring Disease: a review of disease-specific quality of life measurement scales / A. Bowling. - Philadelphia: Open University Press, 1996. - 374 p.
10. Bridging the gap between conventional and alternative medicine. Results of a qualitative study of patients and providers / B. Barrett [et al.] // Journal of Family Practice, 2000. - Vol. 49. - P. 234-239.
11. Challenges and Solutions to Research in Complementary and Alternative Medicine / W. B. Jonas [et al.] // Forschende Komplementarmedizin und Klassische Naturheilkunde, 2005. - Vol. 12. - P. 159-167.
12. Chapman S. Research from tobacco industry affiliated authors: need for particular vigilance / S. Chapman // Tob. Control, 2005. - Vol. 14. - P. 217-219.
13. Circular instead of hierarchical: methodological principles for the evaluation of complex interventions BMC / H. Walach [et al.] // Medical Research Methodology, 2006. - Vol. 6. - P. 29.
14. Cook T. D. Lessons learned about evaluation in the United States and some possible implications for Europe / T. D. Cook, W. W. Wittmann // European Journal of Psychological Assessment, 1998. - Vol. 14. - P. 97-115.
15. Does informed consent influence therapeutic outcome? A clinical trial of the hypnotic activity of placebo in patients admitted to hospital / R. Dahan [et al.] // BMJ, 1986. - Vol. 293. - P. 363-364.
16. Drug, doctor's verbal attitude and clinic setting in the symptomatic response to pharmacotherapy / E. H. Uhlenhuth [et al.] // Psychopharmacologia, 1966. - Vol. 9. - P. 392-418.
17. Efficacy of acupuncture for the prophylaxis of migraine: A multicentre randomised controlled clinical trial / H. C. Diener [et al.] // Lancet Neurology, 2006. - Vol. 16 (Ssupl. 1). - P. 12-19.
18. Efficacy of distant healing - a proposal for a four-armed randomized study (EUHEALS) / H. Walach [et al.] // Forschende Komplementarmedizin und Klassische Naturheilkunde, 2002. - Vol. 9. - P. 168-176.
19. Experiences in the realisation of a research project on anthropomorphically medicine in patients with advanced cancer / E. von Rohr [et al.] // Schweizer medizinische Wochenschrift, 2000. - Vol. 130. - P. 1173-1184.
20. Ezzo J. Assessing clinical efficacy of acupuncture: What has been learned from systematic reviews of acupuncture? / J. Ezzo, L. Lao, B. M. Berman / In: Clinical Acupuncture Scientific Basis Edited by: Stux G, Hammerschlag R. Heidelberg, Springer, 2001. - P. 113-130.
21. For the Australian New Zealand Breast Cancer Trials Group. Prognostic value of quality of life scores during chemotherapy for advanced breast cancer / A. S. Coates [et al.] // J. Clin. Oncol., 1992. - Vol. 10. - P. 1833-1838.
22. Gabbay J. Evidence based guidelines or collectively constructed «mindlines»? Ethnographic study of knowledge management in primary care / J. Gabbay, A. le May // British Medical Journal, 2004. - Vol. 329. - P/ 1013-1017.
23. Grimes D. A. Bias and causal associations in observational research / D. A. Grimes, K. F. Schulz // Lancet, 2002. - Vol. 359. - P. 248-252.
24. Guthlin C. Measuring the effects of acupuncture and homoeopathy in general practice: An uncontrolled prospective documentation approach / C. Guthlin, O. Lange, H. Walach // BMC Public Health, 2004. - Vol. 4(6). - P. 674-677.
25. Howard K. I. Attrition in substance abuse comparative treatment research: The illusion of randomization / K. I. Howard, W. M. Cox, S. M. Saunders / In: Psychotherapy and Counseling in the Treatment of Drug Abuse Edited by: Onken L.S., Blaine J.D. Rockville, National Institute of Drug Abuse, 1990. - P. 66-79.
26. Impact of coronary artery bypass grafting on various aspects of quality of life / H. Sjoland [et al.] // Eur. J. Cardiothoracic Surg., 1997. - Vol. 12. - N. 4. - P. 612-619.
27. Impact of covert duplicate publication on meta-analysis: A case study / M. R. Tramer // Brit. Med. J., 1997. - Vol. 315. - P. 7109.
28. Impact of study quality on outcome in placebo-controlled trials of homeopathy / K. Linde [et al.] // Journal of Clinical Epidemiology, 1999. - Vol. 52. - P. 631-636.
29. Is acupuncture effective for the treatment of chronic pain? / J. Ezzo [et al.] // A systematic review. Pain, 2000. - Vol. 86. - P. 217-225.
30. Kaptchuk T. J. The double-blind randomized controlled trial: Gold standard or golden calf? / T. J. Kaptchuk // Journal of Clinical Epidemiology, 2001. - Vol. 54. - P. 541-549.
31. Khan A. Placebo in mood disorders: the tail that wags the dog / A. Khan, S. Khan // Current Opinion in Psychiatry, 2003. - Vol. 16. - P. 35-39.
32. Kirsch I. Response expectancy as a determinant of experience and behavior / I. Kirsch // American Psycholog., 1985. - Vol. 40. - P. 1189-1202.
33. Late psychosocial sequelae in Hodgkins disease survivors: a French population-based case control study / F. Joly [et al.] // J. Clin. Oncol., 1996. - Vol. 14. - N. 9. - P. 2444-2453.
34. Lefering R. Problems of randomized controlled trials (RCT) in surgery / R. Lefering, E. Neugebauer / In Nonrandomized Comparative Clinical Studies Edited by: Abel U., Koch A. // Dusseldorf, Symposion Publishing, 1998. - P. 67-75.
35. Lewith G. T. Bensoussan A.Complementary and alternative medicine - with a difference: Understanding change in the 21st centruy will help us in the CAM debate / G. T. Lewith // Medical Journal of Australia, 2004. - Vol. 180. - P. 585-586.
36. Lopipero P. Tobacco interests or the public interest: 20 years of industry strategies to undermine airline smoking restrictions / P. Lopipero, L. A. Bero // Tob. Control, 2006. - Vol. 15. - P. 323-332.
37. Mant D. Can randomised trials inform clinical decisions about individual patients? / D. Mant // Lancet, 1999. - Vol. 353. - P. 743-746.
38. Moerman D. E. Cultural variations in the placebo effect: Ulcers, anxiety, and blood pressure / D. E. Moerman // Medical Anthropology Quarterly, 2000. - Vol. 14. - P. 51-72.
39. Moerman D. E. General medical effectiveness and human biology: Placebo Effects in the treatment of ulcer disease // Medical Anthropology Quarterly, 1983. - Vol. 14. - P. 3-16.
40. Netter P. What selection of patients is achieved by requestiong informed consent in placebo controlled drug trials? / P. Netter, S. Heck, H. J. Muller // Pharmacopsychiatry, 1986. - Vol. 19. - P. 335-336.
41. Patients' willingness to enter clinical trials: measuring the association with perceived benefit and preference for decision participation / H. A. Llewellyn-Thomas [et al.] // Social Science and Medicine, 1991. - Vol. 32. - P. 35-42.
42. Patten S. B. Selection bias in studies of major depression using clinical subjects / S. B. Patten // Journal of Clinical Epidemiology, 2000. - Vol. 53. - P. 351-357.
43. Pincus T. Analyzing long-term outcomes of clincial care without randomized controlled clinical trials: The Consecutive patient Questionnaire Database / T. Pincus // J. of Mind-Body Health, 1997. - Vol. 13. - P. 3-32.
44. Placebo and opioid analgesia - imaging a shared neuronal network / P. Petrovic [et al.] // Science, 2002. - Vol. 295. - P. 1737-1740.
45. Placebo effect in double-blind clinical trials: a review of interactions with medications / J. Kleijnen [et al.] // Lancet, 1994. - Vol. 344. - P. 1347-1349.
46. Qality of life assessments in clinical trials / Ed. by M.J. Staquet. - Oxvord; New-York; Tokyo: Oxford University Press, 1998. - 360 p.
47. Raskin I. Medical treatment effectiveness research. A view from inside the Agency for Health Care Policy and Research / I. Raskin, C. Maklan // Evaluation and the Health Profession, 1991. - Vol. 14. - P. 161-186.
48. Reilly D. The evidence profile. The mulitdimensional nature of proof / D. Reilly, M. A. Taylor // Complementary Therapies in Medicine, 1993. - Vol. 1(Suppl. 1). - P. 11-12.
49. Sterling T. D. Publication decisions and their possible effects on inferences drawn from tests of significance - or vice versa / T. D. Sterling // J. Amer. Statist. Assoc., 1959. - Vol. 54. - P. 30-34.
50. Sullivan M. The Swedish SF-36 Health Survey III. Evaluation of criterion-based validity: results from normative population / M. Sullivan, J. Karlsson // J. Clin. Epidemiology, 1998. - Vol. 51. - P. 1105-1113.
51. The power of nonspecific effects in healing: implications for psychosocial and biological treatments / A. H. Roberts [et al.] // Clinical Psychology Review, 1993. - Vol. 13. - P. 375-391.
52. The symptomatic relief of anxiety with meprobamate, phenobarbitol and placebo / E. H. Uhlenhuth [et al.] // American Journal of Psychiatry, 1959. - Vol. 115. - P. 905-910.
53. Therapy Conferences on: How to evaluate a new drug. // American Journal of Medicine, 1954. - Vol. 17. - P. 722-727.
54. Therapy Conferences on: The use of placebos in therapy // New York Journal of Medicine, 1946. - Vol. 46. - P. 1718-1727.
55. Thomas K. B. The placebo in general practice / K. B. Thomas // Lancet, 1994. - Vol. 344. - P. 1066-1067.
56. Thomas K. B. General practice consultations: is there any point in being positive? / K. B. Thomas // British Medical Journal, 1987. - Vol. 294. - P. 1200-1202.
57. Walach H. Das Wirksamkeitsparadox in der Komplementarmedizin / H. Walach // Forschende Komplementarmed. und Klass. Naturheilkunde, 2001. - Vol. 8. - P. 193-195.
58. Walach H. Herbal treatments and antidepressant medication: Similar data, divergent conclusions. In: Science and Pseudoscience in Clinical Psychology / H. Walach, I. Kirsch / Edited by: Lilienfeld S.O., Lynn S.J., Lohr J.M. - New York : Guilford Press, 2003. - P. 306-330.
59. Whole systems research: moving forward / M. J. Verhoef [et al.] // Focus on Alternative and Complementary Therapies, 2004. - Vol. 9. - P. 87-90.
60. Why are patients in clinical trials of heart failure not like those we see in everyday practice? / F. Lloyd-Williams [et al.] // Journal of Clinical Epidemiology, 2003. - Vol. 56. - P. 1157-1162.
61. Wittmann W. W. Evaluating complementary medicine: Lessons to be learned from evaluation research / W. W. Wittmann, H. Walach / In: Clinical Research in Complementary Therapies: Principles, Problems, and Solutions Edited by: Lewith G., Jonas W.B., Walach H. - London, Churchill Livingston, 2002. - P. 93-108.
62. Wragg J. A. Information presentation and decision to enter clinical trials: a hypothetical trial of hormone replacement therapy / J. A. Wragg, E. J. Robinson, R. J. Lilford // Social Science and Medicine, 2000. - Vol. 51. - P. 453-462.