Резюме
В статье обозначены основные методологические проблемы клинических исследований (КИ), которые обнаруживают на последнем этапе научной работы - на этапе публикации результатов КИ. В трёх группах ошибок (этика, дизайн и биостатистика) выделены типовые ошибки, которые чаще всего встречаются в отечественных журнальных публикациях и диссертациях по результатам КИ. К этическим проблемам отнесены: вопросы распределения авторского вклада в исследование, правильного обозначения конфликта интересов и этики организации клинического эксперимента. К основным проблемным вопросам дизайна КИ автор относит умение верно обозначить тип дизайна КИ, определение правил включения/исключения в/из исследование(я), верное определение конечных точек (клинических исходов), по которым оценивают достигнутый в исследовании результат, и выделение референтных методов определения болезни. Вопросы биостатистики включают такие наиболее частые ошибки, как неверный формат представления выборочных характеристик КИ, ошибки в использовании статистических методов при сопоставлении двух независимых и связанных групп, ошибки при множественных сравнениях, ошибки при оценке результатов диагностических исследований и при визуализации результатов статистического анализа. Весь этот комплекс методологических проблем клинической науки малоизвестен для отечественного исследователя и редко обсуждается на наших конференциях.
Ключевые слова: клинические исследования, клинические научные публикации, методология.
Во все времена информация и знания являлись наиболее ценными общественными продуктами. В современном постиндустриальном обществе «третьей волны» (по Э. Тоффлеру) знаковый интеллектуальный продукт становится определяющим фактором развития всех сфер жизни, включая медицину [6]. Лавинообразное увеличение потоков информации в медицинской отрасли, с одной стороны, и развитие теории клинических исследований (КИ), с другой, потребовали изменения и стандартизации формата современной публикации по результатам КИ. Международное научное сообщество уделяет приоритетное внимание методологическим вопросам представления результатов КИ. Недавно мы привели краткий обзор основных международных инициатив, рекомендаций и стандартов по представлению результатов КИ в журнальных публикациях [3]. К сожалению, большая часть этих рекомендаций неизвестна в странах СНГ. В результате наши научные клинические публикации оказались за пределами международного клинического информационного пространства, что приводит к стремительному снижению рейтинга отечественной клинической науки. Многочисленные отечественные биомедицинские журналы и сборники научных трудов наполняются низкокачественной информацией, которую в лучшем случае можно отнести к категории «информационный шум», в худшем -эти низкокачественные публикации являются рекламным средством фармакокомпаний или утверждают доминирование ложных приоритетов в нашем научном сообществе.
Указанные проблемы всё больше осознают и в России. Российский электронный ресурс «Национальный информационный центр по науке и технологиям (http://www.strf.ru/) ведёт огромную работу по анализу методологических проблем российской науки. В России создаются условия для обеспечения качественной научной конкуренции. Так, уже два года действует постановление правительства России (№ 277, 20.04.2006 г., http://www.biometrica.tomsk.ru/vak_4), которое обязало публиковать авторефераты докторских диссертаций на сайте ВАК России за 3 мес. до защиты диссертации. Планируется полностью публиковать и тексты диссертаций в Интернете до их защиты (http://www.rosbalt.ru/2007/10/31/427080.html). Кроме этого, в России проводятся различные интернет-конференции и круглые столы для открытого обсуждения существующих в науке проблем. Эти акции по обеспечению прозрачности и публичности процесса академической аттестации создают условия для оздоровления климата в российской науке и для осознания критической массой учёных глубины проблемной ситуации в науке. Но для реальных перемен к лучшему также необходимы современные знания о новых методологических научных принципах.
В клинической медицине с целью реформирования клинической науки наиболее активную работу проводят Международный журнал медицинской практики (Шр://\мт. тесИаирЪега. ги/ригпак/ргасИк/; главный редактор - директор Российского отделения Кокрановского сотрудничества проф. В. В. Власов) и сайт «Биометрика» (кПр://м>м>м>. biometrica.tomsk.ru; главный редактор - канд. техн. наук, доцент Томского государственного университета В. П. Леонов). На страницах этих информационных ресурсов профессионалы обсуждают различные аспекты организации КИ и публикационной практики, проводят анализ уродливых явлений в клинической науке.
Цель исследования - анализ основных методологических проблем подготовки научной клинической публикации на основе специальных знаний из различных разделов эпидемиологии неинфекционных заболеваний, биостатистики и современных рекомендаций по публикационной практике. В рамках журнальной публикации мы ставим основной целью только обозначить наиболее важные типовые ошибки в современных отечественных научных клинических публикациях.
Материалы и методы. Рассмотрены текущие публикации в отечественных биомедицинских изданиях и некоторые конкретные исследования. К сожалению, до сих пор в научном сообществе не поощряют адресную критику конкретных низкокачественных публикаций, поэтому мы ограничимся лишь несколькими конкретными примерами. В качестве методологических источников в работе используются современные руководства по эпидемиологии неинфекционных заболеваний [1, 2, 7], аналитические публикации по организации КИ и биостатистике [4, 5, 9], а также базисные международные рекомендации по организации научной публикационной практики [10].
Результаты и обсуждение
Основные ошибки представления КИ. Для более конкретного анализа проблем методологии КИ мы умышленно сузили поле нашего анализа к типовым ошибкам в научных публикациях. Под понятием «типовые ошибки» подразумеваются определённые классификационные типы ошибок, в рамках которых существуют типичные ошибки.
Чаще всего в критических публикациях по проблемам методологии КИ именно биостатистика занимает центральное место как наиболее очевидная проблема качества представления результатов КИ. Действительно, современная медицина всё больше использует количественный подход в изучении заболеваний и эффективности различных методов диагностики и лечения, поэтому правильность использования статистических инструментов в КИ всегда будет находиться в центре внимания. С точки зрения эпидемиологии неинфекционных заболеваний [7] КИ планируются таким образом, чтобы снизить систематические ошибки и минимизировать случайные. Биостатистика является средством минимизации случайных ошибок при планировании и оценке результатов КИ. В последние годы всё больше внимания уделяют систематическим ошибкам в КИ. Источниками систематических ошибок являются нарушения этических принципов организации КИ и представления результатов в научной публикации, а также выбор дизайна (плана) КИ, который неадекватен задачам и объекту КИ. Исходя из этих классификационных признаков, можно следующим образом представить источники типовых ошибок в научной клинической публикации (см. рис.).

Рис. Основные источники типовых ошибок в научной клинической публикации
Этические проблемы представления результатов КИ. Эта группа проблем в последние десятилетия выходит на первый план при организации и представлении результатов КИ, так как нарушение этики КИ это не столько общественная проблема, сколько источник различных систематических ошибок и получения смещённого результата в ту сторону, которая выгодна заинтересованным лицам с целью манипуляции мнением научной общественности.
Авторство. Этическую проблему авторства всё чаще обсуждают в современном клиническом сообществе. В решение этой проблемы огромный вклад вносит Европейская ассоциация медицинских авторов (EMWA/European Medical Writers Association). Соавтор руководства Европейской ассоциации медицинских авторов Elizabeth Wager в публикации 2007 г., анализируя проблему формирования списков авторов в медицинских научных публикациях, в заключении предложила расширить известную классификацию типов лжи (Benjamin Disraeli). С её точки зрения, есть не три, а четыре типа лжи: ложь, наглая ложь, статистика и списки авторства научных публикаций [12]. Эта аналогия акцентирует внимание на проблемах авторства, которые многие годы были скрыты от научной общественности. В наших странах авторство научной публикации (как вопрос научной методологии) является необъявленной и неопознанной проблемой. Наш коллега, анестезиолог Kevin Strange, в публикации 2008 г. так обозначил актуальность обсуждаемой темы: «Большинство учёных не подозревают о том, что в научном сообществе в течение, по крайней мере, трёх десятилетий происходит обширная дискуссия по проблеме авторства с целью формализации критериев авторства» [11]. Напряжённость этих дискуссий нарастает, так как открытость авторского вклада и ответственность авторов за информацию в публикациях существенно снижает вероятность смещённых оценок результатов исследований.
В настоящее время приняты согласованные критерии определения авторства, а объявление авторского вклада в публикацию является обычной практикой в рейтинговых периодических клинических изданиях. Основные проблемы авторства состоят в таких формах недобросовестной научной практики, как теневое авторство, гостевое и почётное авторство [8]. Все эти три формы активно практикуются в нашем клиническом сообществе. В результате чего в наших странах сложились искажённые представления о сущности понятия «авторский вклад». Гостевые (почётные) авторы - это, как правило, руководители лабораторий, всякого рода начальники, оформители материалов публикаций, финансисты научных проектов или просто «хорошие люди», которым необходимо выполнять план по валу публикаций. Иногда на кафедрах существует архаичная традиция ставить первым в списке авторов заведующего, даже если он не знаком с текстом публикации или осуществлял общее руководство КИ. Гостевое авторство основывается на ожидании, что включение определенного имени улучшит возможности того, что исследование будет издано или увеличит оценку статуса публикации. Теневое авторство чаще связано с написанием заказных фармакологических работ.
В целом, нарушение международных принципов авторства и авторского вклада создаёт условия для недобросовестной практики КИ и повышает вероятность целого ряда систематических ошибок. В результате такой публикационной практики уничтожаются сами условия научной конкуренции, что неизбежно ведёт к упадку науки. Это общеизвестная закономерность.
Конфликт интересов - наиболее существенный источник систематических ошибок в КИ. В соответствии с международными рекомендациями [10] конфликт интересов, или двойные обязательства в научной публикации, возникает в том случае, если автор, рецензент или редактор имеют обязательства, которые могли бы повлиять на его мнение. Соответственно выделяют: а) конфликт интересов, обусловленный личными обязательствами авторов; б) конфликт интересов, обусловленный финансированием проекта; в) конфликт интересов, обусловленный обязательствами редакторов, сотрудников журнала или рецензентов.
Первые два типа конфликта интересов являются причиной умышленной ошибочной интерпретации результатов КИ. Выполняя личные или финансовые обязательства, авторы могут не только опустить из результатов КИ факты, противоречащие ожидаемому результату КИ, но и прибегнуть к фабрикации и фальсификации первичного материала КИ. Объявление конфликта интересов в начале или в конце публикации, так же как объявление авторского вклада в КИ, давно является обязательным компонентом публикации в рейтинговом научном клиническом журнале.
Этика организации клинического эксперимента. Соблюдение этических ограничений в соответствии с Хельсинской декларацией при проведении экспериментов на людях актуально как в случаях корпоративных КИ, так и при проведении КИ по инициативе частного исследователя. Эти ограничения в совокупности с существующими правилами регистрации протоколов клинических испытаний в независимых международных организациях обеспечивают прозрачность КИ, ограничивают вероятность появления смещённых оценок в пользу гипотезы исследователя и создают равные конкурентные условия для разных учёных. Этические ограничения также существенно влияют на выбор дизайна
КИ и косвенно позволяют снизить целый ряд систематических ошибок в КИ.
Выбор дизайна КИ. Проблема выбора дизайна КИ является наиболее сложной и ответственной интеллектуальной задачей при планировании КИ. Это связано с тем, что для выбора адекватного дизайна КИ исследователь должен владеть специальными знаниями, которые относятся к разделу новой фундаментальной клинической науки - клинической эпидемиологии [7]. Основная проблема заключается в том, что эта наука малоизвестна в наших странах и до сих пор не преподаётся в университетах. С другой стороны, объявление дизайна КИ является обязательным в рейтинговых клинических журналах. Отсутствие знаний, необходимых для выбора дизайна КИ, адекватного объекту исследования, может привести к ряду систематических ошибок в научной клинической публикации.
Определение типа дизайна КИ. Существуют определённые дизайны КИ для решения типовых задач. Так, например, для оценки эффективности чаще всего используют рандомизированное клиническое испытание (РКИ), а для изучения диагностических методов - обсервационный дизайн КИ. Но в рамках типовых дизайнов КИ возможны модификации, которые позволяют оптимизировать план исследования в соответствии с текущим уровнем знаний об объекте исследования, этическими ограничениями и конкретными возможностями проведения КИ. Выбор неадекватного объекту исследования дизайна КИ приводит к целому ряду ошибок. Так, например, если в РКИ определять эффективность лечебного воздействия, но при этом не иметь чёткого алгоритма выбора дозы воздействия, то возникает высокая вероятность получения неопределенного результата КИ. Типичным примером могут служить результаты многочисленных РКИ эффективности гипербарической оксигенации (ГБО) при различных заболеваниях: в отличие от описаний отдельных наблюдений при формализованном испытании обнаруживается более низкая эффективность ГБО. Методологическая ошибка организации этих исследований заключается в том, что игнорируются давно известные факты о зависимости эффектов лечебной гипероксии от стадии и тяжести заболевания и от конституциональных характеристик пациентов. Также в ГБО пока отсутствует принцип выбора дозы лечебной гипероксии. В данном случае, с одной стороны, более целесообразно накапливать и обобщать результаты КИ с обсервационным дизайном, а с другой - следует изучать эффективность разных доз ГБО в зависимости от клинических особенностей объекта исследования и разрабатывать объективные критерии оценки эффективности ГБО по данным мониторинга функциональных характеристик организма в реальном времени во время сеансов ГБО, то есть при существующем уровне знаний о ГБО дизайн РКИ для изучения эффективности этого лечебного метода пока малоприемлем. Этот пример показывает важность комплексного понимания объекта исследования и выбор адекватного объекту исследования дизайна КИ. Ошибки при выборе дизайна КИ оказывают фатальное влияние на качество КИ.
Неверное определение правил включения/исключения в/из КИ является основным источником систематических ошибок. Любое КИ основано на материале определенной выборки из изучаемой популяции. Обычно для обеспечения высокой достоверности (внутренняя валидность) в КИ формируется высокоселективная по определенным характеристикам выборка из популяции. Но, с другой стороны, результаты такого КИ имеют низкую обобщаемость (внешняя валидность). Для классического КИ более актуальна внутренняя валидность, для чего в каждом исследовании, особенно при небольших объёмах выборки из популяции, формируются чёткие критерии включения в КИ и исключения из КИ по тем факторам, которые являются предметом изучения в КИ. Кроме этих изучаемых факторов, существуют так называемые «вмешивающиеся факторы», которые неочевидны, но которые могут стать источником систематических ошибок. В исследованиях эффективности для минимизации этих ошибок, наряду с критериями включения/исключения, используют метод случайного формирования изучаемых групп или рандомизация. Рандомизация - достаточно сложный для корректной реализации методический приём, который в наших публикациях часто неверно трактуется как простое деление на группы. Исполь-зование понятия «рандомизация» в научной клинической публикации, безусловно, требует таких элементов КИ, как информированное согласие, этический комитет, утверждённый протокол КИ, регистрация клинического испытания в международных регистрах и прочих строго необходимых элементов, свойственных для РКИ.
Определение изучаемых клинических исходов и референтных методов диагностики является ключевым вопросом планирования КИ. Клиническая наука, по определению эпидемиологов, занимается изучением «клинических исходов, под которыми подразумевают исходы, имеющие наибольшее значение для больных и для медицинского персонала (смерть, наличие заболевания, дискомфорт, инвалидизация, неудовлетворённость). Биоло-гические явления не могут считаться эквивалентом клинических исходов, пока не получено прямых доказательств их взаимосвязи» [7]. Иногда в КИ это понятие называют «конечные точки» (end point), то есть те моменты в течение заболевания, наступление которых позволяет сделать заключение о достижении изучаемого результата. Понятие референтный метод (золотой стандарт) подразумевает некоторый наиболее точный способ определения болезни, то есть «тот, который заслуживает доверия» [7]. Клинические исходы и референтные методы имеют взаимоотношения как общее и частное. Если в КИ при оценке клинических исходов не используется референтный метод диагностики, то такой выбор должен быть чётко обоснован, иначе работа будет содержать грубую методическую ошибку.
Наиболее распространённой ошибкой планирования КИ служит замещение клинических исходов суррогатными, под которыми подразумевают лабораторный показатель или симптом, который заменяет клинически значимый исход, прямо характеризующий самочувствие больного, его функциональное состояние и выживание. Так, например, динамика различных цитокинов при системном воспалительном ответе не позволяет нам говорить об эффективности лечения до тех пор, пока не будет убедительно доказана статистическая линейная взаимосвязь концентрации цитокинов в плазме пациентов и определённых клинических исходов, причём эта связь должна быть выражена математически, не в виде коэффициента корреляции, а в критериях, используемых для современных диагностических методов (см. ниже). Еще более грубая методическая ошибка организации КИ - попытка показать диагностическую эффективность какого-либо метода оценки состояния пациента путём его сопоставления с другим суррогатным исходом. Подобные исследования изучают механизмы заболеваний и относятся к патофизиологии.
Биостатистика. Наиболее ёмким русскоязычным информационным ресурсом по вопросам биостатистики является сайт «Биометрика» (http://www.biometrica.tomsk.ru), на котором представлены не только различные обучающие материалы, но также в разделе «Кунсткамера» проводится анализ использования статистических методов в конкретных публикациях. С нашей точки зрения, в последние годы наиболее удачной публикацией, в которой анализируют основные статистические ошибки в клинических исследованиях, является статья Тома Ланга [4]. Но даже эта простая публикация требует определённой подготовки для восприятия изложенной информации. Ситуация с уровнем подготовки молодых и зрелых исследователей в области биостатистики в наших странах характеризуется крайне низким уровнем знаний. Интересный материал по данной теме опубликован в «Международном журнале медицинской практики» (№ 2, 2006). Это издание представляет анализ проблемной ситуации в области биостатистики с точки зрения ведущих специалистов России. Затем в одном из следующих номеров журнала (№ 1, 2007) публично обсуждается открытое письмо одного из российских специалистов по биостатистике.
Обратимся к наиболее элементарным статистическим ошибкам, которыми изобилуют наши клинические публикации и диссертации.
Представление выборочных числовых характеристик. Любое КИ основано на анализе выборочных числовых характеристик объектов исследования, к которым чаще всего относятся меры положения и меры рассеяния. Каждую из характеристик этих двух групп применяют для определенных целей. Например, для общей оценки нормально распределённой выборки чаще всего используют среднее значение и стандартное отклонение, а для сравнительной оценки разных выборок -среднее значение и стандартную ошибку среднего (или значение 95%-ного доверительного интервала для среднего). Однако известно, что клинические характеристики редко подчиняются нормальному закону распределения и поэтому для таких случаев (а тем более при малых объёмах выборок) рекомендуется использовать медианные и квартальные (процентильные) оценки выборочных характеристик. В особых случаях в публикации целесообразно представить гистограмму распределения изучаемой характеристики. В текущих публикациях в качестве выборочных характеристик чаще всего встречаются среднее значение и его стандартная ошибка. При этом иногда авторы не указывают, что подразумевается под выражением типа А ± Ь. Здесь следует заметить, что отсутствие в публикации перечня всех применённых методов статистического анализа и расшифровки используемых сокращений само по себе является грубой ошибкой.
Если автор выбирает стандартную ошибку в качестве характеристики точности оценки среднего, то рядом с их значениями необходимо указать объём выборки. Но в настоящее время редакции рейтинговых журналов и международные рекомендации строго рекомендуют в случае представления данных нормально распределенной выборки использовать средние и их 95%-ный доверительный интервал. Это так называемая «точечная» характеристика выборки.
Как же обстоит дело в реальности в наших публикациях? Продемонстрируем ситуацию на примере двух докторских диссертационных работ по анестезиологии, которые по ряду причин попали в наше поле внимания, а их анализ представлен на сайте «Кунсткамера клинической науки» (http://www.kknO.narod.ru). Приведём только некоторые наиболее грубые статистические ошибки в этих работах. В одном из авторефератов диссертации представлено 19 выборочных характеристик средних, в которых стандартное отклонение превышает среднее значение, а в девяти случаях стандартное отклонение фактически больше в два раза и более (http://www.kknO.narod.ru/P2/Hl_Main.html), то есть коэффициент вариации в этих выборках превышает 100%. Специалисты по эпидемиологии утверждают, что «Коэффициент вариации - безразмерная величина, меньше единицы» (или 100%, прим. К. В.) [2], а профессионалы-статистики считают, что «если коэффициент вариации превышает 100%, то обычно это означает, что данные неоднородны» [4], то есть теоретически коэффициент вариации может превысить измеренное среднее значение, но данные такой выборки непригодны для какого либо анализа и требуют обязательных разъяснений.
Во втором случае в автореферате докторской диссертации (http://www. ккпО. narod. ru/P4/H3 Main, html) вообще не указано, какие статистические методы использованы в диссертации и как понимать выражения типа А ± Ь. Самое интересное, что в этом автореферате не приведено ни одного абсолютного значения изучаемых величин, а результаты исследования представлены в таком формате: «Концентрация... возрастала на протяжении первых суток наблюдения на 50,8 ± 4,5%, а в бронхиальном секрете - в 19,7 + 4,1 раза...». В официальном отзыве на этот автореферат профессионал, известный специалист России в области биостатистики В. П. Леонов заявил: «Остаётся загадкой, каким образом автор находил ошибку среднего для отношения двух количественных величин. К примеру, если одна величина равна 170, а другая равна 100, то их отношение равно 1,7. Однако никакой ошибки среднего в данном случае вычислить невозможно!» (http://www. ккпО. narod. ru//P4/H3_Stat. html).
На основании таких ошибочных методических подходов в диссертациях выносятся определённые суждения, за что и присваивается искомая степень. Мы не можем утверждать, что эти два примера являются типичными, но, тем не менее, следует напомнить о том, что обе эти диссертации прошли многоэтапную оценку в учреждении исполнителя, в диссертационном совете и были согласованы с официальными оппонентами. Но ни на одном из этапов экспертизы не были замечены эти грубые статистические ошибки, что свидетельствует об общем снижении знаний элементарных основ статистики в нашем научном сообществе. В такой ситуации можно предположить, что в журнальных публикациях и материалах конференций будут часто встречаться ещё более грубые ошибки.
Сопоставление двух независимых групп. В этом случае могут использоваться самые разнообразные статистические критерии, но в нашей литературе типичной ошибкой является повсеместное использование t-критерия Стьюдента без проверки условий его применимости (равность дисперсий и нормальность распределения). В случае проверки нулевой гипотезы о равенстве средних при помощи статистических методов современные рекомендации требуют указания точного значения уровня статистической значимости «р». Вместо этого очень часто продолжает использоваться устаревшая форма типа «р < 0,05». Иногда в отношении величины «р» авторы наших публикаций используют понятие «достоверность», что принципиально неверно. Ещё одной типичной ошибкой является утверждение исследователей о равенстве двух выборочных средних в случае, если значение р > 0,05. Все эти типичные ошибки при исследовании двух независимых выборок широко разъясняются в современной литературе.
Множественные сравнения. Следующей типичной ошибкой в биомедицинских публикациях является использование вышеуказанного t-критерия Стьюдента для множественных сравнений, то есть для сопоставления выборочных средних в более чем двух группах. Кроме нескольких алтернативных подходов, современным стандартом для проверки гипотезы о принадлежности нескольких выборок к одной генеральной совокупности является дисперсионный анализ или его частный случай - метод AN OVA.
Анализ связанных выборок (или анализ «до-после»). В КИ часто используют так называемый «анализ данных до-после» (например, при сопоставлении определённого параметра у одних и тех же больных в разные промежутки времени до и после воздействия изучаемого фактора). Такие группы называют связанными, а данные парными. Использование стандартного t-критерия Стьюдента для сопоставления связанных групп является грубой ошибкой. Для этих целей применяют специальные статистические методы, например критерий Стьюдента для парных сравнений, критерий знаковых рангов Вилкоксона. В случае сравнения трёх связанных выборок и более используют дисперсионный анализ повторных измерений.
Диагностические КИ. Для исследований, посвященных изучению методов диагностики, существует определённый стандарт, который, судя по текущим публикациям и диссертациям, неизвестен отечественным исследователям. Сущность диагностического исследования заключается в использовании следующих подходов. Классический дизайн диагностических исследований предполагает сопоставление референтного метода диагностики (золотого стандарта диагностики) с изучаемым диагностическим параметром у одних и тех же пациентов. Затем специальным образом строится так называемая «характеристическая кривая», которая является операционной характеристикой диагностического теста. Определяется точка разделения, которая разделяет больных и здоровых. После этого составляется так называемая «четырёхпольная таблица», и на основе её данных вычисляются чувствительность, специфичность и другие числовые характеристики нового диагностического теста. Такой подход позволяет получить однозначные статистические характеристики и имеет безусловные преимущества. Иные методические подходы в диагностических исследованиях без соответствующего обоснования следует рассматривать как грубую методическую ошибку.
Визуализация результатов статистических исследований позволяет в простом образе представить многочисленные цифровые результаты КИ. Некачественная визуализация часто имеет задачи манипулирования мнением читателей. В особенности это справедливо по отношению к различным популярным рекламным медицинским изданиям, поэтому часто ошибки визуализации статистических данных следует рассматривать с точки зрения умышленной ошибки.
Для различных статистических методов анализа используют соответствующие приемы визуализации. При представлении выборочных характеристик современным стандартом служит так называемый график «ящик с усами», который при нормальном распределении исследуемой выборки может содержать информацию о среднем, стандартной ошибке и 95%-ных доверительных интервалах среднего. При распределении, отличающемся от нормального, такой график содержит информацию о значении медианы, квартилях (процен-тилях) и характеристиках выбросов или 95%-ных доверительных интервалах.
При графическом сопоставлении статистических характеристик двух групп и более также настоятельно рекомендуется использовать вышеуказанные графики на одном листе. Использование в таких графиках 95%-ных доверительных интервалов позволяет сделать читателю собственные выводы о существовании различий между изучаемыми выборками, что не исключает параллельного использования других статистических тестов.
При графическом сопоставлении двух связанных выборок рекомендуется использовать графики, на которых значения изучаемого показателя до и после соединяются прямой линией вдоль оси абсцисс. В случае использования столбчатой диаграммы средних значений до-после могут быть утеряны разнонаправленные тенденции динамики показателей в связанных группах.
Правильная визуализация результатов диагностического исследования позволяет по величине площади под характеристической кривой получить прямую оценку эффективности изучаемого диагностического теста.
Следует также сделать несколько замечаний о средствах построения научных графиков и программах, которые для этого могут использоваться. В выступлениях на конференциях и в публикациях очень часть используют красочные, трёхмерные, конусообразные и прочие графики, которые при этом не несут содержательной информации о характеристиках разброса и объёмах выборок. Такие бессодержательные графики скрывают истинные результаты исследований и могут рассматриваться как средство манипуляции мнением аудитории и читателей. Каждый элемент украшения графика обязан нести, прежде всего, содержательную информацию. Также следует заметить, что популярная программа Ехсе11 имеет ограниченные возможности визуализации научной информации и в большинстве случаев не позволяет качественно отобразить результаты современных статистических методов исследований. Заключение
Представленный анализ показывает, что наше научное сообщество отстаёт в знании современной методологии КИ и международных рекомендаций по научной публикационной практике. Отсутствие этих знаний повышает вероятность возникновения случайных и систематических ошибок в публикациях по результатам КИ, снижает качество соответствующих журнальных публикаций, рейтинг отечественной клинической науки и нарушает нормальную конкурентную атмосферу в науке, так как размываются сами критерии качества КИ. Все эти вопросы требуют систематического публичного обсуждения в научном сообществе и принятия коллективных решений по разработке соответствующих обучающих программ и национальных рекомендаций по совершенствованию национального института научной клинической публикационной практики.
Исходя из результатов анализа, можно предложить некоторые системные мероприятия для улучшения ситуации.
1. Научному сообществу следует признать следующие положения:
- отечественная публикационная практика характеризуется низким уровнем качества научных работ и, соответственно, низкой эффективностью научно-практических исследований;
- не следует ориентироваться на средний национальный уровень качества публикаций либо на случаи низкокачественных публикаций в рейтинговых международных журналах; необходимо последовательно реализовывать наивысшие стандарты публикационной практики;
- целесообразно ориентироваться на стандарты качественной публикационной практики, которые в последние годы разрабатываются, активно обсуждаются и внедряются в международном клиническом сообществе и которые малоизвестны исследователям из стран СНГ;
- не существует материально-технических ограничений, которые могут препятствовать внедрению наивысших стандартов публикационной практики в нашем клиническом сообществе.
2. Выбрать эволюционный путь преобразований, который основывается на том, что начало движения к переменам должно происходить по инициативе и силами существующей научной элиты путем признания и осознания существования проблемы. Для этого предлагается:
проводить политику качественной публикационной практики со стороны ведущих специалистов;
- объявить «новые» правила (требования) для авторов в редакциях журналов и обеспечить тщательный контроль их выполнения с одновременной реализацией образовательных программ и других последовательных шагов в движении к наилучшим стандартам публикационной практики;
- обеспечить силами ведущих учёных независимое экспертное рецензирование научных работ с открытой публикацией рецензий, создать атмосферу нетерпимости к публикациям низкого качества;
- при формировании сборников тезисов и научных трудов использовать лучшие аналогичные стандарты формата представления результатов клинических исследований.
3. Для реализации этих мероприятий необходимы квалифицированные и авторитетные исполнители. Для этого предлагается сформировать независимую экспертную группу в рамках Федерации анестезиологов и реаниматологов. Этой группе экспертов поручить разработку и реализацию программы, предусматривающей:
- публикацию обучающих и проблемных работ в журналах и на сайте Федерации;
- разработку национальных стандартов формата клинических публикаций на основе международных рекомендаций и с учётом особенностей объектов исследований в анестезиологии и реаниматологии;
- проведение лекционной обучающей работы на каждом клиническом кворуме силами этих экспертов и приглашённых специалистов;
- обеспечение независимой анонимной оценки качества публикаций в сборниках научных трудов и выборочной (по открытым правилам выбора) публичной оценки отдельных журнальных публикаций.
Реализация всех этих мероприятий не имеет каких-либо препятствий и зависит лишь от политической воли наших руководителей. Игнорируя общеизвестные рекомендации по организации и представлению результатов КИ, мы начинаем безнадежно отставать и теряем последние шансы интеграции в мировую клиническую науку и практику.
Литература
1. Власов В.В. Введение в доказательную медицину. М.:МедиаСфера. - 2001. - 392 с.
2. Власов В.В. Эпидемиология ГЭОТАР-МЕД. - 2004. - 464 с.
3. Воробьев К.П. Современные стандарты публикации результатов клинических исследований // Сб. материалов XI съезда анестезиологов и реаниматологов России, 23-26 сентября, СПб. - 2008. - С. 13-17.
4. Ланг Т. Двадцать ошибок статистического анализа, которые вы сами можете обнаружить в биомедицинских статьях // Международный журнал медицинской практики. - 2005. - № 1. - С. 21-31.
5. Лапач С.Н., Чубенко А.В., Бабич П.Н. Статистика в науке и бизнесе // К.: Морион. - 2001. - 640 с.
б. Тоффлер Э. Третья волна (Пер. с англ.). ACT, Москва. -2004. - 782 с.
7. Флетчер Р., Флетчер С, Вагнер Э. Клиническая эпидемиология: основы доказательной медицины. Медиа Сфера, Москва. - 1998. - 350 с.
8. Council of Science Editors CSE's White Paper on Promoting Integrity in Scientifc Journal Publications. Editorial Policy Committee, 2006/
(http://www.councilscienceeditors.org/ editorialpolicies/whitepaper/entirewhitepaper.pdf).
9. Fleming T.R., DeMets D.L. Surrogate end points in clinical trials: are we being misled? // Ann. Intern. Med. - 1996. -125. Vol. 7 - P. 605-613.
10. International committee of medical journal editors. Uniform requirements for manuscripts submitted to biomedical journals (http://www.icmje.org).
11. Strange K. Authorship: why not just toss a coin? // Am. J. Physiol. Cell. Physiol. - 2008. - Vol. 295, № 3. -P. 567-575.
12. Wager E. Authors, ghosts, damned lies, and statisticians. PLoS Med, 2007, 4(1): e34 (http://dx.doi.org/10.1371/journal. pmed.0040034).