ISSN 2226-6976 (Print)
ISSN 2414-9640 (Online)

Use of immunochromatographic tests in a laboratory diagnostic algorithm for influenza

Yatsyshina S.B., Kulichenko T.V., Artemova I.V., Rybalka O.B., Elkina M.N.

1 Central Research Institute of Epidemiology, Russian Federal Service for Supervision of Consumer Rights Protection and Human Well-Being, Moscow, Russia; 2 National Medical Research Center for Children’s Health, Ministry of Health of Russia, Moscow, Russia
Objective. To estimate the diagnostic significance of identifying the antigens of influenza A and B viruses by immunochromatography (ICG) versus that of detecting influenza virus nucleic acids (NAs) by a real-time polymerase chain reaction (RT-PCR) assay, as well as to determine the optimal procedure for their use in the diagnosis of influenza.
Subjects and methods. Nasopharyngeal swabs from 211 children with influenza-like symptoms were concurrently examined by ICG and RT-PCR for NAs of influenza viruses and 19 other pathogen species of acute respiratory diseases.
Results. 85.8% of the children were found to have NAs in the pathogens of acute respiratory infections; influenza was confirmed in 62.6%. ICG was used to detect influenza virus antigens in 31.3% of the children. The diagnostic sensitivity of ICG for influenza A(H3N2) and B viruses was 58 and 20%, respectively; its diagnostic specificity was 97.5 and 97.7%.
Conclusion. The negative result of ICG cannot be an exception to the diagnosis of influenza due to the low sensitivity of this technique. Examinations on 1-2 days of the disease allow one to increase the sensitivity of ICG for the diagnosis of influenza A; this technique is minimally informative for the diagnosis of influenza B. It is advisable to use RT-PCR to rule out the diagnosis of influenza and to determine respiratory infection of another etiology.

Keywords

diagnosis
influenza
polymerase chain reaction
immunochromatography
rapid tests
respiratory viruses

Своевременное начало этиотропной терапии гриппа сокращает продолжительность болезни и период восстановления после нее [1].

Позднее начало либо отсутствие этиотропной терапии являлось одной из причин неблагоприятного исхода пневмонии, вызванной вирусом пандемического гриппа A(H1N1)pdm2009 [2, 3].

Известно, что прием препаратов против вирусов гриппа наиболее эффективен в первые 48 ч после появления симптомов инфекции [4, 5].

В этой связи крайне важно как можно раньше диагностировать заболевание. Однако, несмотря на то что симптомы гриппа хорошо знакомы практикующим врачам, точность клинической диагностики ограничена по ряду причин. Во-первых, другие патогены также способны вызывать симптомы, сходные с гриппом [6–10]. Во-вторых, исследования показывают, что характерные симптомы гриппа проявляются не у всех пациентов. В одном из ретроспективных исследований было установлено, что клинический диагноз «грипп» был поставлен только 29% пациентов с лабораторно-подтвержденным гриппом [11]. Кроме того, у детей, особенно младшего возраста, нередки случаи сочетанного инфицирования несколькими патогенами, что может изменять типичную клиническую картину гриппа.

В связи с этим требуется лабораторное подтвер­ж­дение гриппа.

Современные методы лабораторной диагностики позволяют установить этиологический диагноз гриппа или другой инфекции дыхательных путей с различной скоростью – от 20 мин до нескольких дней.

С целью лабораторного подтверждения гриппа проводится обнаружение РНК вирусов гриппа методами амплификации нуклеиновых кислот (НК), выявление антигенов с использованием метода иммунохроматографии (ИХА), иммуноферментного анализа, иммунофлуоресценции, а также обнаружение специфических антител в парных сыворотках крови и выделение вирусов гриппа в культуре клеток.

Наиболее чувствительным и специфичным методом лабораторного подтверждения гриппа в настоящее время является полимеразная цепная реакция с детекцией в режиме реального времени (ПЦР-РВ), которая показывает высокие диагностические характеристики, сравнимые с выделением вирусов гриппа [12, 13]. При этом ПЦР-РВ лишена недостатков вирусологического исследования – продолжительности и трудоем­кости, по причине которых выделение вирусов не проводится в рутинной практике.

Однако ПЦР-РВ занимает до 5 ч, поэтому экспресс-тесты, которые можно выполнять «у постели больного», особенно востребованы в клинической практике.

Целью настоящего исследования являлась оценка диагностической значимости обнаружения антигенов вирусов гриппа методом иммунохроматографии (ИХА) в сравнении с ПЦР-РВ, определение возможностей и ограничений при использовании тестов на основе ИХА и их места в алгоритме диагностики гриппа.

Материалы и методы

Обследованы 211 детей, поступивших с гриппоподобными симптомами в отделение неотлож­ной педиатрии ФГАУ «Национальный медицинский исследовательский центр здоровья детей» Минздрава России (далее – НЦЗД) в феврале–марте 2015 г. (19 детей), в феврале–марте 2016 г. (5 детей) и с декабря 2016 г. по март 2017 г. (187 детей). При поступлении фиксировали дату начала заболевания (1–9-й день болезни, в среднем 2,48±1,74 день) и проводили сбор биологического материала для лабораторного исследования. Мазки из носоглотки (парные образцы из двух ноздрей) были собраны согласно инструкциям производителей использованных в работе наборов реагентов.

ИХА выполняли в НЦЗД сразу после сбора мазка согласно инструкции к набору реагентов «Influenza A+B» производства «Vegal Pharmaceutica» (Испания). Предел детекции составляет 4,7 нг/мл HA для Influenza virus A и 18,75 нг/мл HA для Influenza virus B; чувствительность и специфичность теста в сравнении с другими коммерческими быстрыми тестами составляет > 99%1.

Мазки для ПЦР-РВ замораживали и хранили при минус 18–20 °С до исследования. В носоглоточных мазках с использованием наборов «АмплиСенс®» про­изводства ФБУН «Центральный НИИ эпидемио­логии» Роспотребнадзора (Москва) выявляли НК вирусов гриппа В (Inf B) и А (Inf A) с идентификацией субтипов A (H3N2) и A(H1N1)pdm09, а также других респираторных ви­ру­сов, включая респираторно-синцитиальный вирус (hRSv), аденовирусы (hAdv), метапневмовирус (hMpv), бокавирус (hBov), вирусы парагриппа 1–4-го типов (hPiv), коронавирусы (hCov), риновирус (hRv), и атипичных бактерий Mycoplasma pneumoniae и Chlamydophila pneumoniae.

Статистическую обработку данных проводили с помощью программы IBM SPSS Statistics for Windows, версия 18.0 (IBM Corp, Armonk, NY) с использованием критерия согласия χ2 или точного критерия Фишера, ROC-анализа, t-теста для сравнения количественных параметров, а также программы статистического анализа результатов биомедицинских исследований StatsToDo2 с применением методов предсказательной статистики. Различия считали статистически значимыми при p < 0,05.

Результаты

По результатам ПЦР-РВ грипп был подтвержден у 132 (62,6%) из 211 детей, из них РНК вируса гриппа А обнаружена у 92 детей [у 88 – А(H3N2) и у 4 – А(H1N1)pdm09], вирус гриппа В – у 40 детей, из них в 1 случае – вирус гриппа В в ассоциации с аденовирусом.

Методом ИХА антигены вирусов гриппа А и В выявлены у 54 (25,6%) и 12 (5,7%) детей соответственно.

У 48 (22,8%) детей обнаружены НК других респи­раторных вирусов, у 1 ребенка (0,5%) – C. pneumoniae. В совокупности методом ПЦР иско­мые возбудители острой респираторной инфек­ции были определены у 181 (85,8%) детей, из них у 8 отмечена сочетанная инфекция (табл. 1).

Диагностические характеристики определения антигенов вирусов гриппа методом ИХА [диагностическую чувствительность (ДЧ), диагностическую специфичность (ДС), отношение правдоподобия положительного результата (ОП+), отношение правдоподобия отрицательного результата (ОП-), посттестовую вероятность (ПостТВ)] оценивали в сравнении с данными ПЦР-РВ. Результаты представлены в табл. 2.

При проведении ПЦР-РВ дополнительно использовали условия, позволявшие оценить концентрацию РНК вирусов гриппа в исследуемых образцах (табл. 3). Уровень репликации вирусов гриппа (концентрация РНК), при инфекции вирусом гриппа A(H3N2) оказались выше, чем при гриппе В: средняя и максимальная концентрации РНК вируса гриппа А(H3N2) были выше, чем вирусов гриппа В на 0,7 lg и 2,3 lg, соответственно.

Результаты сравнения показывают, что образцы, положительные в ИХА на грипп A, в среднем имели достоверно большую нагрузку РНК вирусов гриппа, чем отрицательные в ИХА, но минимальная и максимальная концентрации РНК вируса гриппа A(H3N2) в ИХА-положительных и ИХА-отрицательных образцах были практически одинаковыми. Между ИХА-положительными и ИХА-отрицательными по гриппу В образцами различий в концентрации РНК вируса гриппа В не обнаружено.

Положительный результат ПЦР по гриппу А(H3N2) был получен у детей, поступивших с 1-го по 9-й день болезни (средний срок – 2,47±1,88 дня). Среди них положительный результат ИХА наблюдался у поступивших в 1–8-й день (средний срок – 2,0±1,4 дня), отрицательный результат – у болеющих от 1 до 9 дней, то есть в среднем на 1 день позже – 3,1±2,2 дня (p = 0,01). Анализ ROC-кривых показал наличие тенденции увеличения частоты положительных результатов ИХА (повышение ДЧ) по мере сокращения срока болезни на момент обследования, которая достигаля максимума (70%) при обследовании в 1–2-й день заболевания. При увеличении сроков болезни диагностическая чувствительность падала. В выборке детей, болевших гриппом А, подтвержденным данными ПЦР-РВ, обследованных после 2 дней заболевания, антигены гриппа А методом ИХА были обнаружены только в 42% случаев.

Положительный результат ПЦР по гриппу В наблюдался у детей, поступивших в 1–7-й день болезни (средний срок – 3,10±1,78 дня). Для детей с положительными и отрицательными результатами ИХА различий по продолжительности болезни на момент обследования обнаружено не было (3,5±1,38 и 3,03±1,85 дня соответственно; p = 0,5). Положительные результаты наблюдались во 2–5-й день болезни, отрицательные – в 1–7-й день.

Обсуждение

РНК гриппа А обнаружена у 92 детей, РНК гриппа В – у 40, тогда как антигены вируса гриппа А и В выявлены у 54 и 12 детей соответственно.

Таким образом, ДЧ ИХА по обнаружению антигенов вируса гриппа А(H3N2) оказалась довольно низкой (58%), а вируса гриппа В – еще ниже (20%) при довольно высокой ДС.

Наши данные согласуются с результатами других исследователей, сообщающих о высокой (> 90%) специфичности «быстрых тестов» и варьирующей от низкой (20%) до средней (70%) чувствительности [14–19].

Если тест обладает высокой специфичностью, можно доверять его положительным результатам. Если тест обладает высокой чувствительностью, можно доверять его отрицательным результатам. И наоборот: нельзя доверять отрицательным результатам теста, имеющего низкую чувствительность.

Определенный нами во время циркуляции вируса гриппа А(H3N2) показатель ОП+ = 22,99 говорит о том, что если получен положительный результат ИХА на грипп А, то с высокой вероятностью у пациента действительно грипп А. Об этом свидетельствует и высокая ПостТВ положительного результата – 96%.

Однако ИХА показал невысокую ценность для ис­клю­чения диагноза «грипп А» (ОП- = 0,43), по­скольку не позволял с высокой вероятностью ис­клю­чать грипп, имея недостаточно высокую чувствительность. ПостТВ отрицательного результата также оказалась очень низкой (30%).

В случае вирусов гриппа В тест ИХА имел неболь­шую диагностическую (ОП+ = 8,55) и прог­но­стическую (ПостТВ+ = 68%) ценность, и ока­зался бесполезным для исключения диагноза «грипп» (ОП- = 0,82, ПостТВ- = 17%), поскольку пропускал очень много истинно положительных образцов.

Следует учитывать, что позитивное предска­зательное значение результатов ИХА будет ниже в периоды низкой активности вирусов гриппа [20]. Если в периоды высокой активности гриппа (при высокой распространенности вирусов среди людей в сообществе) положительная прог­ностическая ценность результатов теста высока (высока вероятность истинно положительного результата), то когда распространенность гриппа в сообществе низка, что обычно происходит в начале и конце сезона гриппа или периодов, когда вирусы гриппа не циркулируют, ложноположительные результаты будут возникать чаще, чем истинно положительные. В спокойные по гриппу периоды ПостТВ положительного результата ИХА будет менее 72% для вируса гриппа А и менее 49% – для вируса гриппа В (см. табл. 2). Таким образом, до начала эпидемического подъема гриппа для его подтверждения следует применять ПЦР-РВ, поскольку экспресс-тесты в этом случае имеют низкое прогностическое значение.

Во время набора образцов вирус пандемического гриппа A(H1N1)pdm09 был незначительно представлен в циркуляции, поэтому для оценки диагностических характеристик теста по обнаружению этого вируса данных недостаточно. Однако полученные результаты вызывают вопросы о специфичности анализа: для всех четырех образцов, содержащих РНК вируса гриппа A (H1N1pdm09), результат теста по выявлению антигенов вируса гриппа А был отрицательным, но оказался положительным на антигены вируса гриппа В. В этой связи необходимо продолжить изучение диагностической ценности ИХА для выявления вируса пандемического гриппа A(H1N1pdm09) с набором данного и других производителей.

Тот факт, что минимальная и максимальная кон­цен­трации РНК вирусов гриппа в ИХА-поло­жительных и ИХА-отрицательных образцах были практически одинаковыми, говорит о том, что невысокая ДЧ ИХА связана не с низкой нагрузкой возбудителя, а с другими причинами.

Одной из них может быть плохая воспроизводимость качества хроматографических мембран и нанесения антител при производстве тест-полосок в связи со сложностью осуществления выходного контроля качества.

Кроме того, возможно несоответствие исполь­зуемых при производстве антител антигенным эпитопам циркулирующих вирусов гриппа. При­мером такого несоответствия явилась ситуация, возникшая в 2009 г., когда вирус пандемического гриппа A (H1N1)pdm09 слабо или совсем не обнаруживался имевшимися тогда «быстрыми тестами» [21].

Другой причиной может быть снижение ДЧ ИХА по мере увеличения сроков заболевания. Например, показано, что уровень антигенов hBov в назофарингеальных мазках, начиная с 3-го дня заболевания, падает до порога чувствительности теста иммунофлуоресценции [22].

Мы не обнаружили строгой зависимости результатов ИХА от сроков заболевания на момент обследования: ложноотрицательные результаты были получены в период от 1 до 9 дней болезни при гриппе А и от 1 до 7 дней – при гриппе В, однако выявлена тенденция повышения чувствительности диагностики гриппа А методом ИХА при обследовании детей в первые двое суток от момента появления симптомов инфекции.

Выводы

  1. Во время подъема заболеваемости гриппом, вызванным известным субтипом вируса гриппа А, можно применять экспресс-тесты, но при условии, что доказана их высокая специфичность, тогда положительный результат ИХА может с высокой вероятностью подтверждать клинический диагноз «грипп».
  2. Отрицательный результат ИХА на грипп не может служить исключением диагноза «грипп», поскольку чувствительность экспресс-тестов недостаточна. Поэтому во время эпидемии гриппа ИХА-отрицательные образцы, необходимо исследовать методом ПЦР-РВ. Независимо от эпидемической активности вирусов гриппа для исключения диагноза «грипп» необходимо применять ПЦР-РВ.
  3. Сбор клинического материала для ИХА нужно проводить как можно раньше – в первые 2 дня от появления симптомов заболевания и строго по инструкции производителя теста. В более поздние сроки обследования метод ИХА малоинформативен.
  4. Метод ПЦР-РВ позволяет обнаруживать РНК вирусов гриппа на более поздних сроках заболевания, однако в случае инфекции нижних дыхательных путей исследованию подлежат не мазки из носоглотки и ротоглотки, в которых содержание вирусов может быть ниже [2], а мокрота, эндотрахеальный аспират3 и лаважная жидкость [5].
  5. ИХА малоинформативен для диагностики гриппа В, поэтому во время циркуляции вируса гриппа В (как правило, с февраля до конца весны) для подтверж­дения диагноза целесообразно применять ПЦР-РВ.
  6. Помимо вирусов гриппа в сообществе циркулируют и другие возбудители инфекций дыхательных путей, зачастую вызывающие сходную с гриппом клиническую картину, этиология которых может быть уточнена с помощью ПЦР-РВ.

References

  1. Chaves S.S., Pérez A., Miller L., Bennett N.M., Bandyopadhyay A., Farley M.M., Fowler B., Hancock E.B., Kirley P.D., Lynfield R., Ryan P., Morin C., Schaffner W., Sharangpani R., Lindegren M.L., Tengelsen L., Thomas A., Hill M.B., Bradley K.K., Oni O., Meek J., Zansky S., Widdowson M.A., Finelli L. Impact of Prompt Influenza Antiviral Treatment on Extended Care Needs After Influenza Hospitalization Among Community-Dwelling Older Adults. Clin Infect Dis. Clin. Infect. Dis. 2015; 61(12): 1807–4. DOI: 10.1093/cid/civ733.
  2. Yatsyshina S.B., Minenko A.N., Kushakova T.E., Praded M.N., Kudriavtseva A.V., Shipulin G.A., Maleev V.V., Pokrovsky V.I. [Pandemic influenza A/H1N1 (sw2009) in Russia: epidemiology, diagnosis, clinical picture, and treatment]. Ter. Arkhiv 2010; 82(11): 10–4. (In Russ.).
  3. Rorat M., Jurek T., Kuchar E., Szenborn L. The clinical course of late diagnosed fatal cases of A (H1N1) influenza in Poland. Postepy Hig Med Dosw (Online). 2013; 67:595-600. DOI: 10.5604/17322693.1053910.
  4. Tatochenko V.K. [Etiotropic and symptomatic therapy of acute respiratory-viral infections]. Pediatricheskaya farmakologiya 2008; (5): 101–5. (In Russ.).
  5. Fiore A.E., Fry A., Shay D., Gubareva L., Bresee J.S., Uyeki T.M.; Centers for Disease Control and Prevention (CDC). Antiviral Agents for the Treatment and Chemoprophylaxis of Influenza. Recommendations of the Advisory Committee on Immunization Practices (ACIP). MMWR Recomm. Rep. 2011; 60(1): 1–24.
  6. Boivin G., Hardy I., Tellier G., Maziade J. Predicting influenza infections during epidemics with use of a clinical case definition. Clin. Infect. Dis. 2000; 31: 1166–9. DOI:10.1086/317425.
  7. Walsh E.E., Cox C., Falsey A.R. Clinical features of influenza A virus infection in older hospitalized persons. J. Am. Geriatr. Soc. 2002; 50: 1498–1503.
  8. Ohmit S.E., Monto A.S. Symptomatic predictors of influenza virus positivity in children during the influenza season. Clin. Infect. Dis. 2006; 43: 564–8. DOI:10.1086/506352.
  9. Babcock H.M., Merz L.R., Fraser V.J. Is influenza an influenza-like illness? Clinical presentation of influenza in hospitalized patients. Infect. Control. Hosp. Epidemiol. 2006; 27: 266–70. DOI:10.1086/501539.
  10. Van der Hoeven A.M., Scholing M., Wever P.C., Fijnheer R., Hermans M., Schneeberger P.M. Lack of discriminating signs and symptoms in clinical diagnosis of influenza of patients admitted to the hospital. Infection 2007; 35: 65–8. DOI:10.1007/s15010-007-6112-1.
  11. Miller M.R., Peters T.R., Suerken C.K., Snively B.M., Poehling K.A. J. Predictors of Influenza Diagnosis Among Patients With Laboratory-Confirmed Influenza. Infect. Dis. 2015; 212(10): 1604–12. DOI: 10.1093/infdis/jiv264.
  12. Ginocchio C.C. Strengths and weaknesses of FDA-approved/cleared diagnostic devices for the molecular detection of respiratory pathogens. Clin. Infect. Dis. 2011; 52(Suppl 4): S312–25. http://dx.doi.org/10.1093/ cid/cir046. DOI: 10.1093/cid/cir046.
  13. Ivanova V.T., Trushakova S.V., Oskerko T.A., Shevchenko E.S., Kolobukhina L.V., Vartanian R.V., Beliakova N.V., Iatsyshina S.B., Feodoritova E.L., Zueva N.D., Burtseva E.I. [The characteristics of epidemic influenza A and B virus strains circulating in Russia during the 2007–2008 season]. Voprosy Virusologii 2009; 54(5): 28–33. (In Russ.).
  14. Storch G.A. Rapid diagnostic tests for influenza. Curr. Opin. Pediatr. 2003; 15: 77–84.
  15. Grijalva C.G., Poehling K.A., Weinberg G.A., Staat M.A., Iwane M.K., Schaffner W., Griffin M.R. Accuracy and interpretation of rapid influenza tests in children. Pediatrics 2007; 119: e6–11. DOI:10.1542/peds.2006-1694.
  16. Uyeki T.M., Prasad R., Vukotich C., Stebbins S., Rinaldo C.R., Ferng Y.H., Morse S.S., Larson E.L., Aiello A.E., Davis B., Monto A.S. Low sensitivity of rapid diagnostic test for influenza. Clin. Infect. Dis. 2009; 48: e89–92. DOI: 10.1086/597828.
  17. Steininger C., Redlberger M., Graninger W., Kundi M., Popow-Kraupp T. Near-patient assays for diagnosis of influenza virus infection in adult patients. Clin. Microbiol. Infect. 2009; 15: 267–73. DOI: 10.1111/j.1469-0691.2008.02674.x.
  18. Hurt A.C., Alexander R., Hibbert J., Deed N., Barr I.G. Performance of six influenza rapid tests in detecting human influenza in clinical specimens. J. Clin. Virol. 2007; 39: 132–5. DOI:10.1016/j.jcv.2007.03.002.
  19. Rahman M., Vandermause M.F., Kieke B.A., Belongia E.A. Performance of Binax NOW Flu A and B and direct fluorescent assay in comparison with a composite of viral culture or reverse transcription polymerase chain reaction for detection of influenza infection during the 2006 to 2007 season. Diagn. Microbiol. Infect. Dis. 2008; 62: 162–6. DOI:10.1016/j. diagmicrobio.2007.10.012.
  20. Harper S.A., Bradley J.S., Englund J.A., File T.M., Gravenstein S., Hayden F.G., McGeer A.J., Neuzil K.M., Pavia A.T., Tapper M.L., Uyeki T.M., Zimmerman R.K.; Expert Panel of the Infectious Diseases Society of America. Seasonal influenza in adults and children – diagnosis, treatment, chemoprophylaxis, and institutional outbreak management: clinical practice guidelines of the Infectious Diseases Society of America. Clin. Infect. Dis. 2009; 48: 1003–32. DOI: 10.1086/598513.
  21. Faix D.J., Sherman S.S., Waterman S.H. Rapid-test sensitivity for novel swine-origin influenza A (H1N1) virus in humans. N. Engl. J. Med. 2009; 361(7): 728–9. DOI: 10.1056/NEJMc0904264.
  22. Bruning A. H. L., Susi P., Toivola H., Christensen A., Söderlund-Venermo M.,Hedman K., Aatola H., Zvirbliene A., Koskinen J.O. Detection and monitoring of human bocavirus 1 infection by a new rapid antigen test. New Microbe and New Infect. 2016; 11: 17–9. DOI: 10.1016/j.nmni.2016.01.015

About the Authors

For correspondence:
Svetlana B. Yatsyshina, Cand. Biol. Sci., Senior Researcher, Department of Molecular Diagnosis and Epidemiology, Central Research Institute of Epidemiology, Russian Federal Service for Surveillance on Consumer Rights Protection and Human Well-Being
Address: 3a, Novogireevskaya St., Moscow 111123, Russia
Telephone: +7(495)974-96-46, ext.2260
E-mail: svetlana.yatsyshina@cmd.su; syatsyshina@yandex.ru
Information about the authors:
Prof. Tatiana V. Kulichenko, MD, Head, Department of Urgent Pediatrics, National Medical Research Center for Children’s Health, Ministry of Health of Russia, Moscow, Russia;
e-mail: Tkulichenko@yandex.ru
Inga V. Artemova, Pediatrician, Department of Urgent Pediatrics, National Medical Research Center for Children’s Health, Ministry of Health of Russia, Moscow, Russia;
e-mail: sko-inga@yandex.ru
Olga B. Rybalka, Pediatrician, Department of Urgent Pediatrics, National Medical Research Center for Children’s Health, Ministry of Health of Russia, Moscow, Russia;
е-mail: olya.rybalka@yandex.ru
Mariya А. Elkina, Junior Researcher, Department of Molecular Diagnostics and Epidemiology, Central Research Institute of Epidemiology, Russian Federal Service for Surveillance on Consumer Rights Protection and Human Well-Being;
Moscow, Russia; e-mail: mariyaelkina@yahoo.com

Similar Articles

By continuing to use our site, you consent to the processing of cookies that ensure the proper functioning of the site.