Влияние опыта участника на качество статей Википедии, связанных со здоровьем

Питер Хольц
Бесник Фетаху
Иоахим Киммерле
Аннотация
Задача
методы
Результаты
Выводы
Вступление
Википедия как ресурс
методы
Результаты
Влияние опыта участника
обсуждение
Ограничения
Заключение
Подтверждения
Мультимедийное приложение 1
Сноски
Рекомендации

J Med Интернет Рез. 2018 май; 20 (5): с171.

Редактор мониторинга: Гюнтер Эйзенбах

Отзыв Михаэль Лоран и Мария Циммерманн

Дипл Псих, доктор Фил, Дипл Псих, доктор Фил, № 1, MSc, Dr rer nat, 2 и, Dipl Psych, Dr rer nat1 № 1, MSc, Dr rer nat, 2 и, Dipl Psych, Dr rer nat1

1 IWM Leibniz-Institut für Wissensmedien (Научно-исследовательский центр знаний), Лаборатория конструирования знаний, Тюбинген, Германия

2 Исследовательский центр L3S, Ганноверский университет им. Лейбница, Ганновер, Германия

Петер Хольц, IWM Leibniz-Institut für Wissensmedien (Центр исследования медиа знаний), Лаборатория конструирования знаний, Schleichstraße 6, Тюбинген, 72076, Германия, Телефон: 49 7071979303, Факс: 49 7071979105, Электронная почта: [email protected] ,

Питер Хольц

Бесник Фетаху

2 Исследовательский центр L3S, Ганноверский университет им. Лейбница, Ганновер, Германия

Иоахим Киммерле

Получено в 2017 году 18 декабря; Запрошенные изменения 2018 18 января; Пересмотрено в 2018 году 9 февраля; Принято 2018 14 марта.

Это статья с открытым доступом, распространяемая в соответствии с условиями лицензии Creative Commons Attribution ( https://creativecommons.org/licenses/by/4.0/ ), которая разрешает неограниченное использование, распространение и воспроизведение на любом носителе, при условии, что оригинальная работа, впервые опубликованная в Журнале медицинских интернет-исследований, была должным образом процитирована. Полная библиографическая информация, ссылка на оригинал публикации на http://www.jmir.org/, а также эта информация об авторских правах и лицензии должна быть включена. Эта статья была цитируется другие статьи в PMC.

Аннотация

Фон

Консультирование в Интернете для получения информации, связанной со здоровьем, является распространенным и широко распространенным явлением, и Википедия, возможно, является одним из наиболее важных ресурсов для информации, связанной со здоровьем. Поэтому важно определить факторы, которые влияют на качество статей Википедии, связанных со здоровьем.

Задача

В нашем исследовании мы предположили положительное влияние опыта участников на качество статей Википедии, связанных со здоровьем.

методы

Мы заминировали историю редактирования всех (по состоянию на февраль 2017 года) 18 805 статей, которые были перечислены в категориях на портале здоровье и фитнес в англоязычной версии Википедии. Мы идентифицировали теги в истории редактирования статей, которые указывали на потенциальные проблемы с качеством или нейтральностью соответствующей статьи. Из всех выборочных статей 99 (99 / 18,805, 0,53%) статей в какой-то момент получили по крайней мере одну такую метку. В нашем анализе мы рассмотрели только те статьи, в которых отредактировано не менее 10 статей (всего 10 265 статей; 96 статей с тегами, 0,94%). Кроме того, чтобы проверить нашу гипотезу, мы создали профили участников, где профиль состоял из всех статей, отредактированных участником, и соответствующего количества внесенных изменений. Мы не делали различий между откатами и правками с новым содержанием.

Результаты

Непараметрические U-тесты Манна-Уитни показали большее количество ранее отредактированных статей для редакторов статей без тегов (средний ранг с тегом 2348,23, средний ранг без тегов 5159,29; U = 9,25, P <0,001). Однако мы не обнаружили существенных различий по общему количеству правок авторов (средний ранг с отметкой 4872,85, средний ранг без меток 5135,48; U = 0,87, P = 0,39). Используя логистический регрессионный анализ с количеством правок в соответствующей статье и количеством редакторов в качестве ковариат, только количество отредактированных статей оказало значительное влияние на статус статьи как помеченный, так и не помеченный тегом (фиктивно; Nagelkerke R2 для полной модели = .17 ; B [SE B ] = - 0,001 [0,00]; Wald c2 [1] = 19,70; P <.001), в то время как мы снова не обнаружили существенного эффекта для простого числа правок (Nagelkerke R2 для полной модели = .15 ; B [SE B ] = 0,000 [0,01]; Wald c2 [1] = 0,01; P = 0,94).

Выводы

Наши результаты указывают на влияние опыта авторов на качество статей Википедии, связанных со здоровьем. Тем не менее, только количество ранее отредактированных статей было предиктором качества статей, а не просто объем правок. Необходимы дополнительные исследования, чтобы распутать различные аспекты опыта участников. Мы обсудили последствия наших выводов в отношении обеспечения качества информации, связанной со здоровьем, в совместных платформах для наращивания знаний.

Ключевые слова: Википедия, информация о здоровье онлайн, совместное конструирование знаний, характеристики участников.

Вступление

Информация о здоровье онлайн

Дискуссии о качестве медицинской информации в Интернете восходят к концу 1990-х годов [ 1 , 2 ] и продолжили в последнее время [ 3 - 5 ]. Консультирование интернета для получения информации, связанной со здоровьем, несомненно, стало распространенным явлением [ 6 , 7 ]. За последние несколько лет Википедия стала одним из наиболее важных источников знаний для информации, связанной со здоровьем в Интернете [ 4 , 8 , 9 ]. В этой статье мы (1) описываем потенциальные проблемы с качеством, как указано в метках, применяемых сообществом в статьях Википедии, связанных со здоровьем, и (2) анализируем важность опыта вкладчиков для качества статей Википедии, касающихся здоровья.

Википедия как ресурс

Википедия в значительной степени полагается на рецензирование, чтобы гарантировать качество своего коллективно созданного совокупности знаний, и ожидается, что участники Википедии будут приглашены для исправления ошибок других участников [ 9 ]. Спорные и конфликтные вопросы должны обсуждаться участниками до достижения консенсуса [ 10 , 11 ]. Один из способов спровоцировать такое обсуждение - применить к статье одно из нескольких шаблонных сообщений (или тегов ) Википедии, которые указывают на проблемы, связанные с качеством, такие как смещение статей, их введение в заблуждение или фактическая ошибка. В нашем исследовании мы использовали наличие хотя бы одного тега проблемы качества в истории редактирования статьи в качестве прокси для потенциальных проблем качества.

Хотя Википедия не управляется группой экспертов, качество связанных со здоровьем статей Википедии не обязательно хуже, чем качество интернет-контента, созданного экспертами [ 12 ]. Были неоднократные призывы к опытным медицинским работникам более активно участвовать в повышении точности связанных со здоровьем статей Википедии [ 13 , 14 ]. Тем не менее, есть эмпирические доказательства того, что, несмотря на все усилия по обеспечению качества знаний, статьи Википедии могут быть предвзятыми; например, как следствие того, что авторы Википедии, в основном, мужчины, недооценивают или преуменьшают значимые достижения женщин ( гендерный уклон ) [ 15 ]. Другой формой предвзятости является представление информации о собственной национальной группе авторов Википедии, которая выглядит более позитивно, чем информация о других группах ( внутригрупповая предвзятость ) [ 16 ]. В соответствии с предыдущими исследованиями [ 17 , 18 ], мы предполагаем, что определенная доля таких искажений объясняется недостатком опыта со стороны авторов соответствующей статьи.

методы

В этом исследовании мы изучили полную историю изменений (по состоянию на февраль 2017 года) из 18 805 статей, которые были перечислены в категориях портала Wikipedia « Здоровье и фитнес» [ 19 ] в англоязычной версии Википедии. Мы разработали наш собственный общедоступный код для извлечения данных [ 20 ]. Сначала мы определили наличие тегов или шаблонных сообщений в истории редактирования статей, что указывало на проблемы с качеством. Этими тегами были нарушения политики с нейтральной точки зрения (в нашем примере 42 случая), противоречивый контент (13), несбалансированный контент (12), запутанный контент (17) и неточный контент (23). Теги на соответствующих страницах обсуждения статей не учитывались. Такие теги, как нарушение политики нейтральной точки зрения и несбалансированное содержание, относятся к нарушениям стандартов объективности Википедии, которые могут быть вызваны социальными искажениями, такими как предвзятость внутри группы или гендерная предвзятость, в то время как другие теги связаны с вопросами качества в целом. Из всех выборочных статей 99 (99 / 18,805, 0,53%) статей в какой-то момент получили хотя бы один из вышеупомянутых ярлыков. Для сравнения статей с тегами и без тегов мы использовали только статьи, которые были составлены не менее чем из 10 правок, хотя можно предположить, что некоторые разработанные статьи из Википедии являются результатом сравнительно небольшого количества сравнительно существенных правок. Это ограничение уменьшило общее количество статей до 10 265, тогда как общее число появлений помеченных статей было уменьшено с 99 до 96 (96/10 265, 0,94%).

Для каждого участника, который создал по крайней мере одно изменение в выбранных статьях, мы создали профиль участника, состоящий из общего количества изменений во всех статьях Википедии и общего количества статей, которые участник отредактировал до этого момента. Мы не делали никаких различий в отношении качества правок; следовательно, мы одинаково относились к откатам и правкам с новым содержанием. Для всех статистических анализов мы использовали пакет программ SPSS 22. Все зарегистрированные значения значимости являются двусторонними, и мы установили уровень значимости на уровне Р = 0,01.

Результаты

Содержание помеченных статей

99 статей с тегами были вручную отнесены к одной из четырех различных категорий контента, которые возникли при анализе: законодательство и политика (41 статья; примеры включали «аборт в Иране», «здравоохранение на свободном рынке» и «запрет на курение»), медицину связанные темы (21 статья; примеры включали «устойчивость к противомикробным препаратам», «ожирение» и «зидовудин»), темы, связанные с альтернативной медициной (19 статей; примеры включали «астрологию и здоровье», «хиропрактику» и «лекарство от сиддхи») ) и места, люди и события (18 статей; примеры включали «пандемию гриппа 2009 года в Мексике», «Королевскую больницу в Вифлееме» и «Арнольд Шварценеггер»). Подробнее см. Мультимедийное приложение 1 ,

Среднее количество общих правок для этих 99 статей составило 940,60 (SD 1458,67), а авторы статей в среднем составляли 186,27 (SD 251,97) отдельных авторов. По сравнению с 18 706 статьями без тегов (средние правки 49.67, SD 194.56; средние редакторы 16.16, SD 38.26) помеченные статьи содержали значительно большее количество правок ( t 98,02 = 6,10; P <.001; d = 1,08) и их автором было значительно большее число участников ( t 98,02 = 6,72; P <0,001; d = 1,17). Часть этих различий может быть объяснена тем фактом, что значительное количество статей без тегов были «заглушками», которые содержали не что иное, как простое название статьи. Такие окурки (менее десяти правок) были исключены из всех дальнейших анализов. Как следствие, различия между помеченными (средние правки 969.75, SD 1472.23; средние редакторы 191.96, SD 253.81) и статьями без тегов (средние правки 88.13, SD 257.66; средние редакторы 27.30, SD 49.16) составляют 10 или более правок с учетом к среднему общему количеству правок ( t 95,06 = 5,87, P <0,001, d = 1,07) и редакторов ( t 95,07 = 6,36, P <0,001, d = 1,09) можно уменьшить в некоторой степени, но разница все же оставался значительным.

Влияние опыта участника

Оставшиеся 10 265 статей имели в среднем 100,12 редактирования (SD 311,00) и были написаны в среднем 29,79 (SD 57,97) редакторами. Согласно их профилям пользователей, редакторы этих статей в среднем отредактировали 32 031,05 (SD 27 513,01) в 1 033,42 (SD 648,71) статьях Википедии. Количество общих правок редакторов, а также количество отредактированных статей были положительно искажены и обычно не распределялись в соответствии с тестами Колмогорова-Смирнова (значения P <.001). Таким образом, мы использовали U-тесты Манна-Уитни для анализа различий между авторами 96 статей, которые содержали не менее 10 правок, и которые получили по крайней мере один из тегов, указывающих на проблемы с качеством, и теги статей без тегов в отношении к предыдущим действиям редакторов. Мы обнаружили существенное различие в отношении общего количества отредактированных статей (средний ранг с тегом 2348,23, средний ранг без тегов 5159,29; U = 9,25, P <0,001), тогда как разница в отношении общего количества правок не достигла статистической значимости. (средний ранг с меткой 4872,85, средний ранг без метки 5135,48; U = 0,87, P = 0,39).

Чтобы учесть существенные различия между помеченными и нетегированными статьями, содержащими 10 или более правок относительно среднего общего количества правок и редакторов (см. Выше), мы дополнительно проверили наши первоначальные результаты, используя логистический регрессионный анализ (пошаговый) с помеченными в зависимости от непомеченного статуса (фиктивного кодирования) статей в качестве зависимой переменной, количества соответствующих редакторов в общей статье и общего количества правок в качестве управляющих переменных, а также общего количества правок и отредактированных авторов (соответственно) в качестве независимых предикторов. Этот подход контролировал возможный запутывающий линейный эффект количества правок или редакторов статьи. Мы снова обнаружили, что общее количество статей, отредактированных авторами, значительно предсказало статусы статей (Nagelkerke R 2 для полной модели = .17; B [SE B ] = - 0.001 [0.00]; Wald c 2 [ 1 ] = 19,70; P <.001), тогда как общее количество правок авторов не оказало существенного влияния (Nagelkerke R 2 для полной модели = .15; B [SE B ] = 0,000 [0,01]; Wald c 2 [ 1 ] = 0,01; P = 0,94).

обсуждение

Основные результаты

Самая большая категория статей Википедии, связанных со здоровьем, которые когда-то имели историю изменений, получила пользовательский тег, обозначающий проблемы качества, сфокусированные на темах, касающихся политических и законодательных вопросов. Другие статьи были связаны с альтернативной медициной, общими медицинскими темами, а также конкретными событиями и людьми.

Авторы статей с тегами (в среднем) отредактировали меньше статей Википедии, чем авторов статей без тегов. Тем не менее, мы не нашли существенной разницы для простого количества предыдущих изменений автора. Предполагая, что существует связь между компетенцией авторов и вероятностью того, что статья в Википедии получает тег, указывающий на проблемы с качеством, это может указывать на то, что простой объем деятельности не свидетельствует о компетенции автора Википедии, а скорее об определенной широте опыта , Этот вывод, в случае подтверждения, может иметь значение для системы редактирования Википедии (и других платформ), а также для управления качеством платформ для создания совместных знаний. Например, статьи, которые были созданы редакторами со сравнительно узким диапазоном ранее отредактированных статей, могут быть автоматически идентифицированы и помечены для дальнейших проверок качества в качестве средства обеспечения и улучшения качества статей, связанных со здоровьем. Тем не менее, необходимы дополнительные исследования, чтобы распутать влияние различных аспектов деятельности участников Википедии на качество статей Википедии.

Ограничения

Основным ограничивающим фактором для нашего исследования было то, что относительно немного статей получили хотя бы один из тегов, указывающих на проблемы с качеством. Одним из способов решения этой проблемы в будущих исследованиях, чтобы повторить наши выводы, было бы использование показателей качества, основанных на таких особенностях статьи, как длина, количество абзацев и количество изображений [ 21 ]. Следует также отметить, что авторы статей как с тегами, так и без тегов (в среднем) внесли несколько тысяч изменений в несколько сотен статей и, следовательно, были относительно опытными участниками Википедии. Необходимы дальнейшие исследования для анализа влияния различных уровней опыта редактора (или неопытности) на качество статей Википедии. Статьи, которые были отобраны для этого исследования, составляют только часть медицинского контента, который доступен в Википедии [ 22 ]. Будущие исследования необходимы для того, чтобы повторить наши выводы для более широкого круга статей и статей Википедии, связанных со здоровьем, на других языках, кроме английского.

Заключение

В соответствии с предыдущими исследованиями [ 4 , 13 , 21 ], наши результаты подчеркивают потенциал Википедии как ценного ресурса для информации, связанной со здоровьем. Тем не менее, качество статей Википедии зависит от готовности опытных и хорошо осведомленных авторов взять на себя неоплачиваемый труд по редактированию и улучшению статей Википедии. Одним из способов поощрения опытных специалистов к дальнейшему взаимодействию с контентом Википедии было бы обеспечение стимулов для таких действий (например, в форме кредитов непрерывного медицинского образования) [ 22 ].

Подтверждения

Эта работа была поддержана исследовательской программой Европейского Союза «Горизонт 2020» (проект «AFEL - Аналитика для повседневного обучения»; проект № 687916).

Мультимедийное приложение 1

Обзор помеченных статей.

Сноски

Конфликт интересов: не объявлен.

Влияние опыта участника на качество статей Википедии, связанных со здоровьем

Питер Хольц

Бесник Фетаху

Иоахим Киммерле

Аннотация

Фон

Задача

методы

Результаты

Выводы

Вступление

Информация о здоровье онлайн

Википедия как ресурс

методы

Результаты

Содержание помеченных статей

Влияние опыта участника

обсуждение

Основные результаты

Ограничения

Заключение

Подтверждения

Мультимедийное приложение 1

Сноски

Рекомендации