An Analysis of Bibliographic Data on the Human Landing on the Moon
An Analysis of Bibliographic Data on the Human Landing on the Moon
Abstract
Methods of information quality evaluation are extremely relevant in the era of information abundance. Such methods are useful for journal editors, conference managers, expert councils, and encyclopedia developers. Automatic methods of information quality assessment are necessary for training generative AI like ChatGPT, combating manipulations, fakes and disinformation in information warfare. One of the main criteria of information quality is credibility. The article describes a method for assessing the credibility of information from bibliographic data, taking into account the competence of authors. As an example of using the proposed method, the reliability of opposing points of view on the topic of human landing on the Moon is evaluated. Taking into account scientific degrees of authors, references to articles, as well as taking into account the presence of opposing points of view helps to find (and evaluate) reliable information and facts.
1. Введение
Методы оценки качества информации крайне актуальны в эпоху информационного изобилия. Такие методы полезны для редакторов журналов, организаторов конференций, разработчиков энциклопедий, различных экспертных советов. Автоматические методы оценки качества информации необходимы для обучения генеративного ИИ типа ChatGPT, борьбы с манипуляциями, фейками и дезинформацией в информационной войне. Одним из главных критериев качества информации является достоверность .
Для оценки достоверности используется автоматическая проверка фактов путем сравнения с фактами из надежного источника, например, из базы научных статей. Но так как в научной литературе встречаются противоположные утверждения, то возникает потребность в методе, позволяющем выбрать более достоверное утверждение из двух противоположных.
В данной статье описан предлагаемый метод оценки достоверности информации по библиографическим данным с учетом компетенции авторов. Дело в том, что в силу того, что современные информационные технологии позволяют вбрасывать в информационное пространство огромные массивы лжи, прямой статистический анализ библиографии может дать совершенно ложную картину. Поэтому наш подход предлагает учет дополнительной информации – компетенции, научных степеней авторов и учет ссылок на статьи. Думается, что в этом случае результат должен получиться куда более объективным.
В статье также дается пример использования предложенного метода. В качестве примера оцениваются достоверности противоположных точек зрения на тему высадки человека на Луну. Существует две противоположные точки зрения и соответственно две группы авторов, назовем их защитники и скептики. Точка зрения защитников, что доказательства высадок на Луну США являются состоятельными. Точка зрения скептиков, что эти доказательства несостоятельны. Доктор физико-математических наук Попов Александр Иванович в книгах , провёл сопоставление различных точек зрения и сделал вывод, что доказательства высадок на Луну США при внимательном рассмотрении оказываются несостоятельными. Другие работы , , , согласны с точкой зрения А.И. Попова.
Данная статья с помощью предлагаемого метода проводит библиометрический анализ этих противоположных точек зрения по материалам открытых научных работ в электронной библиотеке eLibrary.ru. Анализируется количество работ защитников и скептиков, количество ссылок на эти работы, ученые степени защитников и скептиков. На основе этого библиометрического анализа делается оценка достоверности точек зрения защитников и скептиков.
Статья имеет следующую структуру. Ниже приведен обзор литературы, далее дается описание предлагаемого метода, пример его использования и выводы.
2. Обзор литературы
Приведем краткий обзор литературы о достоверности информации и методах ее оценки.
В работе отмечается необходимость критического оценивания информации, что является сложным мыслительным процессом, направленным на определение качества информации и её систематизацию, с целью дальнейшего эффективного использования. Авторы предлагают выделить 6 основных критериев, определяющих качество информации: объективность, достоверность, полнота, актуальность, ценность и законность. При этом достоверность информации определяется степенью соответствия полученной информации её истинному значению. Информация достоверна, если отражает или не искажает истинное положение дел.
Статья посвящена работам по автоматической проверке фактов, которая является одним из основных способов оценки достоверности информации. Проверка фактов – это задача оценки того, верны ли утверждения, сделанные в письменной или устной речи. Большинство подходов к проверке фактов неявно предполагают доступ к надежному источнику информации, такому как энциклопедии или научные статьи. Наиболее популярным типом входных данных для проверки являются текстовые утверждения на уровне предложений.
Работа за 2020 год посвящена автоматической проверке научных утверждений по коллекции научных статей. Авторы описали новую задачу по автоматической проверки фактов (automated fact-checking) и разработали систему для проверки научных утверждений вместе с выбором выдержек из научной литературы, содержащих доказательства, которые ПОДДЕРЖИВАЮТ или ОПРОВЕРГАЮТ данное научное утверждение. В системе используется селектор предложений на основе нейросети BERT.
В работе за 2020 год отмечалось, что иногда достоверные источники противоречат друг другу и было предложено интегрировать/суммировать оценки достоверности в задаче проверки фактов.
В данной работе описывается метод оценки достоверности фактов/утверждений по научной литературе, который интегрирует/суммирует оценки достоверности из разных научных статей и при этом дополнительно учитывает квалификацию авторов, ссылки на их работы и наличие противоположных точек зрения. Новизна предлагаемого метода заключается в этом дополнительном учете противоположных точек зрения, квалификации авторов и ссылок на их работы.
3. Описание метода
Предлагаемый метод оценки достоверности противоположных утверждений по библиографическим данным учитывает компетенции авторов и их научные степени. Метод опирается на опыт решения следующих известных задач: выявление и кластеризация разногласий (Controversy Detection), оценка достоверности (credibility scores), автоматическая проверка фактов (Automated Fact-Checking). С помощью описываемого метода можно оценить достоверность интересующего факта, оценить качество статей, содержащих упоминание этого факта, а также пополнить базу фактов проверенной информацией. Метод использует принцип: более комптентные авторы совершают меньше ошибок и имеют больше работ и ссылок цитирования.
Метод состоит из следующих шагов.
1) Построение общего запроса по интересующей теме (без разделения на точки зрения).
2) Построение специализированных запросов, соответствующих противоположным точкам зрения (выявление и кластеризация разногласий).
3) Поиск статей по всем построенным запросам.
4) Определение количества ссылок цитирования для найденных статей.
5) Определение максимальной квалификации/компетенции (ученой степени) авторов для найденных статей.
6) Классификация найденных статей по точкам зрения.
7) Расчет статистики отдельно для каждой точки зрения и каждого уровня квалификации по количеству статей и ссылок.
8) Побеждает точка зрения, где больше работ компетентных авторов, больше ссылок на эти работы и больше доля работ компетентных авторов.
9) Повышаем оценку достоверности для победившей точки зрения.
10) Повышаем оценку достоверности статьям, соответствующим победившей точки зрения.
11) Повышаем оценку достоверности фактам, связанным с победившей точкой зрения.
Рассмотрим возможности автоматизации для предложенного метода. Большинство пунктов метода не имеют большой сложности при автоматизации, например, поиск по запросам и расчет статистики. Наиболее сложные пункты 1,2,6 решаются методами обработки естественного языка (NLP), машинного обучения, кластеризации и классификации с помощью нейронных сетей. Для пунктов 2 и 6 используются также методы, применяемые в задачах по выявлению и кластеризации разногласий (Controversy Detection).
Предложенный метод позволяет оценивать достоверность статей, фактов, а также пополнять базу фактов проверенной информацией, что необходимо для работы алгоритмов автоматической проверки фактов.
4. Результаты экспериментов
Для демонстрации предложенного метода выбрана тема высадки на Луну, имеющая защитников и скептиков. Защитники считают доказательства высадки состоятельными, а скептики – нет.
Библиометрический анализ работ защитников и скептиков проведен с помощью электронной библиотеки научных публикаций eLibrary.ru, содержащей более 40 млн. статей. Из этого количества были выбраны публикации на тему высадки на Луну, содержащие противоположные точки зрения.
Делались запросы:
1) астронавты Луна Армстронг Шепард,
2) словосочетания «лунный заговор» в разных падежах и
3) словосочетания «лунная афера» в разных падежах.
По первому запросу было получено 24 результата, по второму по запросу – 20 результатов, по третьему – 16. Всего в результате трех запросов к eLibrary было выбрано 24+20+16=60 статей.
Для анализа количества работ защитников и скептиков и их ученых степеней из рассмотрения были удалены работы с закрытым доступом, в которых нельзя было определить точку зрения их авторов. Также были удалены открытые работы, которые попали в результаты по ошибке, т.к. ключевые слова содержались в других статьях сборника. В результате в рассматриваемой коллекции статей о высадке на Луну осталось 49 работ.
При анализе ученых степеней авторов работ были выделены работы докторов, кандидатов, ученых без степени и студентов. Работы докторов – это те печатные работы, одним из авторов которых является доктор независимо от ученых степеней соавторов. Работами кандидатов считаются работы, в которых максимальная ученая степень – это кандидат. К студентам, в частности, относили участников студенческих конференций, не имеющих ранее печатных работ. Остальные работы считались работами авторов без степени. Результаты анализа отображены в Таблице 1.
Таблица 1 - Количество работ и ссылок в зависимости от квалификации, найденных по трем запросам в библиотеке научных публикаций eLibrary.ru в апреле 2023 года
| Запрос-1: астронавты Луна Армстронг Шепард | Запрос-2: «лунный заговор» | Запрос-3: «лунная афера» |
Работы с открытым доступом | 19 | 14 | 16с |
Работы докторов | 1+1с | 1+2с | 4с |
Ссылки на работы докторов | 0 | 0+29с | 144с |
Работы кандидатов | 4 | 0 | 1с |
Ссылки работы кандидатов | 7 | 0 | 1с |
Работы авторов со степенью | 5+1с | 1+2с | 5с |
Ссылки | 7 | 0+29с | 145с |
Работы авторов без степени | 6 | 6 | 11с |
Ссылки | 1 | 2 | 18с |
Работы студентов | 7 | 5 | 0 |
Ссылки на работы студентов | 0 | 0 | 0 |
Данные, относящиеся к скептикам, помечены в таблице символом/буквой “c”. Результатах первого запроса (астронавты луна Армстронг Шепард) представляют собой первую группу статей и отражены в первом столбце Таблицы 1. Большинство авторов этой группы имеют точку зрения защитников в том числе работа , соавтором которой является доктор физико-математических наук Шевченко В.В. Данная работа представляет собой обзор отечественных и зарубежных публикаций, в котором описаны основные результаты исследований лунной поверхности и обзорная карта Луны с обозначением мест посадок всех космических аппаратов.
Единственным исключением среди работ защитников первой группы является работа , отражающая точку зрения скептиков, соавтором которой является доктор военных наук Раскин А.В. В работе анализируются многочисленные неувязки лунной программы США. Например, лунный модуль до пилотируемого полета не испытывался по своему главному предназначению – посадке на Луну и взлёту с неё ни разу, хотя посадка – это один из самых опасных этапов космического полёта.
Из таблицы 1 видно, что среди работ первой группы содержится 7 работ студентов, которые имеют точку зрения защитников и в большинстве случаев повторяют общеизвестную информацию, что лунную гонку СССР проиграл и первым человеком на Луне стал Нил Армстронг.
Результаты запроса «лунный заговор» образуют вторую группу статей и отражены во втором столбце Таблицы 1. Большинство авторов в этой группе также имеют точку зрения защитников в том числе работа , одним из соавторов которой является доктор исторических наук Терновая Л.О., которая пишет, что “США, выиграв «лунную гонку» и совершив до 1972 г. шесть успешных высадок на Луну, не стали продолжать дорогостоящую программу «Аполлон», которая начала обрастать конспирологическими деталями, оформляясь в идею «лунного заговора»”. Имеется два исключения среди работ защитников второй группы. Это работы докторов филологических наук Ильченко С.Н. , и Заломкиной Г.В. , имеющие скептическую точку зрения. Ильченко пишет: “К сожалению, в распоряжении экспертов и специалистов на сегодняшний момент нет прямых доказательств в умышленной организации подобных мистификаций со стороны США, но значительное количество косвенных улик и свидетельств позволяет утверждать по крайней мере о двух подобных инфомистификациях. … Первая из них относится к так называемой теории «лунного заговора», которая строится на тезисе о том, что американцы никогда не высаживались на Луну”. Заломкина пишет о необходимости сомнения – непременного условия, лежащего в основе любого научного исследования. Из таблицы 1 видно, что среди работ второй группы содержится 5 работ студентов, которые считают конспирологической и лженаучной точку зрения скептиков, т.к. она противоречит общеизвестным фактам. Студенты пишут о лунном заговоре как о лженаучной теории заговора и с психологической точки зрения объясняют потребность людей в подобных конспирологических теориях.
Результаты запроса «лунная афера» образуют третью группу работ. Все работы этой группы отражают точку зрения скептиков. В третьей группе работ докторов наук , , , больше чем в предыдущих группах и совсем нет студенческих работ. Некоторые доктора в этой группе имеют несколько ученых степеней.
В работах , , доктор эконом. наук, доктор техн. наук, кандидат физ.-мат. наук Орлов А.И., кандидат техн. наук Луценко Е.В., доктор технических наук Лойко В.И. пишут, что мы не добрались даже до Луны (пара прыжков и прогулок – если они действительно были – при всем огромном уважении к астронавтам все же нельзя считать даже началом освоения небесного тела).
В работе доктор полит. наук Горбунов А.А. и доктор экономических наук, доктор философских наук, кандидат технических наук Субетто А.И. пишут, что в ракетостроении США отстали от СССР на десятилетия. Это отставание иллюстрируют данные в космической отрасли в 1960-1980 годах. Американцы сообразили, что не смогут организовать и показать пилотируемую экспедицию до 2020, либо 2040 г., и попросили Обаму прикрыть лунную программу, что он и сделал.
Следует отметить, что только доктора наук в пределах работ из одной группы имеют различные точки зрения (защитников или скептиков), не совпадающие с большинством в группе и в максимальной степени независимые от общепринятых взглядов. Остальные категории авторов имеют точки зрения, совпадающие с большинством в пределах каждой группы. Студенты имеют минимальный разброс их точек зрения и все принадлежат к категории защитников.
Т.к. первая и вторая группы содержат работы как защитников так и скептиков, то имеет смысл представить объединенную информацию отдельно по защитникам и скептикам независимо от того в какой запрос попали их работы. Такие объединенные данные по защитникам и скептикам отражены в Таблице 2.
Таблица 2 - Количество работ и ссылок у защитников и скептиков в зависимости от квалификации по данным библиотеки научных публикаций eLibrary.ru по состоянию на апрель 2023 года
Всего работ | Защитники | Скептики | ||
30 | 19 | |||
абс. число | % | абс. число | % | |
Работы докторов | 2 | 6.7 | 7 | 36.8 |
Ссылки на работы докторов | 0 | - | 173 | - |
Работы кандидатов | 4 | 13.3 | 1 | 5.2 |
Ссылки на работы кандидатов | 7 | - | 1 | - |
Работы авторов со степенью | 6 | 20 | 8 | 42.1 |
Ссылки | 7 | - | 174 | - |
Работы авторов без степени | 12 | 40 | 11 | 57.9 |
Ссылки | 3 | - | 18 | - |
Работы студентов | 12 | 40 | 0 | 0 |
Ссылки на работы студентов | 0 | - | 0 | - |
Из таблицы 2 видно, что среди работ авторов со степенью и авторов без степени примерно одинаковое количество (плюс-минус один) работ защитников и скептиков. Зато у скептиков в 3.5 раза больше работ докторов, а у защитников больше работ студентов. В процентах у скептиков доля работ докторов больше на 30.1%, а у защитников на 40 % больше доля работ студентов. Из этого следует, что скептики в среднем более квалифицированные ученые и, соответственно, их точка зрения является более квалифицированной.
К аналогичному выводу можно прийти, если анализировать библиографические ссылки на работы защитников и скептиков. В среднем каждая работа скептиков имеют 192/19=10.1 ссылок, а каждая работа защитников 10/30=0.3 ссылки, т.е. в 33 раза меньше. При этом наибольшее среднее количество имеют работы докторов скептиков – 24.7 ссылки на каждую работу. Наименьшее среднее количество ссылок, равное нулю, у докторов защитников и студентов защитников.
Интересно также проанализировать доктора каких наук находятся среди защитников и скептиков в рассматриваемой коллекции из 49 публикаций. Защитники имеют следующие 2 докторские ученые степени: 1 доктор физико-математических наук и 1 доктор исторических наук. Скептики имеют следующие 10 докторских ученых степеней: 1 доктор военных наук, 2 доктора филологических наук, 3 доктора экономических наук, 2 доктора технических наук, 1 доктор политических наук, 1 доктор философских наук. Таким образом, в этой коллекции количество докторских ученых степеней у скептиков в 5 раз больше чем у защитников, и по этому показателю точка зрения скептиков также является более квалифицированной и более достоверной.
В соответствии с предложенным методом побеждает точка зрения скептиков, т.к. она имеет больше работ компетентных авторов, больше ссылок на эти работы и больше доля работ компетентных авторов. Согласно методу повышаем оценку достоверности для победившей точки зрения и для 19 статей скептиков, понижаем оценку у 30 статей защитников.
Также повышаем оценку достоверности следующим фактам/утверждениям, связанным с победившей точкой зрения: доказательства высадок на Луну США являются несостоятельными; американцы не были на Луне; СССР не проиграла в Лунной гонке. Понижаем оценку достоверности следующим фактам/утверждениям, связанным с проигравшей точкой зрения: доказательства высадок на Луну США являются состоятельными; американцы были на Луне; СССР проиграла в Лунной гонке.
5. Заключение
В данной статье описан новый метод оценки достоверности информации по библиографическим данным с учетом компетенции авторов. Достоверность является одним из важнейших критериев качества информации, поэтому метод полезен для выявления качественной информации, такой как статьи, утверждения, факты, а также для построения базы проверенных фактов, необходимой для работы программ автоматической проверки фактов (automated fact-checking). В отличие от описанных в научной литературе методов проверки фактов по базе научных статей, данный метод учитывает квалификацию авторов, количество ссылок на их работы, а также наличие противоположных точек зрения.
В статье приведен пример использования метода для анализа научных публикаций, касающихся высадки на Луну. Интерес к этой теме растет, что обусловлено появлением новых знаний по мере развития космической техники и активизации исследований Луны. Эта тема является неоднозначной и имеет противоположные точки зрения о состоятельности доказательств высадок на Луну США. С помощью предлагаемого метода на основе открытых научных работ в электронной библиотеке eLibrary сделан вывод, что победила точка зрения скептиков о несостоятельности доказательств высадки человека на Луну, т.к. она имеет больше работ компетентных авторов, больше ссылок на эти работы и большую долю работ компетентных авторов.