Аппликации из газет: Аппликации из газет

В течение почти двух десятилетий Библиотека Конгресса работала с партнерами в Соединенных Штатах над оцифровкой исторических газет Америки. Объединив получившиеся 16 миллионов газетных страниц (и подсчет) в Chronicling America 9База данных 0466 сделала их легко доступными для поиска по тексту. Но газеты также содержат миллионы изображений — фотографии, иллюстрации, карты, комиксы, рекламные объявления и многое другое. В 2019 году инноватор Библиотеки Конгресса в резиденции Бенджамин Ли решил найти все эти изображения и сделать их такими же легкодоступными для поиска с помощью возможностей машинного обучения. В мае 2020 года Библиотека выпустила миллионы этих изображений в виде загружаемых наборов данных и продемонстрировала этот дебют с общедоступным джемом данных.

Ли создал Newspaper Navigator путем обучения компьютерного алгоритма распознаванию и извлечению изображений из текста с использованием метода машинного обучения. В результате он смог отобрать один из самых больших наборов изображений из исторических газет в мире, которые теперь доступны для публики бесплатно. Но в дополнение к огромному количеству изображений, которые он извлек, Ли также использовал машинное обучение, чтобы революционизировать способы их поиска пользователями.

С помощью приложения посетители могут выполнять поиск по миллиону изображений по ключевому слову, просматривать тысячи возвращенных изображений и выбирать подходящие фотографии для обучения алгоритма идентификации похожих изображений на основе их содержания, уточнения и повторного поиска. Например, посетитель может начать поиск по слову «парусники» и Газетный навигатор найдет любое изображение, которое встречается в газетах рядом со словом «парусники». Когда посетитель просматривает галерею возвращенных изображений, он решает, что ему нужны только изображения парусников, поэтому он выбирает несколько примеров фотографий парусников, чтобы добавить их в свою учебную библиотеку, и снова выполняет поиск.

Именно здесь отчетливо проявляется исследовательский характер инструмента, поскольку алгоритм машинного обучения сканирует более миллиона фотографий за секунды, возвращая изображения парусников, даже если слово «парусники» нигде не встречается в тексте, связанном с возвращенными изображениями. . Таким образом, 9Алгоритм 0465 Newspaper Navigator , разработанный Ли, использует «входные» изображения, выбранные посетителями, для обучения алгоритма машинного обучения «на лету» для выявления визуально похожих изображений. В то время как такие компании, как Google, разработали методы поиска изображений, Newspaper Navigator напрямую позволяет пользователям сайта обучать машинное обучение поиску более миллиона изображений. Это первый подобный инструмент, разработанный некоммерческой организацией для использования с материалами культурного наследия.

Скриншот улучшенного поиска изображений «парусников»

О газетах

Более 1,5 миллиона общедоступных фотографий в наборе данных Newspaper Navigator — невероятная находка для всех, кто интересуется американской историей. Chronicling America , созданная и поддерживаемая Национальной программой цифровой газеты в партнерстве между Библиотекой Конгресса и Национальным фондом гуманитарных наук, является одной из крупнейших бесплатных баз данных оцифрованных исторических газет в мире. Растущая база данных включает более 16 миллионов газетных страниц, изданных по всей стране с 1789 года.до 1963 года, многие из них были небольшими местными газетами, которые документируют повседневную жизнь и мировые события на протяжении столетий американской истории. С помощью существующего поискового портала Chronicling America посетители могут выполнять поиск по миллионам страниц газет в базе данных по ключевым словам и другим полям метаданных, читать оригинальные документы в цифровом формате и узнавать больше о названиях газет. Историки, специалисты по генеалогии, учителя, студенты и любопытные представители американской общественности регулярно используют Хроника Америки , чтобы исследовать нашу общую историю, а также их собственные семьи и дома.

Полнотекстовый поиск необходим для обеспечения доступности новостей Chronicling America — любой может искать фамилии, родные города, цену хорошего бритья и даже освещение в СМИ таких пандемий, как испанский грипп. Однако библиотеке требовались дальнейшие инновации, чтобы сделать богатый визуальный контент газет таким же доступным. Фотографии, карикатуры, карты и иллюстрации повсюду в исторических газетах и ​​являются порталами в прошлое, а их визуальные характеристики часто передают информацию помимо того, что сопровождает их в виде текста в виде подписей и заголовков. Поиск текста становится еще более трудным из-за изменения терминологии, неточностей в оптическом распознавании символов и десятков языков, которые теперь представлены в газетах. Предоставление исследователям возможности выйти за рамки текстового поиска по ключевым словам открывает новые и захватывающие окна в явления, которые варьируются от того, как модные тенденции менялись с годами до того, как поклонники американского времяпрепровождения увидели бы звезд бейсбола столетие назад. Нахождение изображений по их визуальным характеристикам позволяет историкам, студентам, специалистам по генеалогии и другим лицам более полный доступ, чем когда-либо прежде, к одной из самых важных исторических записей повседневной жизни в Соединенных Штатах.

История проекта(ов)

Хотя Ли смог создать Newspaper Navigator и сопутствующий ему набор изображений в течение года своего пребывания в Библиотеке, проект основан на 20-летнем опыте как ручного, так и автоматически описывать эти страницы способами, понятными компьютеру. Поскольку в начале 2000-х библиотека начала работать с NEH и штатами по всей стране для выбора, оцифровки и отправки USB-накопителей и жестких дисков в библиотеку, для описания макета каждой страницы необходимо было разработать схему под названием METS-ALTO. до пикселя. Оттуда Библиотека начала делать газеты общедоступными через портал онлайн-поиска, публиковать газеты в виде массовых загрузок данных с полным текстом и создала API (интерфейс прикладного программирования) для программного использования.

«Наиболее важным аспектом Newspaper Navigator является то, что он является результатом десятилетий усилий», — сказала Кейт Зваард, директор по цифровой стратегии. «Просто технология, наконец, догнала богатство данных. Мы находимся в критическом для библиотек времени экспериментировании с тем, как представители общественности могут взаимодействовать с материалами, которые мы размещаем в Интернете».

В 2017 году лаборатория Библиотеки Конгресса, небольшая группа в рамках Управления цифровой стратегии, которая проводит эксперименты и тестирует новые технологии с коллекциями библиотеки, использовала газеты в краудсорсинговом эксперименте За пределами слов . Посетителей веб-сайта попросили помочь идентифицировать карикатуры, иллюстрации, фотографии и рекламные объявления в подмножестве газет времен Первой мировой войны. Посетители рисовали рамки вокруг любого визуального контента на одной странице оцифрованной газеты и могли расшифровывать или просматривать транскрипции подписей, сопровождающих каждое изображение, другими пользователями. Когда Бен Ли столкнулся с этим проектом, он был на первом курсе докторской программы по компьютерным наукам и увидел возможность использовать работу этих добровольцев для создания обучающего набора данных для алгоритма машинного обучения, который мог бы работать на всех Хроника Америки корпус. «Когда я впервые столкнулся с Beyond Words , я был очарован тысячами фотографий, иллюстраций, карикатур и карт, найденных добровольцами. Я начал задаваться вопросом, был ли этот идентифицированный визуальный контент ключом к открытию сундука с сокровищами визуального контента на всех 16 миллионах страниц в Chronicling America с использованием машинного обучения», — сказал Ли. Он подал заявку на участие в ежегодной программе библиотеки «Новатор в резиденции», чтобы попробовать ее.

«Предложение Бена было впечатляющим, поскольку технически амбициозным. Мы знали, что Библиотека впервые разработает приложение для машинного обучения собственными силами, и хотели посмотреть, сможем ли мы это сделать», — сказал Хайме Мирс, член LC Labs, возглавляющий программу «Новатор в резиденции». «В его предложении также была приверженность прозрачности, чтобы показать, насколько опосредованным и ошибочным может быть машинное обучение».

Документирование недостатков технологии

Работа Ли соответствует постоянной приверженности LC Labs прозрачности и этике, особенно учету человеческого времени, труда и опыта, необходимых для создания наборов данных, используемых для обучения алгоритмов машинного обучения. Когда Ли начал свою резидентуру в сентябре 2019 года, он принял участие в саммите Machine Learning + Libraries, организованном LC Labs. Конференция подчеркнула необходимость для Библиотеки Конгресса продолжать изучение социальных и этических проблем машинного обучения наряду с его техническими или практическими применениями. ^[1]

Проект Ли также пересекался с другим исследовательским демонстрационным проектом, который LC Labs проводил в то время с командой проекта Aida в Университете Небраски в Линкольне. доктора Лиз Лоранг и Лин-Киат Со работали с доктором философии. Кандидаты И Лю и Чулву Пак должны протестировать не менее пяти возможных приложений машинного обучения для цифровых коллекций Библиотеки Конгресса. Они также использовали данные из Chronicling America , чтобы проверить возможность сегментации документов или сегментации изображений и текстовых материалов из газетного содержания; Извлечение рисунков/графиков или поиск рисунков в содержании газеты и извлечение текста из рисунков; Классификация типов документов или классификация рукописных и печатных материалов; Оценка качества, также известная как анализ качества изображения оцифрованного материала MSS; и Дифференциация типа оцифровки, или распознавание изображения, оцифрованного с микрофильма.

Ли уже продемонстрировал особенно тщательный подход к использованию автоматизированных методов обработки и создания доступного для обнаружения чувствительного культурного материала. Работая научным сотрудником в области цифровых гуманитарных наук в Мемориальном музее Холокоста в США, он работал с архивом Международной службы розыска, чтобы улучшить доступ к ее цифровым материалам. Архив является одним из крупнейших в мире хранилищ документов, касающихся жертв Холокоста, в том числе его собственной бабушки, выжившей в концентрационном лагере Аушвиц-Биркенау. «Мой собственный опыт навигации по коллекциям культурного наследия в поисках истории моей семьи оказал на меня глубокое влияние как на личном уровне, так и в отношении моих исследований. Улучшение доступа к оцифрованным коллекциям стало движущей силой моего исследования, включая Газетный навигатор . Более того, благодаря своему личному опыту я пришел к пониманию деликатности, которой требуют коллекции культурного наследия. В моей работе для меня особенно важно, чтобы я применяла методы машинного обучения этично, ответственно и осторожно».

В проекте Newspaper Navigator Ли уделяет особое внимание документированию истории самих данных. Это особенно важно для проектов, использующих технологии машинного обучения, поскольку эти алгоритмы учатся обнаруживать закономерности на основе данных, которые они представляют. Так, если, например, большинство людей со светлой кожей на исторических изображениях, алгоритм будет лучше обнаруживать людей со светлой кожей на новых изображениях, введенных в систему, в ущерб людям с более темной кожей на изображениях. Чтобы изучить эти эффекты, известные как алгоритмическая предвзятость, поскольку они связаны с Newspaper Navigator Бен написал статью под названием «археология данных». В статье Ли изучил четыре разных газетных страницы, воспроизводящих одно и то же изображение W.E.B. Дюбуа, когда страницы путешествуют по Chronicling America и Newspaper Navigator . Он обнаружил, что, поскольку процесс микрофильмирования искажает тона кожи темнокожих людей на фотографиях, алгоритм машинного обучения, используемый для обнаружения в поисковом интерфейсе Newspaper Navigator , не смог идентифицировать все четыре изображения W. E.B. Дюбуа как родственник. Он представил это тематическое исследование в рамках Newspaper Navigator для информирования пользователей набора данных и интерфейса об алгоритмической предвзятости и о том, как машинное обучение может увековечить маргинализацию.

То же изображение W.E.B. Дюбуа воспроизведен в 4 различных оцифрованных газетах для чернокожих в Chronicling America за 1910 год. Обратите внимание, что комбинированные эффекты печати, микрофильмирования и оцифровки привели к различным визуальным эффектам на каждом изображении, от контраста до резкости.

Действительно, машинное обучение используется для управления многими нашими текущими инструментами — от банковских операций до социальных сетей, — но зачастую оно используется незаметно за интерфейсом. Газетный навигатор отличается своей прозрачностью. Предоставляя пользователям возможность обучать алгоритм на лету, они могут интуитивно в режиме реального времени узнать, как их настройки влияют на результаты, и увидеть, где инструмент быстро достигает своего предела. Например, алгоритм с трудом различает похожие формы, такие как лошадь и собака. И все же, поскольку это дает исследователям возможность искать за пределами подписей к фотографии, существует огромный потенциал того, как эти газеты могут теперь использоваться.

Что дальше?

Джим Кейси, доцент кафедры афроамериканских исследований в Университете штата Пенсильвания, уже определил, как программа Newspaper Navigator поможет исследователям. «Поскольку я пишу историю редакторов в первых Соединенных Штатах , Newspaper Navigator станет бесценным инструментом для определения визуальной культуры прессы. Это дает нам множество подсказок о работе редакторов (за кулисами), чтобы создать внешний вид первых черновиков истории». Кейси добавил: «Работа Бена Ли в LC Labs — первоклассный пример того, как компьютеры могут помочь нам понять наше культурное наследие новыми и неожиданными способами. Я ожидаю, что 9Платформа 0465 Newspaper Navigator откроет множество новых областей исследований, поскольку позволит нам задавать новые виды вопросов. Помимо простого поиска по ключевым словам, теперь мы можем начать исследовать закономерности и эксцентричности визуальной культуры газет на миллионах страниц. Это как сонар для Chronicling America .

«Навигатор газет предоставляет совершенно новое измерение доступа к Chronicling America», — сказала Молли О’Хаган Харди из Национального фонда гуманитарных наук, давнего партнера библиотеки в Национальной программе цифровых газет, которая выпускает Хроники Америки . «Изображения и слова на печатной газетной странице взаимодействуют, создавая смысл для читателей в прошлом и настоящем, и мы упускаем половину этого значения, когда наши поиски опираются исключительно на письменный текст». Харди добавил: « Newspaper Navigator позволяет нам получать доступ к историческим газетам и, следовательно, понимать их до сих пор беспрецедентными способами, и мы очень хотим увидеть захватывающие открытия, которые он сделает возможным в Chronicling America ».

Ли заканчивает ординатуру в сентябре, но Газетный навигатор представляет собой начало диссертационного исследования Ли в Вашингтонском университете с его научным руководителем, профессором Дэниелом Велдом. Как объясняет Ли: «Я особенно взволнован новым режимом поиска, включенным в веб-приложение Newspaper Navigator , которое открывает множество возможностей для изучения не только исследовательского поиска, но и взаимодействия человека с ИИ. Я с нетерпением жду продолжения изучения и усовершенствования этого метода поиска в рамках своей диссертации».

Весь код Newspaper Navigator, включая код построения набора данных и веб-приложения, является открытым исходным кодом и размещен в открытом доступе для неограниченного повторного использования. Оба набора кода доступны по адресу https://github.com/LibraryOfCongress/newspaper-navigator. Библиотека призывает других повторно использовать этот код для своих проектов, связанных с историческими газетами и не только.