Назад в библиотеку

Источник (англ.): Kim, H., Kim, S., Shin, Y., Jo, W., Lee, S., & Shon, T. (2021). Ext4 and XFS file system forensic framework based on TSK. Electronics, 10(18), 2310.

УДК 004.056.5

ФРЕЙМВОРК СУДЕБНОЙ ЭКСПЕРТИЗЫ ФАЙЛОВЫХ СИСТЕМ EXT4 И XFS НА ОСНОВЕ TSK

Хенчан Ким1,2, Сонбум Ким1, Енхун Шин1, Уен Джо3,4, Сокджун Ли1,5, Тэшик Шон1,5
1Факультет конвергентной сети искусственного интеллекта, Университет Аджоу, Сувон 16499, Корея
2WINS Co., Ltd., Сеул 13487, Корея
3Факультет компьютерных наук, Государственный университет Кеннесо, Мариетта, Джорджия 30060, США
4Кафедра кибербезопасности, Университет Аджу, Сувон 16499, Корея
Аннотация:
Фреймворк судебной экспертизы файловых систем Ext4 и XFS на основе TSK. В последнее время увеличилось количество устройств Интернета вещей (IoT), таких как колонки с искусственным интеллектом (AI) и умные часы, использующих файловую систему на базе Linux. Для эффективного управления генерируемыми данными и повышения скорости обработки функция улучшается путем обновления версии файловой системы или использования новых файловых систем. Однако в процессе обновления структура метаданных может быть изменена, что делает невозможным извлечение и восстановление удаленных файлов существующими коммерческими инструментами. В ходе реального судебного расследования, когда удаленные файлы становятся невосстановимыми, важные улики могут быть упущены. Соответственно, предлагается платформа для извлечения и восстановления файлов на основе набора для поиска (TSK) путем получения измененных метаданных в Ext4 journal checksum v3 и XFS v5. Сравнивая точность и скорость восстановления предлагаемого фреймворка с существующими коммерческими инструментами, мы приходим к выводу, что следует проводить длительные исследования файловых систем с точки зрения криминалистики.
Ключевые слова:
файловая система; цифровая криминалистика; восстановление файлов; цифровое расследование; Набор для поиска
Abstract:
Ext4 and XFS File System Forensic Framework Based on TSK. Recently, the number of Internet of Things (IoT) devices such as AI speakers and smart watches using Linux-based file systems has increased. To efficiently manage the generated data and improve processing speed, functionality is enhanced by updating the file system version or using new file systems. However, during the update process, the metadata structure may be changed, making it impossible to extract and recover deleted files with existing commercial tools. In actual forensic investigations, when deleted files become unrecoverable, important evidence may be missed. Accordingly, a platform for file extraction and recovery based on The Sleuth Kit (TSK) is proposed by obtaining modified metadata in Ext4 journal checksum v3 and XFS v5. By comparing the accuracy and recovery speed of the proposed framework with existing commercial tools using an experimental dataset, we conclude that long-term research on file systems from a forensic perspective should be conducted.
Keywords:
file system; digital forensics; file recovery; digital investigation; The Sleuth Kit

Введение

Файловая система Linux используется в различных операционных системах, таких как Debian, Red Hat, и Fedora, и использует Ext в качестве файловой системы по умолчанию. Кроме того, большинство смартфонов на базе Android и устройств Интернета вещей используют Ext в качестве базовой файловой системы. Недавно файловые системы Linux, такие как XFS, файловая система Open Zettabyte (OpenZFS) и Btrfs, были выпущены для больших файлов с улучшенной скоростью обработки и масштабируемостью.

Пользовательская и системная информация, следы использования, файлы и т.д. обычно хранятся в файловой системе, и данные могут быть удалены из-за непредвиденных ошибок, несчастных случаев или антиэкспертизы. Удаленные данные в файловой системе могут иметь значительную ценность с точки зрения цифровой криминалистики; следовательно, метод извлечения и восстановления файлов, хранящихся в файловой системе, активно изучался.

На основе существующих исследований файловых систем были разработаны коммерческие инструменты и открытые исходные тексты, которые могут использоваться в реальных исследованиях. Например, TSK, инструмент с открытым исходным кодом, разработанный в 2005 году, обеспечивает извлечение и восстановление файловых систем на основе метаданных. Однако TSK не может восстановить удаленные файлы, поскольку не предоставляет функцию восстановления с использованием области журнала файловой системы Ext4. Более того, он не поддерживает последнюю файловую систему (т.е. XFS); следовательно, извлечение и восстановление данных не могут быть выполнены.

Материалы этого документа заключаются в следующем:

Сопутствующая работа

Анализ структуры файловой системы Ext и метод восстановления

В 2012 году было проведено аналитическое исследование Ext4 с точки зрения цифровой криминалистики с использованием методов ведения журнала. Был проведен подробный анализ структуры Ext4, и был предложен метод восстановления, учитывающий совместимость с Ext3. Однако полное восстановление файлов трудно понять, поскольку метод анализирует только метаданные файловой системы Ext4 и не показывает объективных результатов, таких как скорость восстановления.

В 2014 году было предложено восстановление файла, которое можно использовать даже при удалении указателя блока для файловой системы Ext2/3. К сожалению, файловой системой по умолчанию последней версии ядра Linux является Ext4, которая использует метод extent вместо метода сопоставления блоков. Этот метод, который может восстанавливать удаленные файлы только в ограниченной среде, трудно применять, поскольку он не подходит для файловой системы Ext4.

В 2019 году в исследовании по восстановлению файлов для файловой системы Ext4 была проанализирована область журнала, проиндексированы метаданные, относящиеся к удаленным файлам, и предложен метод восстановления на их основе. Однако основные обновления, такие как область контрольной суммы, были внесены в область журнала файловой системы Ext4. В результате сформулированный инструмент не может быть применен к этой файловой системе в данный момент.

Анализ структуры файловой системы XFS и метод восстановления

С 2014 года проводятся судебные исследования на основе файловой системы XFS. Было проанализировано большинство структур файловой системы и предложены методы восстановления удаленных файлов. В 2014 году было проведено исследование структуры файловой системы XFS и восстановления удаленных файлов на основе файловой системы XFS v4. Для восстановления был найден индекс удаленного файла и использован адрес растрового блока или его сигнатура. Однако этот метод восстановления не может восстановить удаленный файл, если значение растрового блока было перезаписано.

Чтобы компенсировать вышеупомянутый случай, был рассмотрен метод восстановления файла с использованием области журнала файловой системы XFS. Восстановление удаленного файла достигается за счет использования функции, заключающейся в том, что информация, такая как размер и смещение удаленного файла, остается в области журнала файловой системы XFS. Однако это очень сложно применить, поскольку экспериментальная среда, которая может повлиять на метаданные файловой системы, не детализирована, а текущая версия XFS v5 новее, чем тестировалась.

Извлечение и восстановление файловой системы на основе TSK

TSK является открытым исходным кодом файловой системы судебно-инструмент, основанный на данных, методов экстракции на основе метаданных файловой системы Linux, предложенный Брайаном перевозчиком в 2005 году. Хотя этот инструмент предоставляет широкий спектр функций, ориентированных на различные файловые системы, у TSK есть ограничение: он сталкивается с проблемами при поддержке новейших файловых систем. Соответственно, используя преимущества проекта с открытым исходным кодом, криминалисты файловой системы провели исследования, направленные на преодоление ограничений TSK.

Предлагаемая платформа судебной экспертизы файловой системы

Инструменты извлечения и восстановления файлов, разработанные для определенных версий файловых систем, могут не работать нормально, если версия файловой системы была обновлена. Это связано с тем, что структура метаданных, используемая для извлечения и восстановления файлов, была изменена в результате обновления. В частности, TSK, хорошо известный инструмент судебной экспертизы файловой системы, не учитывает область журнала в файловой системе Ext4 и не имеет функции для восстановления удаленных файлов. В случае файловой системы XFS извлечение и восстановление файлов невозможно, поскольку она не поддерживается TSK.

В этом разделе представлен анализ журнала файловой системы Ext4 контрольная сумма v3 и файловой системы XFS v5 для выявления измененных структур метаданных и предложения платформы извлечения и восстановления файлов на основе TSK.

Рисунок 1. Платформа восстановления файлов файловой системы Ext4/XFS на основе TSK

Модуль судебной экспертизы файловой системы TSK на основе журнала Ext4

Файловые системы Ext4 используют область журнала. В общем случае, Ext4 использует транзакционный механизм, который записывает метаданные файловой системы Ext4 в область журнала для обеспечения целостности и восстановления. Таким образом, файл может быть восстановлен в его предыдущее состояние с помощью журнала.

Метаданные, используемые для извлечения файлов и восстановления файловой системы Ext4, включают индекс, запись каталога и журнал. В TSK, хотя анализ метаданных выполняется, анализ области журнала для восстановления удаленных данных не реализован. Соответственно, в этом разделе основное внимание уделяется восстановлению файлов с использованием области журнала.

Область журнала в основном выделяется в блоке с индексом 8, как можно проверить в суперблоке Ext4. Он состоит из журнала суперблока, блока дескрипторов журнала, блока данных журнала, блока отзыва, блока фиксации, и N транзакций. Каждая транзакция состоит из блока описания журнала, блока данных журнала и блока фиксации.

Рисунок 2. Структура суперблока журнала Ext4

Суперблок журнала содержит основную информацию о журнале и начальной позиции журнала транзакций. Он также включает в себя заголовок блока журнала и начинается с магического числа 0xC03B3998. Заголовок блока журнала находится в начале каждого блока журнала, и значение поля типа записи идентифицирует блок.

Рисунок 3. Структура блока описания журнала Ext4

Блок дескриптора состоит из массива тегов блока журнала, которые описывают местоположение блока данных. Тег блока журнала имеет различную структуру в зависимости от значения флага s_feature_incompat для суперблока журнала. Если для этого значения флага установлено значение JBD2_FEATURE_INCOMPAT_CSUM_V3 (0 × 10), тогда он в основном имеет ту же структуру, что и ext2fs_journ_dentry_V3; в противном случае он имеет ту же структуру, что и ext2fs_journ_dentry_V2.

Рисунок 4. Модуль восстановления файлов на основе журнала Ext4 с использованием TSK

Платформа восстановления удаленных файлов с использованием области журнала Ext4, предложенная в этом приложении, показана на рисунке 4. Сначала фреймворк находит значение поля s_feature_incompat в суперблоке журнала для восстановления удаленных файлов. Структура тега блока журнала в блоке дескриптора журнала меняется в зависимости от этого значения.

Затем блок данных журнала можно найти, проанализировав тег блока журнала всех блоков дескриптора журнала, существующих в области журнала, с номером блока удаленного индекса. Блок данных журнала хранит резервные копии индексных индексов удаленных данных, что делает возможным восстановление удаленных файлов.

Модуль судебной экспертизы файловой системы TSK на базе XFS v5

В последней версии Linux, которая поддерживается версией xfs-progs 3.2.0-alpha1, обновленной в июле 2014 года, файловая система XFS обычно создается как файловая система XFS v5 по умолчанию. В случае файловой системы XFS версии 5 применение метода извлечения и восстановления файлов, выполняемого в файловой системе XFS версии 4, затруднено, поскольку метаданные были изменены.

Основные метаданные, используемые для извлечения файла из файловой системы XFS, включают суперблок, индекс, записи каталога и экстенты данных.

Рисунок 5. Суперблочная структура файловой системы XFS

Суперблок содержит общую информацию о файловой системе; его структура представлена на рисунке 5. Суперблок хранит магический номер, размер блока, размер индекса, размер сектора и т.д. Файловой системы XFS. В файловой системе XFS версии 5 были добавлены поля для обеспечения целостности crc суперблока и uid метаданных.

Рисунок 6. Структура номеров индексов файловой системы XFS

В списке индексов хранится атрибутивная информация файла или каталога, сопоставленного к индексу и местоположению фактического файла. Он состоит из ядра inode и разветвления данных inode. В файловой системе XFS версии 5 были добавлены поля для обеспечения целостности, времени создания, исходного индекса и т.д., позволяющие более подробно отображать информацию о файле; размер файла был увеличен с 96 байт до 176 байт. Адрес списка индексов можно найти по номеру индекса, структура которого показана на рисунке 6.

Рисунок 7. Структура ядра Inode файловой системы XFS

Ядро inode содержит атрибутивную информацию файлов или каталогов сопоставлен с индексными индексами; его структура кратко представлена на рисунке 7. Структура разветвления данных inode, соответствующая значению поля di_format, отображается за ядром inode.

Рисунок 8. Структура записей каталога файловой системы XFS

Записи каталога содержат имя и смещение индекса файла в каталоге; его структура кратко представлена на рисунке 8. Если поле di_format индекса равно 1, тогда разветвление данных inode состоит из структуры записей каталога. Записи каталога создаются в виде краткой формы, блока, узла, листа или дерева B+ в соответствии с количеством файлов, включенных в каталог, и глубиной каталога.

Рисунок 9. Структура экстентов данных файловой системы XFS

Экстенты данных содержат данные, относящиеся к месту хранения файла; структура показана на рисунке 9. Если поле di_format ядра inode равно 2, то разветвление данных inode состоит из структуры экстентов данных.

Рисунок 10. Модуль извлечения файлов на базе XFS v5 с использованием TSK

Платформа извлечения файлов с использованием метаданных XFS v5, предлагаемая в этой статье, показана на рисунке 10. Предлагаемая платформа выполняет поиск общей информации файловой системы в суперблоке: номер корневого индексного индекса, размер сектора, размер блока, размер индексного индекса, InopblkLog и agblkLog. Корневой номер индекса используется для нахождения адреса первого индекса, а InoblkLog и agblkLog используются для вычисления группы распределения, блока, inode, а также для определения адреса фактического файла.

Сравнение с существующими исследованиями

Сравнение предложенной платформы извлечения и восстановления файлов на основе TSK в этой статье с существующими исследованиями, основанными на пяти критериях, показана таблица 1.

Таблица 1. Сравнение существующих исследований по извлечению и восстановлению файлов с предлагаемой платформой
Исследование Анализ метаданных Метод восстановления Проверка Инструмент Окружающая среда
Ext4 XFS Журнал
Фэрбенкс и др. [5] (2012, Ext4) Индекс, Экстент - Блок данных журнала Область журнала Не поддерживается Не поддерживается Ubuntu 10.04
Ли и др. [6] (2019, Ext4) Индекс - Блок данных журнала Область журнала Не поддерживается Не поддерживается Ubuntu 14.04
Ан и др. [7] (2014, XFS) - Суперблок, Ядро Inode, Разветвление данных Inode Область журнала Область журнала Не поддерживается Поддерживается Slackware
Предлагаемая структура (Ext4) Индекс - Суперблок журнала, Блок дескриптора журнала, Блок данных журнала Область журнала Поддерживается Поддерживается Ubuntu 20.04
Предлагаемая структура (XFS) - Суперблок, Ядро Inode, Разветвление данных Inode - Индекс Поддерживается Поддерживается Ubuntu 20.04

Эксперимент по проверке фреймворка и результаты

Среда валидационного эксперимента и набор данных

Для проверки инфраструктуры восстановления данных файловой системы Ext4 на основе TSK и извлечения файлов файловой системы XFS, предложенной в этой статье, были созданы наборы данных разделов объемом 1 и 100 ГБ для каждой файловой системы. Кроме того, для проверки функции извлечения и восстановления файловой системы был проведен эксперимент путем разделения изображений на изображения до и после удаления данных.

Таблица 2. Экспериментальная среда
Окружающая среда Версия
ОПЕРАЦИОННАЯ СИСТЕМА Ubuntu 20.04 (Bionic Beaver)
TSK 4.6.4
xfsprogs 5.3.0
e2fsprogs 1.45.5
Таблица 3. Количество файлов/общее количество файлов по типам файлов, существующих в наборе данных, используемом в эксперименте
Набор данных PDF JPG DOCX PPTX
1 GB_before 25/100 25/100 25/100 25/100
1 GB_after 13/52 13/52 13/52 13/52
100 GB_before 25/100 25/100 25/100 25/100
100 GB_after 13/52 13/52 13/52 13/52

Результат проверки

Таблицы 4 и 5 перечислите результаты экспериментов для наборов данных Ext4 и XFS на основе скорости восстановления и точности в качестве показателей успешности восстановления и экстракции. Коэффициент восстановления относится к проценту от общего количества существующих файлов в наборе данных и количеству удаленных файлов, которые были восстановлены. Точность относится к проценту от точного количества существующих файлов и количества удаленных файлов.

Таблица 4. Экспериментальный результат, основанный на скорости восстановления и точности для Ext4
Набор данных TSK Предлагаемая платформа UFS Explorer R-Studio
REC ACY REC ACY REC ACY REC ACY
1GB_before 100 100 100 100 100 100 100 100
1GB_after 100 100 100 100 100 100 100 100
100GB_before 79 79 85 77 56 56 100 52
100GB_after 53 50 100 100 100 100 99 100
Таблица 5. Экспериментальный результат, основанный на скорости восстановления и точности для XFS-v5
Набор данных TSK Предлагаемая структура UFS Explorer R-Studio
REC ACY REC ACY REC ACY REC ACY
1GB_before - - 100 100 0* 94 0** 0**
1GB_after - - 100 100 0* 94 0** 0**
100GB_before - - 52 52 0* 97 0** 0**
100GB_after - - 100 100 0* 91 0** 0**

* значение хэша не совпадает. ** значение хэша и имя файла не совпадают.

В файловой системе Ext4 бывают случаи, когда резервное копирование метаданных не выполняется в области журнала; следовательно, скорость восстановления составляет 85% и 100% для разделов объемом 1 ГБ и 100 ГБ соответственно. Однако точность имеет тенденцию к снижению, поскольку также существуют случаи, когда область, в которой хранятся фактические данные, перезаписывается или созданный в резервной копии индекс не является самым последним файлом. В случае файловой системы XFS скорость восстановления разделов объемом 1 ГБ и 100 ГБ составила 52%. Когда файл удаляется из файловой системы XFS, все метаданные, относящиеся к файлу, инициализируются значением 0, что делает восстановление невозможным.

Обсуждение

В этом исследовании мы проанализировали изменения метаданных в Ext4 journal checksum v3 и XFS v5. На основе анализа, мы обнаружили, что структура блока дескрипторов в файловой системе Ext4 была изменена в соответствии со значением поля s_feature_incompat суперблока журнала в области журнала. Далее мы обнаружили, что в XFS v5 добавлены новые поля для гарантии целостности (например, uuid и crc) в структурах метаданных, таких как индекс и суперблок.

Используя это, предлагается платформа извлечения и восстановления файлов на основе TSK. Набор данных использовался для сравнения скорости восстановления и точности предлагаемой платформы с существующими коммерческими инструментами. Результаты эксперимента показали, что функция восстановления с использованием области журнала файловой системы Ext4 не была реализована в исходной TSK, и скорость восстановления и точность не могли быть измерены, поскольку файловая система XFS не была поддерживаемой файловой системой.

Что касается предлагаемого фреймворка, восстановление файлов выполнялось на основе метаданных файловой системы, а скорость и точность восстановления были относительно высокими по сравнению с коммерческими инструментами. Однако в случае с файловой системой XFS предложенный метод не учитывал индекс Btree и область журнала. Таким образом, восстановить файлы размером в 100 ГБ было невозможно. Мы намерены исправить это и рассмотреть возможность реализации функции восстановления с использованием области журнала файловой системы Ext4, а также применения функции извлечения и восстановления файлов файловой системы XFS к открытому исходному коду TSK.

Заключение

Файловые системы постоянно обновляются, и осуществляемые значительные изменения метаданных могут повлиять на успех или неудачу цифровых судебных расследований. Соответственно, была предложена методика анализа изменения метаданных в файловых системах Ext4 и XFS в соответствии с этой необходимостью, и был разработан фреймворк на основе TSK. Кроме того, мы сравнили его скорость восстановления и точность с существующими коммерческими инструментами и убедились, что он более эффективен. В частности, путем применения метода извлечения файлов файловой системы XFS к предлагаемому фреймворку было доказано, что неподдерживаемые файловые системы могут быть расширены.

Таким образом, было подтверждено, что это может быть полезно в судебных расследованиях файловой системы, представляя методологию извлечения файлов и восстановления с помощью анализа метаданных файловой системы до и после удаления данных. Таким образом, в будущих исследованиях судебно-медицинская экспертиза, нацеленная на среду файловой системы, применяется к реальным системам видеонаблюдения и серверам, и метаданные должны быть выполнены методологии анализа и восстановления для Btrfs и OpenZFS. Кроме того, следует рассмотреть возможность исследования интегрированной файловой системы на базе TSK, которая может быть использована настоящими следователями.

Список литературы

  1. Джо, У.; Шин, Ю.; Ким, Х.; Ю, Д.; Ким, Д.; Кан, К.; Джин, Дж.; О, Дж.; На, Б.; Шон, Т. Цифровые криминалистические практики и методологии для экосистем носителей искусственного интеллекта. Цифра. Исследование. 2019, 29, S80-S93.
  2. Шин, Ю.; Ким, Х.; Ким, С.; Ю, Д.; Джо, В.; Шон, Т. Криминалистика зашифрованного трафика на основе внедрения сертификатов в экосистему искусственного интеллекта. Криминалистика. Int. Цифра. Исследование. 2020, 33, 301010.
  3. Ким Д.; Парк Дж.; Ли К.-Г.; Ли С. Судебно-медицинский анализ телефона Android с использованием журнала файловой системы Ext4. В будущей информации Технологии, приложения и сервис; Springer: Дордрехт, Нидерланды, 2012; стр. 435-446.
  4. Ли С.; Шон Т. Улучшен метод восстановления удаленных файлов для файловой системы Ext2 / 3. Дж. Суперкомпьютер. 2014, 70, 20-30.
  5. Фэрбенкс К. Анализ Ext4 для цифровой криминалистики. Цифра. Расследование. 2012, 9, S118-S130.
  6. Ли С.; Джо У.; Эо С.; Шон Т. ExtSFR: масштабируемая платформа восстановления файлов на основе файловой системы Ext. Multimed. Приложение Tools. 2019, 79, 16093-16111.
  7. Ан Дж.-Х.; Парк Дж.-Х.; Ли С.-Дж. Исследование методов восстановления удаленных файлов в файловой системе XFS. Безопасность. Криптол. 2014, 24, 885-896.
  8. Пак Ю.; Чанг Х.; Шон Т. Исследование данных на основе метаданных файловой системы XFS. Мультимедиа. Приложение Tools. 2015, 75, 14721-14743.
  9. Майоре, С.А.; Ли, К.; Шон, Т. Файловая система XFS и инструменты для восстановления файлов. Int. J. Умный дом 2013, 7, 193-198.
  10. Кэрриер, Б. Судебно-медицинский анализ файловой системы; Эддисон-Уэсли Профессионал: Хобокен, Нью-Джерси, США, 2005.
  11. Кэрриер, Б. Набор для поиска. 2020. Доступно онлайн: https://www.sleuthkit.org/sleuthkit/ (дата обращения 27 июля 2021 года).
  12. Хилгерт Дж.-Н.; Ламберц М.; Плохманн Д. Расширение набора для поиска и лежащей в его основе модели файловой системы с объединенным хранилищем судебный анализ. Цифра. Расследование. 2017, 22, S76-S85.
  13. Хилгерт Дж.-Н.; Ламберц М.; Янг С. Судебный анализ конфигураций BTRFS нескольких устройств с использованием набора Sleuth Kit. Цифра. Исследование. 2018, 26, S21-S29.
  14. Девальд, А.; Зоннляйтнер, С. AFEIC: Расширенное криминалистическое вырезание индекса Ext4. Цифра. Расследование. 2017, 20, S83-S91.
  15. Ван З. Исследование режима хранения данных и метода восстановления на основе файловой системы XFS. В материалах 7-й IEEE 2016 года Международная конференция по программной инженерии и сервисным наукам (ICSESS), Пекин, Китай, 26-28 августа 2016 г.; IEEE: Пискатауэй, Нью-Джерси, США, 2016; стр. 369-372.
  16. Цо, Теодор. E2fsprogs: Утилиты файловой системы Ext2 / 3 / 4. 2010. Доступно онлайн: http://e2fsprogs.sourceforge.net/ (дата обращения: 28 июля 2021 года).