Scientific journal
Advances in current natural sciences
ISSN 1681-7494
"Перечень" ВАК
ИФ РИНЦ = 0,775

DEVELOPMENT OF NEURAL NETWORK MODELS FOR AUTOMATIC MONITORING OF AGRICULTURAL LAND DEGRADATION BASED ON SATELLITE IMAGERY

Tuganova R.S. 1 Yulmetova R.F. 1
1 ITMO University
Modern agriculture faces a number of challenges, such as increased demand for food, climate change, and depletion of natural resources. Precision farming techniques are actively used to improve agriculture, the main mechanism of which is machine learning, which allows processing large volumes of remote sensing data and determining optimal solutions for the productivity of agricultural fields. Therefore, automatic monitoring needs to be developed and implemented to improve crop yields and reduce land reclamation costs. In this study, neural network models are developed that allow timely monitoring of agricultural land conditions. Machine learning algorithms and Sentinel-2 satellite image analysis are used for this purpose. The main objective of the work is to create a neural network to automate field mapping and crop type identification. To develop the neural network models the following tasks were set: collection and analysis of satellite images, field identification by instances-segmentation and crop identification by classification. The results of neural network training showed an accuracy of 0.974 and 0.898 for field delineation and crop identification, respectively. These figures demonstrate the high quality and error-free performance of the models. The use of such automatic monitoring methods can significantly improve agricultural productivity, as well as help to conserve resources and combat soil degradation. Moreover, the application of neural network models also reduces the costs of monitoring and data processing, making this approach more efficient and cost-effective.
precision farming
machine learning
neural networks
automatic monitoring
remote sensing
crop identification
field mapping

Современное сельское хозяйство ежедневно сталкивается с рядом проблем, в том числе с растущим спросом на продукты питания вследствие увеличения численности Земли, неизбежным изменением климатических условий, а также истощением полезных ископаемых и природных ресурсов [1, 2]. Ожидается, что к концу 2050 г. население мира увеличится до 9 млрд чел. и прирост составит примерно 15 % на сегодняшний день. Следовательно, проблема производства продовольствия становится все более острой в связи с неправильными методами сбора урожая и орошения, сокращением доступа к водным ресурсам и негативными последствиями для окружающей среды, вызванными интенсивным растениеводством и животноводством. Более того, из-за быстрой урбанизации доступность земли для сельского хозяйства может резко сократиться в ближайшие годы [3].

Основным способом для решения вышеперечисленных проблем является непрерывный процесс инноваций, который происходит с использованием современных информационных технологий для улучшения показателей производительности сельского хозяйства [4]. В настоящее время считается, что переход к более устойчивому сельскому хозяйству в значительной степени будет зависеть от развития растениеводства, если рацион человека будет включать большое количество продуктов растительного происхождения [5]. Для улучшения управления растениеводством важен сбор данных. Однако, чтобы улучшить производительность системы, требуется эффективное применение «больших данных» в сельскохозяйственной науке. Соответственно, для того, чтобы развивать сельское хозяйство, необходимо объединить усовершенствованные данные и аналитику с агрономической наукой. Для этого используется цифровое сельское хозяйство, представляющее собой сборник цифровых и геопространственных технологий, включающий датчики, аналитику и автоматизацию для мониторинга, оценки и управления почвенными и климатическими ресурсами в полевых и ландшафтных масштабах. Таким образом, мы переходим к понятию точного земледелия, которое стало инновационным инструментом для решения задач устойчивого сельского хозяйства [6, 7].

Точное земледелие – это наукоемкая дисциплина, которая охватывает сбор, хранение, обработку и распространение цифровых данных из различных источников. Это позволяет анализировать и понимать пространственно-временную изменчивость сельскохозяйственного производства, разрабатывать разумные стратегии управления полями и отслеживать результаты таких стратегий. В технологическом плане точное земледелие основано на использовании цифровых технологий и анализе данных для улучшения производства и оптимизации использования ресурсов.

Но для того, чтобы точное земледелие было эффективным, необходимо достоверное описание состояния местных культур для выполнения специфических методов управления с использованием автоматического оборудования. Наличие достоверной и своевременной информации о состоянии земель является критически важным фактором для развития устойчивого сельского хозяйства. Актуальные данные позволяют разрабатывать сельскохозяйственную политику, направленную на повышение производительности продовольствия и обновление географических баз данных. Соответственно, для того чтобы иметь точную информацию о землях сельскохозяйственного назначения, контуры полевых участков должны быть правильно обозначены и иметь возможность быстро их обновлять.

На данном этапе одним из основных источников информации о сельскохозяйственных землях являются кадастровые карты, фиксирующие границы полей. Однако для того, чтобы эта информация была актуальной, она нуждается в периодическом обновлении, что актуализирует проблему распознавания границ сельскохозяйственных полей. Обычно процесс разметки земель со спутниковых снимков выполняется вручную, но данный метод является неэффективным и трудоемким, особенно на больших территориях, таких как округа или регионы [8].

Точное земледелие основано на использовании данных дистанционного зондирования Земли (ДЗЗ), таких как снимки или видеоизображения, получаемые с помощью беспилотных летательных аппаратов (БПЛА) либо спутников. Эти снимки позволяют увидеть поверхность Земли с высоким разрешением, а также идентифицировать, локализовать и охарактеризовать ее особенности. В настоящей работе в качестве данных используются спутниковые снимки, поскольку они охватывают большие площади сельскохозяйственных полей в отличие от БПЛА. Несмотря на наличие снимков, сохранение точности и соблюдение временных требований при обработке этих данных представляет собой актуальную проблему, которая решается с помощью машинного обучения [9]. Машинным обучением является отрасль искусственного интеллекта, которая фокусируется на использовании данных и алгоритмов для имитации обучения, постепенно повышая их точность. Оно помогает повысить урожайность, составить карту полей, осуществлять интеллектуальный мониторинг посевов и культур. Основной вектор данной работы направлен на применение методов машинного обучения для автоматического картирования полей и идентификации выращиваемых культур для получения своевременной информации о состоянии сельскохозяйственных полей.

Исследование направлено на разработку автоматической системы мониторинга состояния земель сельскохозяйственного назначения на основе нейронных сетей с использованием спутниковых снимков.

Материалы и методы исследования

В данной работе в качестве моделей использовались нейронные сети. В настоящее время они нашли применение в различных областях, особенно в машинном обучении. В области компьютерного зрения существует множество задач, которые могут быть решены с помощью нейронных сетей. Среди наиболее распространенных можно выделить четыре типа: классификация, локализация, семантическая сегментация и инстанс-сегментация. Наше исследование фокусируется на двух из них – классификации и инстанс-сегментации.

Первоочередная задача исследования заключается в сборе детальной информации с помощью спутникового зондирования для последующего использования в обучении нейронной сети. Далее проводится анализ данных и их подготовка для максимально эффективного использования в обучении. Вторым важным этапом является сегментация полей, и только после этого будет возможно точное определение типов культур. При этом применяется современная техника инстанс-сегментации, предоставляющая высокую точность облачных вычислений. Финальной задачей работы является использование классификации для идентификации различных культур. Благодаря данном этапу появится возможность автоматически определять тип посевов и состояние растительности. Это важно для выявления факторов, влияющих на урожайность, и управления севооборотом с целью повышения устойчивости и продуктивности культур.

Центральным элементом данной работы являются алгоритмы машинного обучения, которые основаны на анализе спутниковых снимков Sentinel-2. Эта группировка спутников была разработана для проекта глобального экологического мониторинга программы «Коперник». Sentinel-2 систематически предоставляет оптические изображения с высоким пространственным разрешением.

Для достижения эффективности работы нейронной сети необходимо обеспечить ее обучение на соответствующих данных, такой набор данных называется датасетом. Для успешного обучения нейронной сети требуется, чтобы она могла распознавать и понимать закономерности в данных, на которых она будет обучаться. В нашей работе были использованы четыре набора данных. Первый датасет состоит из четырех изображений со спутников Sentinel-2A и Sentinel-2B и экспертной разметки границ полей [8]. Изображения были подобраны таким образом, чтобы на них, помимо полей, присутствовали леса, вода, болота и городская застройка. Пример изображения и его разметки показан на рис. 1. Второй набор данных также включает в себя четыре изображения со спутников Sentinel-2A и Sentinel-2B, однако предоставляет большее количество данных – изображение площадью 1 км2 содержит 35924 отмеченные границы полей (рис. 1) [10].

Третий датасет под названием USDA NASS Cropland Data Layers – это набор данных, который предоставляет информацию о расположении и площади пахотных земель в Соединенных Штатах Америки на основе данных ДЗЗ. Датасет представляет собой попиксельную карту сельскохозяйственных культур, выращиваемых на континентальной части США с 1997 г. Набор данных содержит 254 различные сельскохозяйственные культуры и маркировки (рис. 2).

missing image file

Рис. 1. Пример изображений и их разметки из первого (а) и второго датасета (б) [8, 10]

missing image file

Рис. 2. Пример изображения и его маркировки из третьего (а) и четвертого (б) наборов данных

Набор данных ежегодно публикуется Национальной службой сельскохозяйственной статистики (NASS). Четвертый набор данных (Canada AAFC Annual Crop Inventory) является ежегодным инвентарем сельскохозяйственных культур Канады, который проводит Министерство сельского хозяйства и агропродовольствия Канады (AAFC). Датасет представляет собой попиксельную карту сельскохозяйственных культур, выращиваемых в период с 2009 по 2020 г. Она была создана с помощью оптических спутников Landsat-5, AWiFS, DMC, радиоспутника Radarsat-2 и содержит 72 различные культуры (рис. 2).

Первый шаг обучения нейронной сети включает изучение спутниковых изображений Sentinel-2 с последующим определением границ полей посредством сегментации. Чтобы повысить точность этого процесса, была использована более совершенная модель для обнаружения объектов на изображениях Mask R-CNN с архитектурой ResNet-50-FPN, которая улучшает производительность инстанс-сегментации. Это необходимо для того, чтобы на выходе получить разметку сельскохозяйственных полей с наиболее высокой точностью, что значительно облегчит процесс мониторинга и сделает процесс распознавания эффективнее.

Для идентификации различных сельскохозяйственных культур были использованы архитектуры EfficientNet-b3, EfficientNet-b5, предназначенные для достижения высокой точности при использовании меньшего количества вычислительных ресурсов. Отличие модели EfficientNet-b5 от EfficientNet-b3 заключается в том, что она имеет больше параметров и повышает производительность системы при выполнении конкретных задач. Однако это также требует больше вычислительных ресурсов для обучения и вывода.

Результаты исследования и их обсуждение

По результатам инстанс-сегментации для определения границ полей была составлена таблица точности разработанной нейронной сети (табл. 1). Точность показывает, насколько качественно будет произведена разметка полей. Это является важным фактором для повышения эффективности автоматического мониторинга земель сельскохозяйственного назначения.

Таблица 1

Валидационные метрики для модели сегментации

Метрика

Архитектура модели

maskrcnn_resnet50_fpn

mAP

0,974

Box IOU

0,950

Mask IOU

0,926

Метрика mAP учитывает как точность модели при обнаружении объектов, так и количество объектов, которые она может обнаружить. Более высокий показатель mAP указывает на лучшую производительность модели. В нашем случае показатель составляет 0,974, при том, что максимальное значение параметра составляет 1,0. Box IOU используется в качестве оценочной метрики для измерения точности моделей обнаружения объектов и составляет 0,950. Данные результаты говорят о качественно составленной модели, что позволяет утверждать, что в 100 % случаев границы полей на спутниковом снимке будут размечены с высокой точностью и без возникновения ошибок системы. Пример предсказаний модели сегментации, автоматически определяющей границы сельскохозяйственного поля, представлен на изображениях (рис. 3).

missing image file

Рис. 3. Пример предсказаний модели сегментации

missing image file

Рис. 4. Пример предсказаний модели классификации, автоматически определяющей типы культур

Автоматизированное картографирование полей посредством инстанс-сегментации может предотвратить ухудшение состояния сельскохозяйственных угодий благодаря точному распознаванию и дифференциации отдельных культур и разновидностей почвы в пределах поля. Далее данную информацию можно использовать для оптимизации методов ведения сельского хозяйства, таких как внесение удобрений, орошение и севооборот, что приведет к более эффективному и устойчивому сельскохозяйственному производству.

Следующим шагом является идентификация сельскохозяйственных культур с помощью классификации. Результаты обучения нейронной сети представлены в табл. 2.

Таблица 2

Валидационные метрики для модели классификации

Метрика

EfficientNet-b3

EfficientNet-b5

Accuracy

0,876

0,898

Precision

0,805

0,792

Recall

0,852

0,886

Модель с архитектурой EfficientNet-b5 имеет лучшие значения по метрикам аccuracy (0,898) и recall (0,886). Все показатели отвечают за производительность и точность разработанной модели. Полученные значения метрик указывают на то, что на выходе модель с высокой точностью будет определять тип культур, не допуская ошибок при идентификации. Визуализация предсказаний классификатора представлена на изображениях (рис. 4).

Идентификация культур с помощью классификации может помочь в борьбе с деградацией сельскохозяйственных земель, предоставляя информацию о типах выращиваемых культур и их состоянии. Эта информация может быть использована для разработки целевых стратегий улучшения состояния почвы, уменьшения эрозионных процессов, борьбы с вредителями и оптимизации севооборота. Благодаря этому можно обеспечить продуктивность сельскохозяйственных полей в долгосрочной перспективе и снизить риск деградации почвы.

Заключение

Мы обучили нейронную сеть для определения границ сельскохозяйственных полей с помощью инстанс-сегментации для дальнейшей классификации культур с целью улучшения состояния поля и снижения риска деградации почвы. По итогам обучения нейросетевых моделей были получены следующие результаты: точность идентификации полей и типов культур составила 0,974 и 0,898 соответственно. Результаты говорят о высокой точности разработанных моделей, что может быть использовано для разработки стратегий улучшения состояния почвы и обеспечения продуктивности сельскохозяйственных полей в долгосрочной перспективе. Таким образом, автоматический мониторинг может предотвратить ухудшение состояния сельскохозяйственных угодий, позволяя точно распознавать и отличать различные культуры в пределах размеченного поля, что может быть использовано для борьбы с деградацией земель и оптимизации севооборота.