ОБРОБКА ГІГАНТСЬКИХ JSON ФАЙЛІВ: УНИКНЕННЯ ПЕРЕПОВНЕННЯ ПАМ’ЯТІ

Обробка великих JSON файлів є звичною проблемою для розробників, особливо при парсингу даних з API або веб-сайтів. Класичний підхід, коли весь файл завантажується в пам’ять для обробки, швидко стає неприйнятним при розмірах файлів, що перевищують доступну оперативну пам’ять. Це призводить до помилок `MemoryError` та значно уповільнює роботу програми. У цій статті ми розглянемо методи обробки таких файлів, уникаючи переповнення пам’яті.

Практична реалізація та приклад коду

Ось як виглядає правильне рішення: використання ітераторів та бібліотеки `ijson` для покрокової обробки JSON файлу.

import ijson
import json

def process_large_json(file_path, callback):
    """
    Обробляє великий JSON файл, використовуючи ijson для ітеративного парсингу.

    Args:
        file_path: Шлях до JSON файлу.
        callback: Функція, яка буде викликана для кожного елемента JSON.
    """
    try:
        with open(file_path, 'r', encoding='utf-8') as f:
            for event, value in ijson.items(f, 'item'): # 'item' - префікс для обходу елементів масиву
                callback(event, value)
    except FileNotFoundError:
        print(f"Помилка: Файл не знайдено: {file_path}")
    except Exception as e:
        print(f"Помилка обробки JSON: {e}")

# Приклад використання:
def my_callback(event, value):
    """
    Приклад функції обробки елементів JSON.
    """
    if event == 'number':
        print(f"Число: {value}")
    elif event == 'string':
        print(f"Текст: {value}")
    elif event == 'object':
        print(f"Об'єкт: {value}")

# Замість 'large_data.json' вкажіть шлях до вашого файлу
process_large_json('large_data.json', my_callback)

Для тестування створіть файл `large_data.json` з великим масивом об’єктів, наприклад:

[
  {"id": 1, "name": "Item 1"},
  {"id": 2, "name": "Item 2"},
  {"id": 3, "name": "Item 3"},
  {"id": 4, "name": "Item 4"},
  {"id": 5, "name": "Item 5"}
]

Розбір логіки та підводні камені

• `ijson` vs. `json`: Стандартна бібліотека `json` завантажує весь файл у пам’ять. `ijson` використовує ітератори, що дозволяє обробляти файл частинами. Це ключова відмінність.
• Префікс обходу (`’item’`): Параметр `’item’` в `ijson.items()` вказує, які елементи масиву JSON потрібно обробляти. Він залежить від структури JSON. Якщо ваш JSON файл має іншу структуру, вам потрібно буде скоригувати цей префікс. Наприклад, якщо JSON файл має структуру `{“data”: […]}` тоді потрібно буде використовувати `ijson.items(f, ‘data.item’)`.
• Функція `callback`:** Функція `callback` виконується для кожного елемента JSON. Вона дозволяє вам виконувати будь-які необхідні операції з даними (наприклад, запис у базу даних, перетворення, фільтрація). Тип `event` показує тип елемента (number, string, object, array, etc.), що може бути корисним для обробки різних типів даних.
• Обробка помилок:** Не забувайте про обробку винятків, таких як `FileNotFoundError` та загальних `Exception`, щоб зробити ваш код більш надійним.
• Кодування файлу:** Вказуйте кодування файлу (`encoding=’utf-8’`) при відкритті файлу, щоб уникнути проблем з символами.
• Інтеграція з n8n:** Цей підхід легко інтегрується з n8n. Ви можете використовувати вузол “HTTP Request” для завантаження JSON файлу (якщо він на віддаленому сервері) або використовувати вузол “File” для локального файлу. Потім використовуйте вузол “Function” для обробки даних за допомогою Python скрипта, який використовує `ijson`.
• Альтернативні підходи: Існують інші бібліотеки, такі як `ndjson` для обробки файлів у форматі newline-delimited JSON (NDJSON), які також можуть бути корисними для великих обсягів даних.