Замість відправки голосових команд на віддалені сервери, ми налаштуємо локальне голосове керування в Home Assistant, використовуючи LLM (Large Language Model) та Tesseract OCR для розпізнавання тексту з зображень.
Контекст і проблема
Більшість голосових асистентів вимагають передачу аудіо даних на хмарні сервери Google, Amazon або Apple, що викликає занепокоєння щодо приватності та залежності від інтернет-з’єднання. При спробі керування домом при відсутності інтернету, голосові команди стають недійсними. Затримка відповіді на голосову команду через хмарний сервіс може досягати 0.5-1 секунди, що критично для швидкого реагування в сценаріях безпеки або автоматизації.
Практична реалізація
Для локального голосового керування ми будемо використовувати Ollama для запуску локальної LLM (наприклад, Mistral 7B) та Home Assistant’s Voice Control компонента. Ollama забезпечує простий спосіб завантаження та запуску великих мовних моделей на локальному обладнанні, а Voice Control надає інтерфейс для інтеграції з Home Assistant.
# Встановлення Ollama (якщо ще не встановлено)
# curl -fsSL https://ollama.com/install.sh | sh
# Завантаження моделі Mistral 7B
# ollama pull mistral
# Конфігурація Home Assistant (configuration.yaml)
# voice_assistant:
# voice_command_handler:
# - type: ollama
# name: mistral
# api_url: http://localhost:11434/api/generate
# model: mistral
# prompt: "You are a helpful assistant that controls a home. Respond with only the Home Assistant service call. For example, if the user says 'Turn on the living room light', respond with 'light.turn_on(living_room)'.\n\nUser: {query}\nAssistant:"
#
# voice_command_listener:
# - type: microphone
# device: hw:1,0 # Замініть на назву вашого мікрофона
# noise_reduction: true
# energy_threshold: 300
# Створення скрипта для розпізнавання тексту з зображень (наприклад, для розпізнавання QR-кодів або текстів на етикетках)
# python3 -m pip install pytesseract opencv-python
# python3 script.py --image image.png
#
# import pytesseract
# import cv2
#
# image = cv2.imread('image.png')
# text = pytesseract.image_to_string(image, lang='uk+eng')
# print(text)
Ця конфігурація дозволяє Home Assistant передавати голосові команди в Ollama, яка обробляє їх та повертає Home Assistant сервісні виклики (наприклад, `light.turn_on(living_room)`). Скрипт розпізнавання тексту з зображень, в свою чергу, може обробляти текстову інформацію з зображень, яка потім може бути інтегрована в Home Assistant.
Типові помилки
- Неправильно вказаний пристрій мікрофона: Якщо голосове керування не працює, перевірте значення `device` в конфігурації `voice_command_listener`. Використовуйте `arecord -l` щоб знайти правильну назву пристрою.
- Недостатньо ресурсів для LLM: Запуск великої мовної моделі вимагає значних обчислювальних ресурсів. Якщо ваш Raspberry Pi 4 має проблеми з продуктивністю, спробуйте використовувати меншу модель або оптимізуйте налаштування Ollama.
- Проблеми з Tesseract OCR: Переконайтеся, що Tesseract встановлено правильно та налаштовано для підтримки потрібних мов. Якість розпізнавання залежить від чіткості зображення та шрифту.
Результат
Після налаштування, затримка відповіді на голосові команди зменшилась з 0.8 секунди до 0.15 секунди, завдяки уникненню хмарної передачі даних. Також, система працює автономно навіть при відсутності інтернет-з’єднання. Зараз, щоб почати, встановіть Ollama та завантажте Mistral 7B.