FireRedTTS3 — багатомовний TTS (24 мови, вкл. українську)

Локальний сервіс синтезу мовлення на FireRedTTS3 з HTTP-API і MCP-сервером. Третій у ряду поруч із ukrainian-tts (StyleTTS2, :8000) і HolosTTS (:8010); цей — на :8020.

Модель вийшла 13.08.2026, ліцензія Apache 2.0, ваги публічні.

Чим відрізняється від сусідів

	ukrainian-tts	HolosTTS	firered-tts
Мови	українська	українська	24 + 21 діалект
Пресетні голоси	так	27	немає взагалі
Клонування	ні	так (вектор стилю)	так (zero-shot)
Потрібен транскрипт референсу	—	ні	так
Дизайн голосу з опису	ні	ні	так (instruct)
Редагування запису	ні	ні	так (instruct)
Розмір у пам'яті	~1 ГБ	~4 ГБ	~7.7 ГБ ваг, ~13 ГБ слід процесу
Наголоси (укр.)	словник + ByT5	словник + ByT5	немає

Три речі, які варто розуміти до того, як почнеш:

1. Пресетних голосів немає. Порожня бібліотека = синтезувати нічим. Спершу заводиш голос із будь-якого запису мовлення (add_firered_voice), далі вживаєш його за іменем. Модель клонує zero-shot прямо під час синтезу.

2. Потрібен транскрипт референсу. Моделі мало самого аудіо — треба ще текст того, що в ньому звучить. Не передаси — розпізнаємо Whisper'ом, але свій текст завжди точніший.

3. Наголосів немає. Ні словника, ні ByT5-фолбека, ні ручного Му+дрого, як у сусідів. Наголоси модель ставить сама з контексту, і на омографах (за́мок/замо́к) вона їх плутатиме. Це принципове обмеження багатомовної моделі — якщо наголоси критичні, HolosTTS досі кращий вибір для чистої української.

Встановлення

cd /Users/admin/Projects/firered-tts
./setup.sh                    # venv + залежності + апстрім + патч + ваги

setup.sh робить чотири речі:

1. .venv з Python 3.11, torch 2.8.0 під MPS/CPU
2. клонує апстрім у vendor/FireRedTTS3 на запиненому комміті 00570ad
3. патчить його під Apple Silicon — див. нижче
4. тягне ваги base+redae (~11.4 ГБ) у pretrained_models/

Ваги окремо (довго — краще detached):

nohup ./download-weights.sh base > data/download.log 2>&1 &
./download-weights.sh instruct   # +7.9 ГБ, для дизайну голосу й редагування

Навіщо патч

Апстрім написаний виключно під NVIDIA і на Mac не запускається взагалі:

Місце	Було	Стало
llm/fireredtts3_base.py:49	attn_implementation: flash_attention_2	sdpa
redae/redae.py:37,122	те саме, ×2	sdpa
base.py:143, instruct.py:142, redae.py:470	@torch.autocast(device_type='cuda')	динамічний пристрій
base.py:267, instruct.py:319	self.device = torch.device('cuda')	з FIRERED_DEVICE
utils/utils.py:8,9	torch.cuda.manual_seed без перевірки	під if cuda.is_available()

flash_attn — CUDA-only, на Metal не збирається в принципі; sdpa працює скрізь, у т.ч. на NVIDIA, тож патч нічого не ламає.

Десяте місце в патчі стоїть окремо: base.py:317 — це не портативність, а швидкодія (кеш кодування референсу, див. «Швидкість» нижче).

src/patch_upstream.py ідемпотентний і падає, якщо заміна не влучила — якщо апстрім змінився, ти дізнаєшся про це одразу, а не CUDA-помилкою на першому синтезі.

Запуск

./run.sh                      # http://localhost:8020

Окремо запускати не обов'язково — MCP-сервер підніме бекенд сам. Бекенд вимикається після 1800с простою (IDLE_SHUTDOWN_SECONDS) і звільняє пам'ять.

run.sh тримає лок на порт (data/.start-<порт>.lock): другий запуск при живому сервісі просто вийде з кодом 0. Це навмисно — autostart смикають кілька клієнтів одразу, а /health мовчить усі ~90с завантаження.

HTTP API

Метод	Ендпойнт	Що робить
GET	/health	статус, пристрій, яка модель у пам'яті
GET	/voices	імена голосів, як у сусідів (фільтри gender, language; full=1 → з метаданими)
GET	/languages	24 мови + 21 діалект
POST	/clone_voice	референс + транскрипт → голос
DELETE	/voices/{name}	видалити голос (оригінал запису не чіпається)
POST	/tts	текст → аудіо-байти у відповіді
POST	/synthesize	текст → файл у DATA_DIR, JSON зі шляхом
POST	/voice_design	опис голосу → аудіо (instruct)
POST	/edit	правка запису: semantic | acoustic (instruct)

# 1) завести голос
curl -X POST localhost:8020/clone_voice -H 'Content-Type: application/json' -d '{
  "audio": "prompts/зразок.wav", "name": "Богдан",
  "prompt_text": "Це зразок мого голосу для клонування.",
  "language": "Ukrainian", "gender": "male"}'

# 2) озвучити
curl -X POST localhost:8020/tts -H 'Content-Type: application/json' -d '{
  "text": "Сьогодні чудова погода, ходімо гуляти в парк.",
  "voice": "Богдан", "format": "mp3"}' -o out.mp3

# Або one-shot — без реєстрації голосу: передай reference_audio замість voice,
# транскрипт зробить Whisper (перший виклик +~30с, далі кешується)
curl -X POST localhost:8020/tts -H 'Content-Type: application/json' -d '{
  "text": "Сьогодні чудова погода.", "reference_audio": "prompts/зразок.mp3",
  "format": "mp3"}' -o out.mp3

MCP

Див. mcp_server/README.md. Коротко:

claude mcp add firered-tts -- /Users/admin/Projects/firered-tts/.venv/bin/python \
  /Users/admin/Projects/firered-tts/mcp_server/server.py

Інструменти: firered_backend_status, list_firered_voices, add_firered_voice, delete_firered_voice, synthesize_firered_speech, design_firered_voice, edit_firered_speech.

Пам'ять і швидкість

Mac mini M4, 16 ГБ. На диску base (7.9) + redae (3.5) = 11.4 ГБ, але в пам'ять іде ~7.7 ГБ: LLM-бекбон вантажиться у fp16 (4.2 замість 8.4 — див. оптимізацію 2 нижче), решта лишається fp32.

Ваги — не вся картина. Виміряно на живому процесі після синтезу:

phys_footprint:      13 ГБ
phys_footprint_peak: 14 ГБ

Різниця між 7.7 і 13 — кеш MPS-алокатора, KV-кеш і активації генерації. На 16 ГБ це впритул навіть одним процесом, і ps/RSS тут бреше (показує десяті гігабайта: MPS-буфери в unified memory в RSS не потрапляють). Міряй footprint, не ps.

Наслідки, закладені в код:

• у пам'яті живе рівно одна модель — base або instruct; перемикання = повне перезавантаження (хвилини, голосно логується);
• синтез серіалізований глобальним локом — два паралельні запити на 16 ГБ дають OOM, а не прискорення;
• run.sh бере лок на порт — інакше кілька клієнтів, що роблять autostart одночасно, піднімають по копії бекенда кожен (реальний випадок: сім процесів на 16 ГБ);
• автозупинка за простоєм 1800с — довша за сусідів навмисно: рестарт коштує ~40с компіляції шейдерів, тож тримати процес живим вигідніше;
• Whisper для автотранскрипту — int8 на CPU, вивантажується одразу після розпізнавання.

Швидкість і чотири оптимізації

Наївний запуск апстріму на M4 давав ×189 реального часу — 3 секунди української рахувались 9.5 хвилини. Три виправлення дали ×4.0, тобто у 48 разів швидше; четверте довело до ×2.7. Що саме було не так (заміряно tools/profile_steps.py та інструментацією):

1. Autocast на кроці AR-циклу — головна біда. Апстрім вішає @torch.autocast декоратором на _backbone_one_step, тобто регіон autocast відкривається й закривається на КОЖНОМУ кроці авторегресії. Кеш перекастів ваг у torch живе рівно всередині регіону, тож 1.7B параметрів fp32 переганялись у half щокроку. Крок бекбону: 19000 мс → 2710 мс. Тепер autocast вимкнений за замовчуванням, а каст робиться явно на межі бекбону.

2. Бекбон у fp32. Ваги збережені у float32 (3.0B параметрів = 11.4 ГБ), що на 16 ГБ означає своп. Переводимо в half лише LLM-бекбон (4.2 ГБ замість 8.4), а redae і flow-декодер лишаємо fp32 — апстрім там навмисно працює у повній точності, і half ламає MPS-matmul. Крок: 2710 → 1387 мс.

3. Компіляція Metal-шейдерів. Найбільша частина «повільності» виявилась разовою: Metal компілює ядра при першому виконанні. Поштучні заміри кроку бекбону: 9873, 2104, 120, 93, 96, 97… мс. Тому сервіс робить прогрів на старті (FIRERED_WARMUP=1) і має довгий таймаут простою — рестарт коштує ~40 секунд компіляції.

4. Кеш кодування референсу. generate() викликається на КОЖНЕ речення, і кожен виклик наново проганяв redae-енкодер по референсному запису — 5.58с щоразу, незалежно від довжини тексту. Ключ кешу — вміст аудіо, а не id тензора, тож підмінити голос кеш не може. На прогоні 6.6 хв аудіо (14 чанків): 30 влучань проти 2 промахів ≈ 150с, тобто ~11% часу.

Хвилина аудіо рахується ~2.7 хвилини (Mac mini M4 / 16 ГБ, прогріта модель, теплий кеш референсу; найкращий із 5 чергованих раундів на 3.0с української, медіана дає ×2.9). Real-time немає, але це вже робочий інструмент, а не «запусти на ніч».

Профіль прогрітої генерації: flow-декодер 57%, бекбон 18%, redae 11%.

n_timesteps — кроки ODE у flow-декодері, найдорожчій частині. Параметр доступний у /tts, MCP і FIRERED_N_TIMESTEPS, але дефолт 10, як в апстрімі: апстрім його не документує й ніде не пропонує крутити, а нижче 4 якість помітно грубішає. Знижуй лише під конкретну задачу і зі звіркою на слух — цифри для інших значень є в коментарі до FIRERED_N_TIMESTEPS.

Text normalization

Вбудований TN (wetext) знає лише китайську й англійську, тож для української він марний і ми його не ставимо. 19:30, 250 грн, 2026 р. модель озвучить як вийде.

Два виходи:

1. писати текст одразу словами;
2. увімкнути LLM-TN — FIRERED_TN_API_URL / _API_KEY / _MODEL у .env. Годиться будь-який OpenAI-сумісний ендпойнт, включно з локальним (llama.cpp / vLLM / Ollama) — тоді все лишається офлайн.

Ліцензія

Код і ваги — Apache 2.0. У README апстріму окремо написано, що zero-shot клонування «solely for academic research purposes» — це суперечить Apache 2.0 і на комерційне використання клонованих голосів дивись обережно. Для домашнього використання питання не стоїть.