fix(downloaders): Deno runtime, свежий yt-dlp, честный health-check, смоук-тест
All checks were successful
CI/CD Pipeline / build-and-deploy (push) Successful in 2m36s

Возрастные YouTube-видео не скачивались: с cookies yt-dlp отбрасывает клиент
android и остаётся web, которому нужно решить n-challenge, а в образе стоял
Node 20 при требуемом минимуме 22 ("JS runtimes: node-20.19.2 (unsupported)").
Ставим Deno — рекомендованный yt-dlp рантайм и один статический бинарник.

Instagram падал с "empty media response" одинаково с cookies и без них —
дело было не в сессии, а в устаревшем экстракторе: слой pip был закеширован
на yt-dlp 2026.06.09. Поднимаем нижнюю границу до 2026.7.4.

/cookies/check помечал проблемой с cookies ЛЮБОЙ сбой, из-за чего на поломку
JS-рантайма прилетел алерт про протухшие cookies и увёл разбор не туда.
Теперь ответ содержит status: ok | cookies_invalid | extraction_failed |
no_cookies, и админ-бот шлёт разные сообщения. Разбор ответа в bot.py
сохраняет совместимость со старым форматом без поля status.

Добавлен smoke_test.py — гоняет реальные ссылки (включая обе регрессии выше)
через запущенные сервисы и печатает таблицу. Запускать после каждой правки.

Схема получения cookies переведена с крона на разовый ручной экспорт:
cookies-cron/ -> cookies/, удалены скрипты с анти-паттерном
`--cookies-from-browser BROWSER --cookies FILE`, который wiki yt-dlp прямо
запрещает и который сам ломал YouTube-сессию ротацией. Ключевые cookies живут
около года, поэтому обновление по расписанию не нужно — триггером служит алерт
health-check. deliver_cookies.sh только доставляет файлы по scp.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
vrubelroman 2026-07-26 00:31:16 +00:00
parent 5092d882e5
commit d597a5e1c5
19 changed files with 373 additions and 733 deletions

View file

@ -143,7 +143,7 @@ def _build_ytdlp_base_cmd() -> list:
YTDLP_CMD,
'--socket-timeout', '15',
'--extractor-args', EXTRACTOR_ARGS,
'--js-runtimes', 'node',
'--js-runtimes', 'deno',
'--remote-components', 'ejs:github',
'--no-playlist',
]
@ -490,7 +490,14 @@ YOUTUBE_COOKIE_TEST_URL = os.getenv(
'YOUTUBE_COOKIE_TEST_URL',
'https://www.youtube.com/watch?v=jNQXAC9IVRw' # "Me at the zoo" — первое видео на YouTube, публичное, без возрастных ограничений
)
YOUTUBE_COOKIE_INVALID_MARKERS = ('no longer valid', 'have likely been rotated')
# Маркеры, по которым сбой однозначно относится к cookies/авторизации.
# Всё остальное считаем поломкой извлечения (версия yt-dlp, JS-рантайм, сеть) и
# про cookies ничего не утверждаем — иначе мониторинг уводит диагностику не туда.
YOUTUBE_COOKIE_INVALID_MARKERS = (
'no longer valid',
'have likely been rotated',
'sign in to confirm',
)
@app.route('/cookies/check', methods=['POST'])
@ -499,6 +506,7 @@ def cookies_check():
cookies_file = Path(os.getenv('YOUTUBE_COOKIES_FILE', '/app/youtube_cookies.txt'))
if not (cookies_file.exists() and cookies_file.stat().st_size > 0):
return jsonify({'cookies_present': False, 'cookies_valid': None,
'status': 'no_cookies',
'detail': 'cookies file missing or empty'}), 200
# Без --quiet/--no-warnings: сигнал ротации кук — это подавляемый WARNING, а не ошибка с ненулевым returncode
@ -506,15 +514,23 @@ def cookies_check():
try:
result = _run_ytdlp(cmd, timeout=INFO_TIMEOUT)
except Exception as e:
return jsonify({'cookies_present': True, 'cookies_valid': False,
return jsonify({'cookies_present': True, 'cookies_valid': None,
'status': 'extraction_failed',
'detail': f'yt-dlp invocation failed: {e}'}), 200
stderr = result.stderr
if any(marker in stderr for marker in YOUTUBE_COOKIE_INVALID_MARKERS) or result.returncode != 0:
return jsonify({'cookies_present': True, 'cookies_valid': False,
'detail': stderr.strip()[-500:]}), 200
detail = stderr.strip()[-500:]
return jsonify({'cookies_present': True, 'cookies_valid': True, 'detail': ''}), 200
if any(marker in stderr.lower() for marker in YOUTUBE_COOKIE_INVALID_MARKERS):
return jsonify({'cookies_present': True, 'cookies_valid': False,
'status': 'cookies_invalid', 'detail': detail}), 200
if result.returncode != 0:
return jsonify({'cookies_present': True, 'cookies_valid': None,
'status': 'extraction_failed', 'detail': detail}), 200
return jsonify({'cookies_present': True, 'cookies_valid': True,
'status': 'ok', 'detail': ''}), 200
@app.route('/download/stream', methods=['POST'])
@ -570,9 +586,10 @@ def download_stream():
error_msg = (
f"{error_str}\n\n"
"💡 Совет: Cookies устарели или недействительны. "
"Обновите cookies через скрипт:\n"
" ./youtube-downloader/get_youtube_cookies.sh\n"
"Затем перезапустите сервис."
"Обновите их вручную по инструкции в cookies/README.md "
"(для YouTube — только через приватное окно, иначе сессия ротируется) "
"и доставьте через cookies/deliver_cookies.sh. "
"Перезапуск сервиса не требуется."
)
else:
error_msg = error_str