Update admin bot token, refine VK and Yapfiles URL handling, enhance Docker configuration for Instagram downloader, and improve YouTube downloader's cookie validation and error messaging.
This commit is contained in:
vrubelroman
parent
5c8456de96
commit
551b64777a
10 changed files with 522 additions and 1083 deletions
|
|
@ -4,7 +4,7 @@ YouTube Video Downloader Service
|
|||
"""
|
||||
import os
|
||||
import logging
|
||||
import time
|
||||
import traceback
|
||||
from pathlib import Path
|
||||
from flask import Flask, request, jsonify
|
||||
from flask_cors import CORS
|
||||
|
|
@ -34,284 +34,335 @@ def _safe_filename(title: str) -> str:
|
|||
|
||||
|
||||
def _is_valid_cookies_file(cookies_path: Path) -> bool:
|
||||
"""Проверяет, что файл cookies существует и содержит валидные YouTube-куки"""
|
||||
"""Проверяет, что файл cookies существует и содержит данные (не только заголовки)"""
|
||||
logger.info(f"[COOKIES CHECK] Проверка файла cookies: {cookies_path.absolute()}")
|
||||
|
||||
if not cookies_path.exists():
|
||||
logger.warning(f"[COOKIES CHECK] Файл не существует: {cookies_path.absolute()}")
|
||||
return False
|
||||
|
||||
try:
|
||||
file_size = cookies_path.stat().st_size
|
||||
logger.info(f"[COOKIES CHECK] Размер файла: {file_size} байт")
|
||||
|
||||
with open(cookies_path, 'r', encoding='utf-8', errors='ignore') as f:
|
||||
content = f.read()
|
||||
all_lines = f.readlines()
|
||||
lines = [line.strip() for line in all_lines if line.strip() and not line.strip().startswith('#')]
|
||||
|
||||
# Простая проверка: есть ли YouTube-куки в файле
|
||||
has_youtube_domain = '.youtube.com' in content or 'youtube.com' in content
|
||||
|
||||
if not has_youtube_domain:
|
||||
logger.warning("YouTube: в файле cookies нет YouTube-куков")
|
||||
return False
|
||||
|
||||
# Проверяем строки с данными (не комментарии)
|
||||
lines = [line.strip() for line in content.split('\n') if line.strip() and not line.strip().startswith('#')]
|
||||
|
||||
if len(lines) == 0:
|
||||
return False
|
||||
|
||||
# Проверяем наличие YouTube-куков и важных параметров
|
||||
youtube_cookies_count = 0
|
||||
important_cookies_count = 0
|
||||
current_time = int(time.time())
|
||||
|
||||
for line in lines:
|
||||
# Формат Netscape cookie: domain, flag, path, secure, expiration, name, value
|
||||
# Разделяем по табуляции, но учитываем что значения могут содержать табы
|
||||
parts = line.split('\t')
|
||||
if len(parts) >= 7: # Должно быть минимум 7 полей
|
||||
domain = parts[0].strip()
|
||||
expiration = parts[4].strip()
|
||||
cookie_name = parts[5].strip() if len(parts) > 5 else ''
|
||||
|
||||
# Проверяем домен
|
||||
if '.youtube.com' in domain or domain == 'youtube.com':
|
||||
youtube_cookies_count += 1
|
||||
|
||||
# Проверяем срок действия (0 означает сессионный куки, это нормально)
|
||||
is_valid = True
|
||||
if expiration != '0':
|
||||
try:
|
||||
exp_time = int(expiration)
|
||||
if exp_time < current_time:
|
||||
is_valid = False
|
||||
logger.debug(f"YouTube: просроченный куки {cookie_name} (истек: {exp_time})")
|
||||
except (ValueError, OverflowError):
|
||||
pass
|
||||
|
||||
# Проверяем наличие важных куков
|
||||
if is_valid and any(important in cookie_name for important in ['VISITOR_INFO1_LIVE', '__Secure-3PSID', 'PREF', '__Secure-YNID', 'YSC']):
|
||||
important_cookies_count += 1
|
||||
|
||||
if youtube_cookies_count > 0:
|
||||
if important_cookies_count > 0:
|
||||
logger.debug(f"YouTube: найдены валидные куки ({youtube_cookies_count} YouTube-куков, {important_cookies_count} важных)")
|
||||
else:
|
||||
logger.warning(f"YouTube: найдены YouTube-куки ({youtube_cookies_count}), но нет важных параметров")
|
||||
return True
|
||||
else:
|
||||
logger.warning("YouTube: в файле cookies нет валидных YouTube-куков")
|
||||
return False
|
||||
|
||||
logger.info(f"[COOKIES CHECK] Всего строк в файле: {len(all_lines)}, валидных строк (не комментариев): {len(lines)}")
|
||||
|
||||
# Логируем первые 3 строки для диагностики (без чувствительных данных)
|
||||
if lines:
|
||||
preview_lines = []
|
||||
for i, line in enumerate(lines[:3]):
|
||||
# Маскируем значения cookie для безопасности
|
||||
if '\t' in line:
|
||||
parts = line.split('\t')
|
||||
if len(parts) > 6:
|
||||
masked_line = '\t'.join(parts[:6]) + '\t***MASKED***'
|
||||
preview_lines.append(f" Строка {i+1}: {masked_line[:100]}")
|
||||
else:
|
||||
preview_lines.append(f" Строка {i+1}: {line[:100]}")
|
||||
logger.info(f"[COOKIES CHECK] Превью первых строк:\n" + "\n".join(preview_lines))
|
||||
|
||||
# Проверяем, что есть хотя бы одна строка с данными cookie
|
||||
is_valid = len(lines) > 0
|
||||
logger.info(f"[COOKIES CHECK] Результат проверки: {'VALID' if is_valid else 'INVALID'}")
|
||||
return is_valid
|
||||
except Exception as e:
|
||||
logger.warning(f"Ошибка при проверке файла cookies: {e}")
|
||||
logger.error(f"[COOKIES CHECK] Ошибка при проверке файла cookies: {e}")
|
||||
logger.error(f"[COOKIES CHECK] Traceback:\n{traceback.format_exc()}")
|
||||
return False
|
||||
|
||||
|
||||
def download_youtube_video(url: str, max_retries: int = 3) -> Path:
|
||||
"""
|
||||
Скачивает видео с YouTube с умной стратегией использования куков:
|
||||
1. Сначала пробуем БЕЗ куков (работает в большинстве случаев)
|
||||
2. Если нужны куки (18+, приватные, проверка на бота) - пробуем файл куков
|
||||
3. Если файл не работает - пробуем автоматически из браузера (если доступен)
|
||||
"""
|
||||
"""Скачивает видео с YouTube - используем cookies для обхода блокировок"""
|
||||
logger.info(f"[DOWNLOAD] Начало скачивания: {url}")
|
||||
|
||||
cookies_file = os.getenv('YOUTUBE_COOKIES_FILE', 'youtube_cookies.txt')
|
||||
cookies_file_path = Path(cookies_file)
|
||||
logger.info(f"[DOWNLOAD] Путь к файлу cookies из env: {cookies_file}, абсолютный: {cookies_file_path.absolute()}")
|
||||
|
||||
# Проверяем наличие валидного файла куков (но не используем сразу)
|
||||
cookies_file_valid = _is_valid_cookies_file(cookies_file_path)
|
||||
cookies_valid = _is_valid_cookies_file(cookies_file_path)
|
||||
if not cookies_valid:
|
||||
logger.warning(f"[DOWNLOAD] Файл cookies не найден или невалиден ({cookies_file_path}). "
|
||||
f"Работаем без cookies. Для лучшей работы рекомендуется обновить cookies через скрипт get_youtube_cookies.sh")
|
||||
else:
|
||||
logger.info(f"[DOWNLOAD] Cookies файл валиден, будет использован: {cookies_file_path.absolute()}")
|
||||
|
||||
user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
|
||||
|
||||
# Определяем, это Shorts или обычное видео
|
||||
is_shorts = '/shorts/' in url
|
||||
player_clients = ['android', 'ios', 'web'] if is_shorts else ['android', 'web']
|
||||
|
||||
def create_ydl_opts(use_cookies_from_file: bool = False, use_browser_cookies: str = None):
|
||||
"""Создает опции для yt-dlp"""
|
||||
opts = {
|
||||
'quiet': False,
|
||||
'no_warnings': False,
|
||||
'user_agent': user_agent,
|
||||
'socket_timeout': 60,
|
||||
'extractor_args': {
|
||||
'youtube': {
|
||||
'player_client': player_clients,
|
||||
'player_skip': ['webpage'],
|
||||
},
|
||||
},
|
||||
'http_headers': {
|
||||
'User-Agent': user_agent,
|
||||
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
|
||||
'Accept-Language': 'en-us,en;q=0.5',
|
||||
'Accept-Encoding': 'gzip, deflate',
|
||||
'Connection': 'keep-alive',
|
||||
},
|
||||
}
|
||||
|
||||
if use_browser_cookies:
|
||||
# Автоматически получаем куки из браузера (не нужен файл)
|
||||
opts['cookiesfrombrowser'] = (use_browser_cookies,)
|
||||
logger.info(f"YouTube: используем автоматические куки из браузера {use_browser_cookies}")
|
||||
elif use_cookies_from_file and cookies_file_valid:
|
||||
opts['cookiefile'] = str(cookies_file_path.absolute())
|
||||
logger.info(f"YouTube: используем куки из файла {cookies_file_path.absolute()}")
|
||||
else:
|
||||
logger.info(f"YouTube: работаем БЕЗ куков (в большинстве случаев это работает)")
|
||||
|
||||
return opts
|
||||
|
||||
# Стратегии попыток: без куков -> файл куков -> браузер куки
|
||||
strategies = [
|
||||
{'name': 'без куков', 'opts': create_ydl_opts(use_cookies_from_file=False)},
|
||||
]
|
||||
|
||||
if cookies_file_valid:
|
||||
strategies.append({
|
||||
'name': 'куки из файла',
|
||||
'opts': create_ydl_opts(use_cookies_from_file=True)
|
||||
})
|
||||
|
||||
# Добавляем стратегии с браузерами (в Docker обычно нет браузеров, но пробуем)
|
||||
# yt-dlp автоматически обработает ошибку, если браузер недоступен
|
||||
for browser in ['firefox', 'chrome', 'chromium']:
|
||||
strategies.append({
|
||||
'name': f'куки из браузера {browser}',
|
||||
'opts': create_ydl_opts(use_browser_cookies=browser)
|
||||
})
|
||||
|
||||
last_error = None
|
||||
for attempt in range(max_retries):
|
||||
for strategy in strategies:
|
||||
try:
|
||||
# Определяем, это Shorts или обычное видео
|
||||
is_shorts = '/shorts/' in url
|
||||
|
||||
# Базовые настройки для получения информации
|
||||
# ВАЖНО: android и ios клиенты НЕ поддерживают cookies!
|
||||
# Если используем cookies, используем только web клиент
|
||||
# Если без cookies, используем android/ios/web для лучшей совместимости
|
||||
if cookies_valid:
|
||||
# С cookies используем только web клиент
|
||||
player_clients = ['web']
|
||||
logger.info(f"[DOWNLOAD] Используем только web клиент, т.к. android/ios не поддерживают cookies")
|
||||
else:
|
||||
# Без cookies используем все доступные клиенты
|
||||
player_clients = ['android', 'ios', 'web'] if is_shorts else ['android', 'web']
|
||||
logger.info(f"[DOWNLOAD] Используем клиенты без cookies: {player_clients}")
|
||||
|
||||
ydl_opts_info = {
|
||||
'quiet': False,
|
||||
'no_warnings': False,
|
||||
'user_agent': user_agent,
|
||||
'socket_timeout': 60,
|
||||
'extractor_args': {
|
||||
'youtube': {
|
||||
'player_client': player_clients,
|
||||
'player_skip': ['webpage'],
|
||||
},
|
||||
},
|
||||
'http_headers': {
|
||||
'User-Agent': user_agent,
|
||||
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
|
||||
'Accept-Language': 'en-us,en;q=0.5',
|
||||
'Accept-Encoding': 'gzip, deflate',
|
||||
'Connection': 'keep-alive',
|
||||
},
|
||||
}
|
||||
|
||||
# Если есть валидный файл с cookies, используем его
|
||||
if cookies_valid:
|
||||
ydl_opts_info['cookiefile'] = str(cookies_file_path.absolute())
|
||||
logger.info(f"[DOWNLOAD] Попытка {attempt + 1}: используем cookies из {cookies_file_path.absolute()}")
|
||||
logger.info(f"[DOWNLOAD] Опции yt-dlp для получения info: cookiefile={cookies_file_path.absolute()}, player_clients={player_clients}")
|
||||
else:
|
||||
logger.info(f"[DOWNLOAD] Попытка {attempt + 1}: работаем без cookies")
|
||||
|
||||
# Пробуем получить информацию о видео
|
||||
info = None
|
||||
try:
|
||||
logger.info(f"YouTube: попытка {attempt + 1}/{max_retries}, стратегия: {strategy['name']}")
|
||||
logger.info(f"[DOWNLOAD] Попытка {attempt + 1}: извлечение информации о видео с URL: {url}")
|
||||
with yt_dlp.YoutubeDL(ydl_opts_info) as ydl:
|
||||
info = ydl.extract_info(url, download=False)
|
||||
logger.info(f"[DOWNLOAD] Попытка {attempt + 1}: информация о видео успешно получена")
|
||||
except Exception as info_error:
|
||||
error_str = str(info_error)
|
||||
error_lower = error_str.lower()
|
||||
logger.error(f"[DOWNLOAD] Попытка {attempt + 1}: ошибка при получении информации о видео: {error_str}")
|
||||
logger.error(f"[DOWNLOAD] Полный traceback:\n{traceback.format_exc()}")
|
||||
|
||||
# Получаем информацию о видео
|
||||
try:
|
||||
with yt_dlp.YoutubeDL(strategy['opts'].copy()) as ydl:
|
||||
info = ydl.extract_info(url, download=False)
|
||||
except Exception as info_error:
|
||||
error_str = str(info_error).lower()
|
||||
logger.warning(f"YouTube: ошибка при получении информации о видео: {str(info_error)[:200]}")
|
||||
# Если ошибка связана с куками - пробуем следующую стратегию
|
||||
if any(keyword in error_str for keyword in ['bot', 'sign in', 'cookies', 'private', 'unavailable']):
|
||||
continue
|
||||
# Если не получилось с cookies, пробуем без них
|
||||
# Проверяем различные признаки проблем с cookies:
|
||||
# - явные ошибки с cookies/bot/sign in
|
||||
# - ошибки формата (могут быть из-за блокировки YouTube при неполных cookies)
|
||||
# - "Only images are available" (признак блокировки YouTube)
|
||||
# - "Missing required Data Sync ID" (неполные cookies)
|
||||
should_retry_without_cookies = cookies_valid and (
|
||||
'cookies' in error_lower or
|
||||
'bot' in error_lower or
|
||||
'sign in' in error_lower or
|
||||
'authentication' in error_lower or
|
||||
'format is not available' in error_lower or
|
||||
'only images are available' in error_lower or
|
||||
'missing required data sync id' in error_lower or
|
||||
'challenge solving failed' in error_lower
|
||||
)
|
||||
|
||||
if should_retry_without_cookies:
|
||||
logger.warning(f"[DOWNLOAD] Попытка {attempt + 1}: обнаружена ошибка, возможно связанная с cookies: {error_str[:200]}")
|
||||
logger.warning(f"[DOWNLOAD] Попытка {attempt + 1}: пробуем без cookies с android/ios клиентами...")
|
||||
ydl_opts_info.pop('cookiefile', None)
|
||||
# Обновляем player_clients для работы без cookies
|
||||
player_clients = ['android', 'ios', 'web'] if is_shorts else ['android', 'web']
|
||||
ydl_opts_info['extractor_args']['youtube']['player_client'] = player_clients
|
||||
logger.info(f"[DOWNLOAD] Попытка {attempt + 1}: обновлены player_clients для работы без cookies: {player_clients}")
|
||||
try:
|
||||
with yt_dlp.YoutubeDL(ydl_opts_info) as ydl:
|
||||
info = ydl.extract_info(url, download=False)
|
||||
logger.info(f"[DOWNLOAD] Попытка {attempt + 1}: успешно получена информация без cookies!")
|
||||
cookies_valid = False # Отключаем cookies для скачивания тоже
|
||||
except Exception as retry_error:
|
||||
logger.error(f"[DOWNLOAD] Попытка {attempt + 1}: ошибка даже без cookies: {retry_error}")
|
||||
logger.error(f"[DOWNLOAD] Полный traceback без cookies:\n{traceback.format_exc()}")
|
||||
raise
|
||||
else:
|
||||
raise
|
||||
|
||||
video_title = info.get('title', 'video') if info else 'video'
|
||||
logger.info(f"YouTube: получена информация о видео: {video_title}")
|
||||
video_title = info.get('title', 'video') if info else 'video'
|
||||
logger.info(f"YouTube: получена информация о видео: {video_title}")
|
||||
|
||||
# Настройки для скачивания с более гибким форматом
|
||||
# Пробуем разные варианты форматов, если один не работает
|
||||
format_options = [
|
||||
'bestvideo[ext=mp4]+bestaudio[ext=m4a]/best[ext=mp4]/best', # Предпочтительный
|
||||
'best[ext=mp4]/best', # Простой fallback
|
||||
'bestvideo+bestaudio/best', # Без ограничения по расширению
|
||||
'best', # Самый простой вариант
|
||||
]
|
||||
|
||||
download_success = False
|
||||
for format_option in format_options:
|
||||
ydl_opts_download = {
|
||||
'format': format_option,
|
||||
'outtmpl': _safe_filename(video_title),
|
||||
'quiet': False,
|
||||
'no_warnings': False,
|
||||
'user_agent': user_agent,
|
||||
'socket_timeout': 60,
|
||||
'extractor_args': {
|
||||
'youtube': {
|
||||
# Используем те же клиенты, что и для получения информации
|
||||
'player_client': player_clients,
|
||||
'player_skip': ['webpage'],
|
||||
},
|
||||
},
|
||||
'http_headers': {
|
||||
'User-Agent': user_agent,
|
||||
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
|
||||
'Accept-Language': 'en-us,en;q=0.5',
|
||||
'Accept-Encoding': 'gzip, deflate',
|
||||
'Connection': 'keep-alive',
|
||||
},
|
||||
}
|
||||
|
||||
# Настройки для скачивания с более гибким форматом
|
||||
format_options = [
|
||||
'bestvideo[ext=mp4]+bestaudio[ext=m4a]/best[ext=mp4]/best',
|
||||
'best[ext=mp4]/best',
|
||||
'bestvideo+bestaudio/best',
|
||||
'best',
|
||||
]
|
||||
# Если есть валидный файл с cookies, используем его для скачивания
|
||||
use_cookies_this_attempt = cookies_valid
|
||||
if use_cookies_this_attempt:
|
||||
ydl_opts_download['cookiefile'] = str(cookies_file_path.absolute())
|
||||
logger.info(f"[DOWNLOAD] Попытка {attempt + 1}: используем cookies для скачивания: {cookies_file_path.absolute()}")
|
||||
else:
|
||||
logger.info(f"[DOWNLOAD] Попытка {attempt + 1}: скачивание без cookies")
|
||||
|
||||
# Используем ту же стратегию куков для скачивания
|
||||
for format_option in format_options:
|
||||
download_opts = strategy['opts'].copy()
|
||||
download_opts.update({
|
||||
'format': format_option,
|
||||
'outtmpl': _safe_filename(video_title),
|
||||
})
|
||||
logger.info(f"[DOWNLOAD] Попытка {attempt + 1}/{max_retries}: начинаем скачивание (Shorts: {is_shorts}, формат: {format_option}, cookies: {use_cookies_this_attempt})")
|
||||
|
||||
try:
|
||||
logger.info(f"[DOWNLOAD] Попытка {attempt + 1}: запуск yt-dlp для скачивания с форматом {format_option}")
|
||||
with yt_dlp.YoutubeDL(ydl_opts_download) as ydl:
|
||||
ydl.download([url])
|
||||
logger.info(f"[DOWNLOAD] Попытка {attempt + 1}: успешно скачано с форматом {format_option}")
|
||||
download_success = True
|
||||
break
|
||||
except Exception as download_error:
|
||||
error_str = str(download_error)
|
||||
error_lower = error_str.lower()
|
||||
logger.error(f"[DOWNLOAD] Попытка {attempt + 1}: ошибка при скачивании формата {format_option}: {error_str}")
|
||||
logger.error(f"[DOWNLOAD] Полный traceback:\n{traceback.format_exc()}")
|
||||
|
||||
logger.info(f"YouTube: скачивание (формат: {format_option}, стратегия: {strategy['name']})")
|
||||
|
||||
try:
|
||||
with yt_dlp.YoutubeDL(download_opts) as ydl:
|
||||
ydl.download([url])
|
||||
|
||||
# Находим скачанный файл
|
||||
downloaded_files = list(DOWNLOADS_DIR.glob('*'))
|
||||
if downloaded_files:
|
||||
downloaded_files.sort(key=lambda x: x.stat().st_mtime, reverse=True)
|
||||
logger.info(f"YouTube: успешно скачано стратегией '{strategy['name']}'")
|
||||
return downloaded_files[0]
|
||||
else:
|
||||
raise Exception("Файл не был найден после скачивания")
|
||||
|
||||
except Exception as download_error:
|
||||
error_str = str(download_error).lower()
|
||||
|
||||
# Если ошибка "bot" или "sign in" - пробуем следующую стратегию
|
||||
if any(keyword in error_str for keyword in ['bot', 'sign in', 'cookies']):
|
||||
logger.warning(f"YouTube: ошибка с куками для формата {format_option}, пробуем следующую стратегию...")
|
||||
break # Переходим к следующей стратегии
|
||||
|
||||
# Если ошибка формата - пробуем следующий формат
|
||||
if 'format is not available' in error_str or 'requested format' in error_str:
|
||||
logger.warning(f"YouTube: формат {format_option} недоступен, пробуем следующий...")
|
||||
# Если ошибка с cookies, пробуем без них
|
||||
if use_cookies_this_attempt and ('cookies' in error_lower or 'bot' in error_lower or 'sign in' in error_lower or 'authentication' in error_lower):
|
||||
logger.warning(f"[DOWNLOAD] Попытка {attempt + 1}: обнаружена ошибка связанная с cookies для формата {format_option}: {error_str[:200]}")
|
||||
logger.warning(f"[DOWNLOAD] Попытка {attempt + 1}: пробуем без cookies...")
|
||||
ydl_opts_download.pop('cookiefile', None)
|
||||
try:
|
||||
with yt_dlp.YoutubeDL(ydl_opts_download) as ydl:
|
||||
ydl.download([url])
|
||||
logger.info(f"[DOWNLOAD] Попытка {attempt + 1}: успешно скачано без cookies")
|
||||
download_success = True
|
||||
cookies_valid = False # Отключаем cookies для следующих попыток
|
||||
break
|
||||
except Exception as retry_error:
|
||||
logger.error(f"[DOWNLOAD] Попытка {attempt + 1}: ошибка даже без cookies: {retry_error}")
|
||||
logger.error(f"[DOWNLOAD] Полный traceback без cookies:\n{traceback.format_exc()}")
|
||||
# Если и без cookies не получилось, пробуем следующий формат
|
||||
logger.warning(f"[DOWNLOAD] Попытка {attempt + 1}: не удалось скачать без cookies, пробуем следующий формат...")
|
||||
continue
|
||||
|
||||
# Другая ошибка - логируем и пробуем следующий формат
|
||||
logger.warning(f"YouTube: ошибка формата {format_option}: {str(download_error)[:100]}")
|
||||
# Если ошибка формата, пробуем следующий формат
|
||||
elif 'format is not available' in error_lower or 'requested format' in error_lower:
|
||||
logger.warning(f"[DOWNLOAD] Попытка {attempt + 1}: формат {format_option} недоступен, пробуем следующий...")
|
||||
continue
|
||||
else:
|
||||
# Другая ошибка - пробуем следующий формат
|
||||
logger.warning(f"[DOWNLOAD] Попытка {attempt + 1}: ошибка при скачивании формата {format_option}: {error_str[:200]}, пробуем следующий...")
|
||||
continue
|
||||
|
||||
if not download_success:
|
||||
raise Exception("Не удалось скачать видео ни с одним из доступных форматов")
|
||||
|
||||
# Находим скачанный файл
|
||||
downloaded_files = list(DOWNLOADS_DIR.glob('*'))
|
||||
if downloaded_files:
|
||||
downloaded_files.sort(key=lambda x: x.stat().st_mtime, reverse=True)
|
||||
return downloaded_files[0]
|
||||
else:
|
||||
raise Exception("Файл не был найден после скачивания")
|
||||
|
||||
# Если все форматы не подошли для этой стратегии, пробуем следующую
|
||||
continue
|
||||
|
||||
except Exception as e:
|
||||
error_str = str(e).lower()
|
||||
logger.warning(f"YouTube: стратегия '{strategy['name']}' не сработала: {str(e)[:100]}")
|
||||
|
||||
# Если ошибка "bot" или "sign in" - пробуем следующую стратегию
|
||||
if any(keyword in error_str for keyword in ['bot', 'sign in', 'cookies']):
|
||||
except Exception as e:
|
||||
last_error = e
|
||||
error_str = str(e)
|
||||
error_lower = error_str.lower()
|
||||
logger.error(f"[DOWNLOAD] Попытка {attempt + 1}/{max_retries} не удалась: {error_str}")
|
||||
logger.error(f"[DOWNLOAD] Полный traceback попытки {attempt + 1}:\n{traceback.format_exc()}")
|
||||
|
||||
# Если ошибка связана с форматом, пробуем другие настройки
|
||||
if 'format is not available' in error_lower or 'requested format' in error_lower:
|
||||
logger.warning(f"[DOWNLOAD] Попытка {attempt + 1}: проблема с форматом, пробуем другие настройки на следующей попытке")
|
||||
# На следующей попытке попробуем другие player_client
|
||||
if attempt < max_retries - 1:
|
||||
import time
|
||||
sleep_time = (attempt + 1) * 2
|
||||
logger.info(f"[DOWNLOAD] Ожидание {sleep_time} секунд перед следующей попыткой...")
|
||||
time.sleep(sleep_time)
|
||||
continue
|
||||
|
||||
# Для других ошибок - пробуем следующую стратегию или следующую попытку
|
||||
last_error = e
|
||||
|
||||
# Если все стратегии не сработали, делаем паузу перед следующей попыткой
|
||||
if attempt < max_retries - 1:
|
||||
time.sleep((attempt + 1) * 2)
|
||||
|
||||
# Если ошибка связана с cookies и они были использованы, попробуем без cookies на следующей попытке
|
||||
if 'cookies' in error_lower or 'bot' in error_lower or 'sign in' in error_lower or 'authentication' in error_lower:
|
||||
if cookies_valid and attempt == 0:
|
||||
logger.warning(f"[DOWNLOAD] Попытка {attempt + 1}: обнаружена ошибка связанная с cookies: {error_str[:200]}")
|
||||
logger.warning(f"[DOWNLOAD] Попытка {attempt + 1}: на следующей попытке попробуем без cookies")
|
||||
# На следующей попытке попробуем без cookies
|
||||
cookies_valid = False
|
||||
|
||||
if attempt < max_retries - 1:
|
||||
import time
|
||||
sleep_time = (attempt + 1) * 2
|
||||
logger.info(f"[DOWNLOAD] Ожидание {sleep_time} секунд перед следующей попыткой...")
|
||||
time.sleep(sleep_time)
|
||||
|
||||
raise last_error or Exception("Не удалось скачать видео ни с одной стратегией")
|
||||
raise last_error or Exception("Неизвестная ошибка при скачивании с YouTube")
|
||||
|
||||
|
||||
@app.route('/health', methods=['GET'])
|
||||
def health():
|
||||
"""Health check endpoint"""
|
||||
cookies_file = os.getenv('YOUTUBE_COOKIES_FILE', 'youtube_cookies.txt')
|
||||
cookies_file_path = Path(cookies_file)
|
||||
cookies_status = 'not_found'
|
||||
cookies_valid = False
|
||||
|
||||
if cookies_file_path.exists():
|
||||
cookies_status = 'found'
|
||||
cookies_valid = _is_valid_cookies_file(cookies_file_path)
|
||||
if cookies_valid:
|
||||
cookies_status = 'valid'
|
||||
else:
|
||||
cookies_status = 'invalid'
|
||||
|
||||
return jsonify({
|
||||
'status': 'ok',
|
||||
'service': 'youtube-downloader',
|
||||
'cookies': {
|
||||
'file': str(cookies_file_path),
|
||||
'status': cookies_status,
|
||||
'valid': cookies_valid
|
||||
}
|
||||
}), 200
|
||||
return jsonify({'status': 'ok', 'service': 'youtube-downloader'}), 200
|
||||
|
||||
|
||||
@app.route('/download/stream', methods=['POST'])
|
||||
def download_stream():
|
||||
"""Скачивает видео с YouTube и возвращает бинарные данные"""
|
||||
request_id = str(uuid.uuid4())[:8]
|
||||
logger.info(f"[REQUEST {request_id}] ========== НОВЫЙ ЗАПРОС ==========")
|
||||
logger.info(f"[REQUEST {request_id}] Метод: {request.method}")
|
||||
logger.info(f"[REQUEST {request_id}] URL: {request.url}")
|
||||
logger.info(f"[REQUEST {request_id}] Remote Address: {request.remote_addr}")
|
||||
logger.info(f"[REQUEST {request_id}] Headers: {dict(request.headers)}")
|
||||
|
||||
try:
|
||||
data = request.get_json()
|
||||
logger.info(f"[REQUEST {request_id}] Body (JSON): {data}")
|
||||
|
||||
if not data or 'url' not in data:
|
||||
logger.warning(f"[REQUEST {request_id}] Ошибка: URL не предоставлен в запросе")
|
||||
return jsonify({'error': 'URL is required'}), 400
|
||||
|
||||
url = data['url']
|
||||
logger.info(f"Получен запрос на скачивание (stream): {url}")
|
||||
logger.info(f"[REQUEST {request_id}] Получен запрос на скачивание (stream): {url}")
|
||||
|
||||
# Проверяем, что это YouTube URL
|
||||
if 'youtube.com' not in url and 'youtu.be' not in url:
|
||||
logger.warning(f"[REQUEST {request_id}] Ошибка: URL не является YouTube URL: {url}")
|
||||
return jsonify({'error': 'Only YouTube URLs are supported'}), 400
|
||||
|
||||
# Скачиваем видео
|
||||
logger.info(f"[REQUEST {request_id}] Начинаем скачивание видео...")
|
||||
video_path = download_youtube_video(url)
|
||||
logger.info(f"Видео скачано: {video_path}")
|
||||
logger.info(f"[REQUEST {request_id}] Видео успешно скачано: {video_path}")
|
||||
|
||||
# Читаем файл и отправляем
|
||||
file_size = video_path.stat().st_size
|
||||
logger.info(f"[REQUEST {request_id}] Размер файла: {file_size} байт")
|
||||
|
||||
with open(video_path, 'rb') as f:
|
||||
video_data = f.read()
|
||||
|
||||
|
|
@ -327,8 +378,12 @@ def download_stream():
|
|||
elif video_path.suffix == '.mkv':
|
||||
content_type = 'video/x-matroska'
|
||||
|
||||
logger.info(f"[REQUEST {request_id}] Отправляем файл: {safe_filename}, Content-Type: {content_type}, размер: {len(video_data)} байт")
|
||||
|
||||
# Удаляем временный файл
|
||||
video_path.unlink()
|
||||
logger.info(f"[REQUEST {request_id}] Временный файл удален")
|
||||
logger.info(f"[REQUEST {request_id}] ========== ЗАПРОС УСПЕШНО ЗАВЕРШЕН ==========")
|
||||
|
||||
return video_data, 200, {
|
||||
'Content-Type': content_type,
|
||||
|
|
@ -337,27 +392,26 @@ def download_stream():
|
|||
|
||||
except Exception as e:
|
||||
error_str = str(e)
|
||||
import traceback
|
||||
error_traceback = traceback.format_exc()
|
||||
logger.error(f"Ошибка при скачивании: {error_str}")
|
||||
logger.error(f"Traceback: {error_traceback}")
|
||||
error_lower = error_str.lower()
|
||||
logger.error(f"[REQUEST {request_id}] ========== ОШИБКА В ЗАПРОСЕ ==========")
|
||||
logger.error(f"[REQUEST {request_id}] Ошибка при скачивании: {error_str}")
|
||||
logger.error(f"[REQUEST {request_id}] Полный traceback:\n{traceback.format_exc()}")
|
||||
|
||||
# Улучшаем сообщение об ошибке
|
||||
error_msg = error_str
|
||||
if 'cookies' in error_str.lower() or 'bot' in error_str.lower() or 'sign in' in error_str.lower():
|
||||
# Улучшаем сообщение об ошибке, если проблема с cookies
|
||||
if 'cookies' in error_lower or 'bot' in error_lower or 'sign in' in error_lower or 'authentication' in error_lower:
|
||||
logger.error(f"[REQUEST {request_id}] Обнаружена ошибка связанная с cookies!")
|
||||
error_msg = (
|
||||
f"{error_str}\n\n"
|
||||
"💡 Совет: YouTube требует авторизацию для этого видео (18+, приватное и т.д.). "
|
||||
"Попробуйте открыть видео в браузере, авторизоваться, затем повторить запрос."
|
||||
)
|
||||
elif 'unable to download' in error_str.lower() or 'http error' in error_str.lower():
|
||||
error_msg = (
|
||||
f"{error_str}\n\n"
|
||||
"💡 Возможные причины:\n"
|
||||
"1. Видео недоступно или удалено\n"
|
||||
"2. Проблемы с сетью или доступом к YouTube\n"
|
||||
"3. Куки устарели - обновите файл youtube_cookies.txt"
|
||||
"💡 Совет: Cookies устарели или недействительны. "
|
||||
"Обновите cookies, запустив скрипт:\n"
|
||||
" ./youtube-downloader/get_youtube_cookies.sh\n"
|
||||
"Затем перезапустите сервис."
|
||||
)
|
||||
else:
|
||||
error_msg = error_str
|
||||
|
||||
logger.error(f"[REQUEST {request_id}] Возвращаем 500 ошибку клиенту")
|
||||
logger.error(f"[REQUEST {request_id}] ========== КОНЕЦ ОБРАБОТКИ ОШИБКИ ==========")
|
||||
|
||||
return jsonify({'error': error_msg}), 500
|
||||
|
||||
|
|
@ -365,21 +419,6 @@ def download_stream():
|
|||
if __name__ == '__main__':
|
||||
port = int(os.getenv('PORT', 5000)) # Внутренний порт контейнера
|
||||
host = os.getenv('HOST', '0.0.0.0')
|
||||
|
||||
# Проверяем куки при старте
|
||||
cookies_file = os.getenv('YOUTUBE_COOKIES_FILE', 'youtube_cookies.txt')
|
||||
cookies_file_path = Path(cookies_file)
|
||||
if cookies_file_path.exists():
|
||||
cookies_valid = _is_valid_cookies_file(cookies_file_path)
|
||||
if cookies_valid:
|
||||
logger.info(f"YouTube: файл куков найден и валиден: {cookies_file_path}")
|
||||
else:
|
||||
logger.warning(f"YouTube: файл куков найден, но не валиден: {cookies_file_path}")
|
||||
logger.warning("YouTube: сервис будет работать, но может потребоваться обновление куков")
|
||||
else:
|
||||
logger.warning(f"YouTube: файл куков не найден: {cookies_file_path}")
|
||||
logger.warning("YouTube: сервис будет работать без куков (может не работать для 18+ и приватных видео)")
|
||||
|
||||
logger.info(f"Запуск YouTube Downloader сервиса на {host}:{port}")
|
||||
app.run(host=host, port=port, debug=False)
|
||||
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue