Рефакторинг: микросервисная архитектура
- Разделение на микросервисы: youtube-downloader, instagram-downloader, vk-downloader - Основной бот в корне проекта, работает через HTTP API с сервисами - Каждый сервис запускается отдельно в своей папке - Видео сохраняются в папке video/ и не удаляются - Обновлена документация и архитектура - Скрипты для Instagram cookies перенесены в instagram-downloader/
This commit is contained in:
vrubelroman
parent
8024eea868
commit
436e0cd541
41 changed files with 1348 additions and 693 deletions
24
youtube-downloader/Dockerfile
Normal file
24
youtube-downloader/Dockerfile
Normal file
|
|
@ -0,0 +1,24 @@
|
|||
FROM python:3.11-slim
|
||||
|
||||
# Устанавливаем зависимости для yt-dlp
|
||||
RUN apt-get update && apt-get install -y \
|
||||
ffmpeg \
|
||||
wget \
|
||||
&& rm -rf /var/lib/apt/lists/*
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
# Копируем requirements и устанавливаем зависимости
|
||||
COPY requirements.txt .
|
||||
RUN pip install --no-cache-dir -r requirements.txt
|
||||
|
||||
# Копируем код приложения
|
||||
COPY . .
|
||||
|
||||
# Создаем директорию для загрузок
|
||||
RUN mkdir -p downloads
|
||||
|
||||
ENV PYTHONUNBUFFERED=1
|
||||
|
||||
CMD ["python", "app.py"]
|
||||
|
||||
172
youtube-downloader/app.py
Normal file
172
youtube-downloader/app.py
Normal file
|
|
@ -0,0 +1,172 @@
|
|||
"""
|
||||
YouTube Video Downloader Service
|
||||
Отдельный микросервис для скачивания видео с YouTube
|
||||
"""
|
||||
import os
|
||||
import logging
|
||||
from pathlib import Path
|
||||
from flask import Flask, request, jsonify
|
||||
from flask_cors import CORS
|
||||
import yt_dlp
|
||||
import uuid
|
||||
import re
|
||||
|
||||
# Настройка логирования
|
||||
logging.basicConfig(
|
||||
format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
|
||||
level=logging.INFO
|
||||
)
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
app = Flask(__name__)
|
||||
CORS(app) # Разрешаем CORS для взаимодействия с основным ботом
|
||||
|
||||
# Директория для временных файлов
|
||||
DOWNLOADS_DIR = Path('downloads')
|
||||
DOWNLOADS_DIR.mkdir(exist_ok=True)
|
||||
|
||||
|
||||
def _safe_filename(title: str) -> str:
|
||||
"""Создает безопасное имя файла"""
|
||||
safe_title = re.sub(r'[<>:"/\\|?*]', '', title)[:100]
|
||||
return str(DOWNLOADS_DIR / f'{uuid.uuid4()}_{safe_title}.%(ext)s')
|
||||
|
||||
|
||||
def download_youtube_video(url: str, max_retries: int = 3) -> Path:
|
||||
"""Скачивает видео с YouTube"""
|
||||
user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
|
||||
|
||||
last_error = None
|
||||
for attempt in range(max_retries):
|
||||
try:
|
||||
# Получаем информацию о видео
|
||||
ydl_opts_info = {
|
||||
'quiet': False,
|
||||
'no_warnings': False,
|
||||
'user_agent': user_agent,
|
||||
'socket_timeout': 30,
|
||||
'extractor_args': {
|
||||
'youtube': {
|
||||
'player_client': ['android', 'web'],
|
||||
'player_skip': ['webpage'],
|
||||
},
|
||||
},
|
||||
'http_headers': {
|
||||
'User-Agent': user_agent,
|
||||
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
|
||||
'Accept-Language': 'en-us,en;q=0.5',
|
||||
'Accept-Encoding': 'gzip, deflate',
|
||||
'Connection': 'keep-alive',
|
||||
},
|
||||
}
|
||||
|
||||
with yt_dlp.YoutubeDL(ydl_opts_info) as ydl:
|
||||
info = ydl.extract_info(url, download=False)
|
||||
video_title = info.get('title', 'video')
|
||||
logger.info(f"YouTube: получена информация о видео: {video_title}")
|
||||
|
||||
# Скачиваем видео
|
||||
ydl_opts_download = {
|
||||
'format': 'bestvideo[ext=mp4]+bestaudio[ext=m4a]/best[ext=mp4]/best',
|
||||
'outtmpl': _safe_filename(video_title),
|
||||
'quiet': False,
|
||||
'no_warnings': False,
|
||||
'user_agent': user_agent,
|
||||
'socket_timeout': 30,
|
||||
'extractor_args': {
|
||||
'youtube': {
|
||||
'player_client': ['android', 'web'],
|
||||
'player_skip': ['webpage'],
|
||||
},
|
||||
},
|
||||
'http_headers': {
|
||||
'User-Agent': user_agent,
|
||||
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
|
||||
'Accept-Language': 'en-us,en;q=0.5',
|
||||
'Accept-Encoding': 'gzip, deflate',
|
||||
'Connection': 'keep-alive',
|
||||
},
|
||||
}
|
||||
|
||||
logger.info(f"YouTube: начинаем скачивание (попытка {attempt + 1}/{max_retries})")
|
||||
with yt_dlp.YoutubeDL(ydl_opts_download) as ydl:
|
||||
ydl.download([url])
|
||||
|
||||
# Находим скачанный файл
|
||||
downloaded_files = list(DOWNLOADS_DIR.glob('*'))
|
||||
if downloaded_files:
|
||||
downloaded_files.sort(key=lambda x: x.stat().st_mtime, reverse=True)
|
||||
return downloaded_files[0]
|
||||
else:
|
||||
raise Exception("Файл не был найден после скачивания")
|
||||
|
||||
except Exception as e:
|
||||
last_error = e
|
||||
logger.warning(f"YouTube: попытка {attempt + 1}/{max_retries} не удалась: {e}")
|
||||
if attempt < max_retries - 1:
|
||||
import time
|
||||
time.sleep((attempt + 1) * 2)
|
||||
|
||||
raise last_error or Exception("Неизвестная ошибка при скачивании с YouTube")
|
||||
|
||||
|
||||
@app.route('/health', methods=['GET'])
|
||||
def health():
|
||||
"""Health check endpoint"""
|
||||
return jsonify({'status': 'ok', 'service': 'youtube-downloader'}), 200
|
||||
|
||||
|
||||
@app.route('/download/stream', methods=['POST'])
|
||||
def download_stream():
|
||||
"""Скачивает видео с YouTube и возвращает бинарные данные"""
|
||||
try:
|
||||
data = request.get_json()
|
||||
if not data or 'url' not in data:
|
||||
return jsonify({'error': 'URL is required'}), 400
|
||||
|
||||
url = data['url']
|
||||
logger.info(f"Получен запрос на скачивание (stream): {url}")
|
||||
|
||||
# Проверяем, что это YouTube URL
|
||||
if 'youtube.com' not in url and 'youtu.be' not in url:
|
||||
return jsonify({'error': 'Only YouTube URLs are supported'}), 400
|
||||
|
||||
# Скачиваем видео
|
||||
video_path = download_youtube_video(url)
|
||||
logger.info(f"Видео скачано: {video_path}")
|
||||
|
||||
# Читаем файл и отправляем
|
||||
with open(video_path, 'rb') as f:
|
||||
video_data = f.read()
|
||||
|
||||
# Безопасное имя файла без кириллицы для заголовка
|
||||
safe_filename = video_path.name.encode('ascii', 'ignore').decode('ascii') or 'youtube_video.mp4'
|
||||
if not safe_filename.endswith(('.mp4', '.webm', '.mkv')):
|
||||
safe_filename = 'youtube_video.mp4'
|
||||
|
||||
# Определяем content-type
|
||||
content_type = 'video/mp4'
|
||||
if video_path.suffix == '.webm':
|
||||
content_type = 'video/webm'
|
||||
elif video_path.suffix == '.mkv':
|
||||
content_type = 'video/x-matroska'
|
||||
|
||||
# Удаляем временный файл
|
||||
video_path.unlink()
|
||||
|
||||
return video_data, 200, {
|
||||
'Content-Type': content_type,
|
||||
'Content-Disposition': f'attachment; filename="{safe_filename}"'
|
||||
}
|
||||
|
||||
except Exception as e:
|
||||
logger.error(f"Ошибка при скачивании: {e}")
|
||||
return jsonify({'error': str(e)}), 500
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
port = int(os.getenv('PORT', 5000)) # Внутренний порт контейнера
|
||||
host = os.getenv('HOST', '0.0.0.0')
|
||||
logger.info(f"Запуск YouTube Downloader сервиса на {host}:{port}")
|
||||
app.run(host=host, port=port, debug=False)
|
||||
|
||||
16
youtube-downloader/docker-compose.yml
Normal file
16
youtube-downloader/docker-compose.yml
Normal file
|
|
@ -0,0 +1,16 @@
|
|||
services:
|
||||
youtube-downloader:
|
||||
build: .
|
||||
container_name: youtube_downloader_service
|
||||
restart: unless-stopped
|
||||
ports:
|
||||
- "5557:5000"
|
||||
volumes:
|
||||
- ./downloads:/app/downloads
|
||||
networks:
|
||||
- downloader_network
|
||||
|
||||
networks:
|
||||
downloader_network:
|
||||
driver: bridge
|
||||
|
||||
4
youtube-downloader/requirements.txt
Normal file
4
youtube-downloader/requirements.txt
Normal file
|
|
@ -0,0 +1,4 @@
|
|||
Flask==3.0.0
|
||||
flask-cors==4.0.0
|
||||
yt-dlp>=2024.12.13
|
||||
|
||||
Loading…
Add table
Add a link
Reference in a new issue