Статус загрузки данных

Обновлено: 2026-06-02 19:50:54 (Самара (UTC+4))

Доступность API ЕФРСБ: Недоступно

Проверено: 2026-05-30 13:29:11

HTTP статус: 400

Ошибка: auth_http_400

Статус JWT: JWT не получен

Последний успешный JWT: N/A

JWT валиден до: N/A

Следующий запрос JWT: N/A

Веб-сервис (systemd): работает — bankroty-web.service

Состояние unit (Active / Sub): active / running

ETL-сервис (systemd): не активен — bankroty-etl.service

Состояние unit (Active / Sub): inactive / dead

KAD Runtime

Сервис (systemd): не активен — bankroty-kad-runtime.service

Active / Sub: inactive / dead

Result / exit: success / 0

Restarts: 0

Last start / exit: n/a / n/a

Journal summary: None

Last kad.run_log: source_blocked · Source returned HTTP 451 · run_id=20260518_182008_8b80bc1d

Панель мониторинга ETL

Показатели из PostgreSQL; авто-обновление каждые 30 с (без перезагрузки страницы).

ETL summary

Активный child-job: N/A

Heartbeat / detail active: N/A

Последний завершённый child-job: backfill_pre_window_messages · completed / completed

Heartbeat / detail finished: 2026-05-30 13:29:11 / backfill_pre_window_messages completed: processed=0

Управление ETL: stop request уже активен

Operator runbook:
1. Кнопка создаёт cooperative stop-request для etl_monitor, а не делает hard kill.
2. Ожидаемая последовательность: running → stopping → inactive; текущий child-job должен перейти в stopping и завершиться управляемо.
3. После controlled stop штатный recovery path сейчас не через веб-кнопку, а через canonical deploy/restart flow на хосте, например deploy того же SHA с BANKROTY_DEPLOY_RESTART_ETL=1 или операторский systemctl start bankroty-etl.service на сервере.
4. Если после stop ETL не возвращён в active, не оставляйте среду в таком состоянии без явного recovery step.

Extended ETL runtime jobs

Здесь видны long-running child-jobs вне трёх основных фаз страницы: pre-window backfill и оба шага по правам требований. Если шаг ещё не исполнялся в текущем релизе, runtime-state может быть пустым.

backfill_pre_window_messages: completed (stale)
2026-05-30 13:29:11 / completed
backfill_pre_window_messages completed: processed=0
stop request: нет

estate_claims_etl: completed (stale)
2026-05-30 12:52:20 / completed
estate_claims_etl completed: processed=0, created=0
stop request: нет

load_estate_claims_all: completed (stale)
2026-05-30 13:14:18 / completed
load_estate_claims_all completed: claims=0, messages=0
stop request: нет

Сейчас выполняются (ETL-процессы, pgrep)

Строка cmdline — признак, что процесс реально найден на хосте. Демон по очереди запускает короткие шаги (update_data, детали, орг. и т.д.): большую часть времени pgrep покажет «нет» — это нормально. Смотрите «Последний цикл демона» в фазе 1 и etl_monitor.log (строки RUN: / OK / FAILED).

Список сообщений (update_data): нет

load_2025_data (legacy): нет

Детали сообщений (load_details_recent): нет

Детали сообщений v2: нет

Pre-window backfill: нет

ЮЛ/ИП приоритет (load_orgs_priority): нет

Права требований из staging (estate_claims_etl): нет

Права требований по API (load_estate_claims_all): нет

org_enricher: нет

Демон ETL (etl_monitor_daemon): нет

Артефакты работы ETL

Размер и время изменения файлов, хвосты логов (последние строки) и сколько строк за сутки попало в БД — видно, что пайплайн пишет на диск и в PostgreSQL.

Каталог логов (LOG_DIR): /var/log/bankroty

Запись в БД (24 ч): staging_messages: 0; raw_responses: 0

Файл	Размер / mtime
Демон (цикл RUN/OK) `etl_monitor.log`	есть · 5.9 КБ изм.: 2026-06-02 19:27:29
Список /messages `update_data.log`	есть · 0 Б изм.: 2026-05-31 00:00:01
Детали по guid `load_details_recent.log`	есть · 0 Б изм.: 2026-05-31 00:00:01
Pre-window backfill `backfill_pre_window_messages.log`	есть · 0 Б изм.: 2026-04-27 23:35:45
ЮЛ/ИП, дела и торги `load_orgs.log`	есть · 0 Б изм.: 2026-05-31 00:00:01

Хвост etl_monitor.log

2026-06-02 21:58:32,631 - INFO - ============================================================
2026-06-02 22:03:44,739 - INFO - ============================================================
2026-06-02 22:03:44,740 - INFO - ETL MONITOR DAEMON STARTED
2026-06-02 22:03:44,740 - INFO - Interval: 600 sec
2026-06-02 22:03:44,740 - INFO - update_data: авто-окно по БД; нижняя граница холодного старта ETL_MONITOR_DATE_BEGIN=2025-01-01
2026-06-02 22:03:44,740 - INFO - ============================================================
2026-06-02 22:39:04,302 - INFO - ============================================================
2026-06-02 22:39:04,311 - INFO - ETL MONITOR DAEMON STARTED
2026-06-02 22:39:04,311 - INFO - Interval: 600 sec
2026-06-02 22:39:04,311 - INFO - update_data: авто-окно по БД; нижняя граница холодного старта ETL_MONITOR_DATE_BEGIN=2025-01-01
2026-06-02 22:39:04,311 - INFO - ============================================================
2026-06-02 22:55:42,723 - INFO - ============================================================
2026-06-02 22:55:42,723 - INFO - ETL MONITOR DAEMON STARTED
2026-06-02 22:55:42,723 - INFO - Interval: 600 sec
2026-06-02 22:55:42,723 - INFO - update_data: авто-окно по БД; нижняя граница холодного старта ETL_MONITOR_DATE_BEGIN=2025-01-01
2026-06-02 22:55:42,723 - INFO - ============================================================
2026-06-02 23:25:25,230 - INFO - ============================================================
2026-06-02 23:25:25,230 - INFO - ETL MONITOR DAEMON STARTED
2026-06-02 23:25:25,230 - INFO - Interval: 600 sec
2026-06-02 23:25:25,230 - INFO - update_data: авто-окно по БД; нижняя граница холодного старта ETL_MONITOR_DATE_BEGIN=2025-01-01
2026-06-02 23:25:25,230 - INFO - ============================================================
2026-06-02 23:27:29,440 - INFO - ============================================================
2026-06-02 23:27:29,440 - INFO - ETL MONITOR DAEMON STARTED
2026-06-02 23:27:29,440 - INFO - Interval: 600 sec
2026-06-02 23:27:29,440 - INFO - update_data: авто-окно по БД; нижняя граница холодного старта ETL_MONITOR_DATE_BEGIN=2025-01-01
2026-06-02 23:27:29,440 - INFO - ============================================================

Хвост update_data.log

—

Хвост load_details_recent.log

—

Хвост backfill_pre_window_messages.log

—

Хвост load_orgs.log

—

Фаза 1: Загрузка публикаций

Остановлена

Текущий месяц: Декабрь 2013

Период мониторинга записей ЕФРСБ: 2025-01-01 — 2026-06-02

update_data (pgrep в момент опроса): не в момент опроса (шаг короткий)

Демон ETL: остановлен

Состояние unit / fallback: не активен; heartbeat=stopped; phase=stopped; stop requested; heartbeat stale

Последний цикл демона: N/A

Heartbeat демона: 2026-06-02 19:27:29

Текущая фаза демона: stopped

Stop request: да

Runtime update_data: completed (stale)

Heartbeat / фаза update_data: 2026-05-30 13:24:19 / completed

Деталь update_data: Polling completed: loaded=0

Stop request update_data: нет

Прогресс текущего месяца: Н/Д

Последнее загруженное сообщение (staging)

GUID: db16edbf-49ca-c88b-3fc4-ab1befc806aa

Тип сообщения: ArbitralDecree

Дата публикации: 2013-12-31 14:13:46

Фаза 2: Обогащение данных

Остановлена

Полоса ниже — доля сообщений в окне деталей (см. метрику «Прогресс») с загруженным телом в staging_message_details. Не путать с числом карточек должников с заполненным debtor_type («Обогащено» в сетке).

100.0%

24,497

Обогащено (карточки)

Число строк в debtor_cards, у которых заполнено поле debtor_type (тип должника из контура ETL). То же, что считается «обогащёнными» в сводке на /debtors. Не число дел в bankruptcy_cases и не число загруженных XML-деталей сообщений.

25,151

Осталось (карточки)

Оценка «сколько карточек ещё без типа»: всего должников − обогащено по типу (см. блок «Статистика базы данных»). Грубая метрика очереди по полю типа, а не по деталям сообщений и не по таблице дел.

57,616 / 57,616

Прогресс деталей (сообщения)

В окне date_publish за последние 3 дн. (с якорем к хвосту staging, как в load_details_recent): 57,616 сообщений уже имеют запись в staging_message_details (или не требуют деталей по правилам очереди), из 57,616 сообщений в этом окне. Очередь без деталей / на retry: ≈ 0.

Источник: N/A

Инкремент (load_details_recent): остановлен

Демон ETL: остановлен

Состояние unit / fallback: не активен; heartbeat=stopped; phase=stopped; stop requested; heartbeat stale

Последний цикл демона: N/A

Heartbeat демона: 2026-06-02 19:27:29

Текущая фаза демона: stopped

Stop request: да

Runtime load_details_recent: completed (stale)

Heartbeat / фаза details: 2026-05-30 13:25:59 / completed

Деталь details: Details completed: processed=0, updated=0

Stop request details: нет

Последняя активность: N/A

Обновлено записей: N/A

Скорость / ETA: N/A

Последняя строка из лога (прогресс): —

Последнее спарсенное значение (карточка должника)

То же, что в блоке «Метрики обогащения» ниже; здесь — кратко по фазе 2. Если карточки ещё нет — показывается последняя запись staging_messages (фаза 1).

Наименование / ФИО: Данковцев Виктор Петрович

ИНН / ОГРН: 505017606219 / —

Номер дела: А83-19826/2024

7.0 час

Примерное время до завершения Фазы 2

Фаза 3: load_orgs_priority (ЮЛ/ИП, дела, торги)

Что это на мониторе: третий шаг цикла etl_monitor_daemon после update_data и load_details_recent — запуск python -m scripts.load_orgs_priority. Отдельный скрипт etl_phase3.py (XML/полный контур) — другой процесс, не эта карточка.

Что делает шаг: приоритетная выборка должников (ЮЛ, банки, ИП, КФХ и т.д.), нормализация карточек, связка с делами, событиями, участниками, торгами и лотами по уже загруженным деталям сообщений (не «список сообщений», как в фазах 1–2).

Лог на сервере: обычно logs/load_orgs.log (при наличии — показывается последняя строка); иначе org_enricher.log для совместимости.

Остановлена

21,910

ЮЛ/Банки обогащено

2,587

ИП обогащено

Лог (источник): —

Последняя строка: —

Runtime load_orgs_priority: stopping (stale)

Heartbeat / фаза orgs: 2026-05-30 13:59:36 / debtor

Деталь orgs: Получен SIGTERM

Stop request orgs: да

Статистика базы данных

Пояснение: Агрегаты по таблицам: «Должников» — строки в `debtor_cards` (то, что видно в `/debtors`). «Дел» — только таблица `bankruptcy_cases` (связка должник ↔ дело); она заполняется при обогащении (например шаг `load_orgs_priority` после деталей сообщений), поэтому при уже созданных карточках число дел может быть 0. «События» — таблица `events`. «Сообщения» — все `staging_messages`; «за период» — с непустым `date_publish` в окне мониторинга.

49,648

Должников

4,414,222

Сообщений (все за всё время)

15,834

Дел (bankruptcy_cases)

552

Событий (обработанные записи в `events`)

Сообщений за период мониторинга

Период мониторинга сообщений: N/A — N/A

Метрики обогащения

21,677

Юридические лица

Физические лица

2,587

ИП

233

Банки

49,648

Наименование

49,648

Юр. адрес

49,579

ИНН

27,145

ОГРН

16,428

Номер дела

1,958

Статус дела

Процедура

15,778

АУ

667

Признан банкротом

Не признан

361

На рассмотрении

930

Иные

Торги назначены

49,550

Торги не назначены

344

Активные торги

661

Всего торгов

242

Имущество: транспорт

225

Имущество: недвижимость

878

Иные активы

Последнее спарсенное значение (полностью)

Фильтр:

Наименование / ФИО: Данковцев Виктор Петрович

Тип банкрота: EnterpreneurPerson

Юр. адрес: 298100, Республика Крым, г.Феодосия, ул.Чехова/Краснобаева, д. 10/6

ИНН / ОГРН: 505017606219 / —

Номер дела: А83-19826/2024

Статус дела: None

Процедура: —

Арбитражный управляющий: Ильина Алиса Станиславовна

Суд: — / —

Торги: не назначены

Площадка: N/A

Сумма лотов / шаг: N/A

Перейти к списку банкротов

MVP Сервис "Банкроты"

Статус загрузки данных

Панель мониторинга ETL

Хвост etl_monitor.log

Хвост update_data.log

Хвост load_details_recent.log

Хвост backfill_pre_window_messages.log

Хвост load_orgs.log

Последнее загруженное сообщение (staging)

Последнее спарсенное значение (карточка должника)

Статистика базы данных

Метрики обогащения

Последнее спарсенное значение (полностью)