From f198cc47d93ba55fe62332b4d932a7e7ce3eedd7 Mon Sep 17 00:00:00 2001 From: Maxim Date: Fri, 9 Oct 2026 22:36:46 +0300 Subject: [PATCH] Automatically install missing conntrack for enabled network collector --- README.md | 17 +++++--- agent_network.go | 7 +++- agent_network_setup.go | 89 ++++++++++++++++++++++++++++++++++++++++++ assets/network.html | 2 +- network_flows_test.go | 52 ++++++++++++++++++++++++ web.go | 2 +- 6 files changed, 161 insertions(+), 8 deletions(-) create mode 100644 agent_network_setup.go diff --git a/README.md b/README.md index 44d3a4d..a1055ba 100644 --- a/README.md +++ b/README.md @@ -516,12 +516,19 @@ DASHBOARD_TRAFFIC_PREVIEW=1 go test -run '^TestTrafficPreview$' -timeout 30m отключает оба сборщика. Сетевой режим по умолчанию выключен и не создаёт общих алертов/писем. -Для Debian/Ubuntu на хосте агента (не внутри контейнера NPM): +На Debian/Ubuntu агент **сам проверяет и устанавливает conntrack**, когда +включён сетевой режим. Выполняются `apt-get update` и установка только +`conntrack` с зависимостями (`--no-install-recommends --no-remove`), без +обновления всей системы. Установка выполняется от root через отдельную +systemd-службу, как существующие операции обновления агента, и не требует +отключать его read-only sandbox. Начатая пакетная операция завершается даже +при выключении сбора. Ход/ошибка видны в диагностике; повтор после ошибки — +не чаще раза в 30 минут работы процесса. После перезапуска агента проверка +выполняется заново. Если conntrack уже установлен, apt-get не запускается. -```sh -sudo apt-get update -sudo apt-get install -y conntrack nftables -``` +На других системах, без root или systemd/apt-get, выводится инструкция для +ручной установки. Для счётчиков CrowdSec требуется доступный `nft`; он +обычно уже установлен вместе с nftables-bouncer и автоматически не ставится. Агенту нужны root/CAP_NET_ADMIN в сетевом namespace хоста. Установщик агента запускает службу от root. Чтение: `/proc/net/nf_conntrack`, если доступен, diff --git a/agent_network.go b/agent_network.go index e11fc4d..f27a0a4 100644 --- a/agent_network.go +++ b/agent_network.go @@ -223,7 +223,12 @@ func startAgentNetwork(config agentConfig) func() { if ctx.Err() != nil { return } - snapshot := collectNetwork(ctx) + snapshot := NetworkSnapshot{At: time.Now().Unix(), Flows: []NetworkFlow{}} + if message := ensureNetworkDependency(); message != "" { + snapshot.Error = message + } else { + snapshot = collectNetwork(ctx) + } if time.Since(lastFirewall) >= 30*time.Second { lastFirewall = time.Now() raw, err := networkCommand(ctx, "nft", "-j", "list", "ruleset") diff --git a/agent_network_setup.go b/agent_network_setup.go new file mode 100644 index 0000000..e431480 --- /dev/null +++ b/agent_network_setup.go @@ -0,0 +1,89 @@ +package main + +import ( + "fmt" + "os" + "os/exec" + "runtime" + "strings" + "sync" + "time" +) + +// Package work runs in a transient systemd unit, as do existing agent update +// actions. It must not inherit ProtectSystem=strict from the reporting agent. +// A started package transaction is allowed to finish if collection is disabled. +type networkDependencyState struct { + sync.Mutex + running bool + nextAttempt time.Time + message string +} + +var networkDependency networkDependencyState + +func (d *networkDependencyState) ensure(now time.Time, present bool, install func() error) string { + d.Lock() + defer d.Unlock() + if present { + return "" + } + if d.running { + return "Автоустановка conntrack… Сбор начнётся после установки пакета." + } + if now.Before(d.nextAttempt) { + return d.message + " Повторная попытка не раньше " + d.nextAttempt.Format("15:04:05") + " (время агента)." + } + d.running = true + d.nextAttempt = now.Add(30 * time.Minute) + go func() { + err := install() + d.Lock() + defer d.Unlock() + d.running = false + if err != nil { + d.message = "Не удалось установить conntrack: " + trafficText(err.Error(), 400) + } else { + d.message = "Установка завершена; ожидается появление conntrack в PATH" + } + }() + return "Автоустановка conntrack… Сбор начнётся после установки пакета." +} +func ensureNetworkDependency() string { + if runtime.GOOS != "linux" { + return "Сбор conntrack поддерживается только на Linux" + } + _, err := exec.LookPath("conntrack") + return networkDependency.ensure(time.Now(), err == nil, installNetworkDependency) +} +func installNetworkDependency() error { + if os.Geteuid() != 0 { + return fmt.Errorf("для автоустановки нужны права root") + } + apt, err := exec.LookPath("apt-get") + if err != nil { + return fmt.Errorf("автоустановка поддерживается на Debian/Ubuntu с apt-get; установите conntrack вручную") + } + run := func(suffix string, args ...string) error { + out := runPrivilegedTransient(10*time.Minute, suffix, apt, args...) + if strings.HasPrefix(out, "ERROR: ") { + return fmt.Errorf("%s", explainSystemUpdateError(out)) + } + return nil + } + return installConntrackPackage(run, func() bool { _, err := exec.LookPath("conntrack"); return err == nil }) +} +func installConntrackPackage(run func(string, ...string) error, present func() bool) error { + // No upgrade, autoremove, firewall changes, or runtime sysctl changes. + options := []string{"-o", "DPkg::Lock::Timeout=30", "-o", "Acquire::Retries=1", "-o", "Acquire::http::Timeout=20", "-o", "Acquire::https::Timeout=20"} + if err := run("conntrack-lists", append(append([]string{}, options...), "update")...); err != nil { + return err + } + if err := run("conntrack-install", append(append([]string{}, options...), "-y", "--no-install-recommends", "--no-remove", "install", "conntrack")...); err != nil { + return err + } + if !present() { + return fmt.Errorf("apt-get завершился, но conntrack не найден в PATH") + } + return nil +} diff --git a/assets/network.html b/assets/network.html index 8d4e519..e25ccec 100644 --- a/assets/network.html +++ b/assets/network.html @@ -30,7 +30,7 @@ function render(){if(!snapshot)return;const data=frozen||snapshot,items=filterFl } function openFlow(target){const row=target.closest('[data-flow]');if(!row)return;const f=visible[+row.dataset.flow];if(!f)return;show('Поток '+f.protocol.toUpperCase(),fields([['Инициатор',endpoint(f.source,f.sourcePort)+' · '+country(f.country)],['Исходное назначение',endpoint(f.destination,f.destinationPort)],['Обратное направление (NAT)',endpoint(f.replySource,f.replySourcePort)+' → '+endpoint(f.replyDestination,f.replyDestinationPort)],['Состояние / зона',f.state+' / '+(f.zone||'0')],['Инициатор → назначение',f.accounting?bytes(f.bytes)+' · '+num(f.packets)+' пакетов':'Учёт пакетов/байтов не включён для этого потока'],['Ответное направление',f.accounting?bytes(f.replyBytes)+' · '+num(f.replyPackets)+' пакетов':'Нет данных'],['Время снимка',new Date((frozen||snapshot).at*1000).toLocaleString('ru-RU')]]))} el('rows').onclick=e=>openFlow(e.target);el('rows').onkeydown=e=>{if(e.key==='Enter'||e.key===' '){e.preventDefault();openFlow(e.target)}};el('close').onclick=()=>el('dialog').close(); -el('statusDetails').onclick=()=>show('Диагностика агента',fields([['Сбор',snapshot?.error||'Ошибок conntrack не сообщено'],['Связь',networkError||'Последний ответ получен'],['Получен сервером',snapshot?.receivedAt?new Date(snapshot.receivedAt*1000).toLocaleString('ru-RU'):'Ещё не получен'],['Ограничения',snapshot?.limited?'Достигнут лимит 5 000 записей; статистика частичная':'До 5 000 записей в снимке'],['Нераспознанные строки',num(snapshot?.parseErrors)],['Firewall',snapshot?.firewallError||'Поддерживаемые счётчики получены']])+ '

Для Debian/Ubuntu установите на агенте пакет conntrack. Службе нужны root/CAP_NET_ADMIN. Для firewall нужен nft. При выключенном учёте conntrack байты недоступны; sysctl и правила автоматически не изменяются.

'); +el('statusDetails').onclick=()=>show('Диагностика агента',fields([['Сбор',snapshot?.error||'Ошибок conntrack не сообщено'],['Связь',networkError||'Последний ответ получен'],['Получен сервером',snapshot?.receivedAt?new Date(snapshot.receivedAt*1000).toLocaleString('ru-RU'):'Ещё не получен'],['Ограничения',snapshot?.limited?'Достигнут лимит 5 000 записей; статистика частичная':'До 5 000 записей в снимке'],['Нераспознанные строки',num(snapshot?.parseErrors)],['Firewall',snapshot?.firewallError||'Поддерживаемые счётчики получены']])+ '

На Debian/Ubuntu агент автоматически устанавливает отсутствующий conntrack через apt-get и systemd. Службе нужны root; для чтения таблицы — root/CAP_NET_ADMIN. Ошибка установки повторяется не чаще раза в 30 минут. Для firewall нужен nft. При выключенном учёте conntrack байты недоступны; sysctl и правила автоматически не изменяются.

'); el('firewallDetails').onclick=()=>show('Счётчики блокировок',fields((snapshot?.firewall||[]).map(c=>[c.name,num(c.packets)+' пакетов · '+bytes(c.bytes)]))+'

'+safe(snapshot?.firewallError||'Накопительные счётчики правил CrowdSec непосредственно перед drop/reject. Сбрасываются при пересоздании правил. Не зависят от фильтров списка потоков; не показывают количество людей или HTTP-запросов.')+'

'); el('about').onclick=()=>show('Как читать сетевые данные','

Это текущие отслеживаемые потоки TCP, UDP, ICMP и ICMPv6, а не журнал всех пакетов. Снимки делаются примерно раз в 5 секунд: короткие потоки могут быть пропущены. TIME_WAIT и другие состояния закрытия остаются в таблице до истечения таймера.

Инициатор и назначение — исходное направление conntrack. Обратная пара адресов показывает трансляцию NAT, включая Docker. Соединение NPM с upstream — отдельный поток; оно не считается ещё одним посетителем.

UDP ASSURED — отметка conntrack, не TCP-соединение. Порт 443 сам по себе не доказывает HTTPS или QUIC. SYN_SENT/SYN_RECV не означают атаку.

Байты и пакеты накоплены за жизнь конкретного потока, если учёт был включён при его создании. Длительность соединения и точный поток новых подключений по этим снимкам не вычисляются.

Фильтры влияют на карточки и топы. Firewall показывает отдельные накопительные счётчики без фильтров. Приватные и локальные IP не геолокируются. Геолокация: DB-IP, CC BY 4.0.

'); function reset(){frozen=null;page=0;render()};['protocol','port','external'].forEach(id=>el(id).onchange=reset);el('search').oninput=reset;el('next').onclick=()=>{if(!frozen)frozen=snapshot;page++;render()};el('prev').onclick=()=>{page--;render()};el('resume').onclick=reset;el('pause').onclick=()=>{paused=!paused;el('pause').textContent=paused?'Продолжить':'Пауза';render();if(!paused)poll()};document.querySelectorAll('[data-tab]').forEach(b=>{if(b.tagName==='BUTTON')b.onclick=()=>{document.body.dataset.tab=b.dataset.tab;document.querySelectorAll('#tabs button').forEach(t=>t.classList.toggle('active',t===b));render()}});window.addEventListener('resize',render); diff --git a/network_flows_test.go b/network_flows_test.go index 31ff4d0..535a482 100644 --- a/network_flows_test.go +++ b/network_flows_test.go @@ -4,6 +4,7 @@ import ( "bytes" "context" "encoding/json" + "fmt" "net/http" "net/http/httptest" "strings" @@ -135,3 +136,54 @@ func TestNetworkExternalAddresses(t *testing.T) { } } } + +func TestConntrackInstallerOnlyInstallsRequestedPackage(t *testing.T) { + var calls [][]string + err := installConntrackPackage(func(name string, args ...string) error { + calls = append(calls, append([]string{name}, args...)) + return nil + }, func() bool { return true }) + if err != nil || len(calls) != 2 { + t.Fatalf("installer: %v %v", calls, err) + } + if calls[0][len(calls[0])-1] != "update" || strings.Join(calls[1][len(calls[1])-5:], " ") != "-y --no-install-recommends --no-remove install conntrack" { + t.Fatalf("unexpected apt operation: %v", calls) + } + calls = nil + err = installConntrackPackage(func(name string, args ...string) error { calls = append(calls, args); return fmt.Errorf("apt locked") }, func() bool { return true }) + if err == nil || len(calls) != 1 { + t.Fatal("continued after failed apt update") + } +} +func TestConntrackDependencySingleInstallAndBackoff(t *testing.T) { + var d networkDependencyState + now := time.Now() + started := make(chan struct{}) + finish := make(chan struct{}) + installer := func() error { close(started); <-finish; return fmt.Errorf("offline") } + if got := d.ensure(now, true, installer); got != "" { + t.Fatal("installed tool should be skipped") + } + d.ensure(now, false, installer) + <-started + // A second call must not start a second installer (which would panic closing started). + d.ensure(now, false, installer) + close(finish) + deadline := time.Now().Add(time.Second) + for { + d.Lock() + running := d.running + d.Unlock() + if !running { + break + } + if time.Now().After(deadline) { + t.Fatal("installer stuck") + } + time.Sleep(time.Millisecond) + } + got := d.ensure(now.Add(time.Minute), false, installer) + if !strings.Contains(got, "offline") || !strings.Contains(got, "Повторная") { + t.Fatalf("backoff missing: %s", got) + } +} diff --git a/web.go b/web.go index bcfd83c..e3e3dca 100644 --- a/web.go +++ b/web.go @@ -883,7 +883,7 @@ footer{color:#657581;font-size:12px;margin-top:17px}
Карта трафика · Nginx Proxy Manager + CrowdSec
-

Сетевой режим: текущая таблица conntrack, обновление ~5 с. На агенте нужен пакет conntrack и root/CAP_NET_ADMIN; nft — для счётчиков CrowdSec. Настройки firewall и ядра автоматически не меняются. Короткие потоки между снимками могут быть пропущены.

+

Сетевой режим: текущая таблица conntrack, обновление ~5 с. Агент сам установит отсутствующий conntrack через apt-get на Debian/Ubuntu (root + systemd). nft нужен для счётчиков CrowdSec. Настройки firewall и ядра автоматически не меняются. Короткие потоки между снимками могут быть пропущены.

Сбор выполняется только выбранным агентом: access-логи /opt/npm/data/logs и локальный cscli. Изменить путь можно через DASHBOARD_NPM_LOG_DIR в окружении службы агента. При выключении сбор прекращается и ссылка на страницу скрывается. События карты не создают общих алертов и писем. История: до 24 часов и 200 000 событий.