turti83
Goto Top

Richtfunknetzwerk mit vielen Hops stabiler gestalten

Hallo,

in meinem Dorf habe ich vor ca. einem Jahr ein Backbone aufgebaut um die Nachbarschaft mit Internet zu versorgen. Derzeit sind 11 Häuser angeschlossen.
Dazu haben wir einen 100 Mbit/s LWL synchron Anschluss mit /29 Netz gebucht. Diesen mussten wir uns teuer in Haus 1 legen lassen.
Im Anhang ist ein schematischer Aufbau des Netzwerks. Leider gibt es keine Möglichkeiten es anders aufzubauen.
Falls die Frage aufkommt, ob das erlaubt ist: Ja, ist mit der EWE abgesprochen face-smile
Jeder Haushalt hat eine eigene FritzBox, angeschlossen über LAN1. Diese erstellen dann für jeden Haushalt ein privates Netz. Nach außen hat daher jede FB eine feste IP. Als Gateway ist der gemeinsame Router eingestellt, als DNS Adresse habe ich den von der EWE zugewiesenen DNS-Server eingetragen.
Bis auf die vier Switche, habe ich ausschließlich Hardware von Ubiquiti eingesetzt:
  • Der Router ist ein EdgeRouter X SFP.
  • Richtfunkstrecken werden, abhängig von der Distanz, entweder mit NanoBeam 5AC Gen2 oder NanoStation 5AC loco aufgebaut.
  • An zwei Punkten sind EdgePoint Router 6-Port eingesetzt. Diese sind als Switch konfiguriert.
  • Die restlichen vier Switche sind GS105Ev2 von Netgear.
Alle Geräte sind VLAN fähig.
Alle Ubiquiti Geräte werden von einem, über das Internet angeschlossen, UNMS Server verwaltet.
Alle Geräte im Backbone haben eine feste IP-Adresse. Es gibt jedoch keine eingetragenen Routen, VLAN´s oder Ähnliches.
Der Router ist weitesgehend im Werkszustand, es sind lediglich Bandbreitenbegrenzungen für jeden Teilnehmer eingestellt, Portfreigaben und einige NAT-Rules.

Dieser Aufbau funktioniert jetzt seit Mai '18 ohne Ausfall und größeren Problemen.

Nun zu meinem Problem:
Es scheint mir oft, dass das Aufrufen von Websiten, Verbinden von VPN oder Verbinden zum WhatsApp Server länger dauert, als es sollte.
Ein Blick in den Router verrät mir: ca 7000 verlorene Pakete pro Tag im "lokalen Switch".
Ich weiß, dass es schlecht ist so viele Switche hintereinander zu schalten. Leider habe ich durch örtliche Bebauungen keine andere Möglichkeit.
Kann ich trotzdem versuchen es besser zu managen? Wenn ja, wie?

Zu mir: Ich bin ein SPS-Programmierer, habe Erfahrungen mit der Netzwerktechnik, jedoch zu 90% selbst beigebracht. Vertiefte Netzwerkkenntnisse fehlen mir.

Über Hilfe wären meine Nachbarn und ich sehr dankbar face-smile
planung export

Content-Key: 419238

Url: https://administrator.de/contentid/419238

Printed on: April 25, 2024 at 00:04 o'clock

Member: SeaStorm
SeaStorm Feb 18, 2019 at 18:47:25 (UTC)
Goto Top
Zitat von @turti83:

Hallo,
Hi

Es scheint mir oft, dass das Aufrufen von Websiten, Verbinden von VPN oder Verbinden zum WhatsApp Server länger dauert, als es sollte.
Ein Blick in den Router verrät mir: ca 7000 verlorene Pakete pro Tag im "lokalen Switch".
Das ist jetzt erst mal keine schlimme Zahl. 7000 Pakete sind nichts, wenn da etwas Traffic drauf ist.
Die Frage ist ja, wohin die Pakete gehen sollten. Wenn die Richtung Internet verloren gehen, dann kann das ja irgendwo im Internet passieren. Das wäre völlig ausserhalb eurer Reichweite.
Gehen die Pakete innerhalb eures Netzes verloren, dann kann das ja sein, das hier einfach nur eine der Funkstrecken nicht völlig stabil ist.

Oder anders: Existieren die Probleme auch wenn man das vo Haus1 aus versucht? Da ist ja erst mal kein Funknetz im Spiel.
Wenn es da geschieht, ist es höchstwahrscheinlich ein Problem von EWE. Evtl. auch vom Ubiquiti Router, das der mit der Last nicht zurecht kommt. Bezweifle ich aber mal. Dazu sind das zu wenig Clients.

Wenn das Problem nur in bestimmten Häusern auftritt, dann liegt es an der Stecke bis zum LWL. Da dann einfach mal prüfen, was die Funkverbindung sagt.
Member: turti83
turti83 Feb 18, 2019 at 18:58:13 (UTC)
Goto Top
Genau, Pakete Richtung Internet gehen verloren. Es macht auch keinen spürbaren Unterschied, ob man sich im Haus 1 oder Haus 5 aufhält. Die Richtfunkstrecken haben alle eine gute Signalstärke. Die CPU-Auslastung des Routers bewegt sich im Schnitt bei 7%, der RAM ist zu etwa 29% ausgelastet. Hier noch eine Übersicht der Auslastung
unbenannt
Member: SeaStorm
SeaStorm Feb 18, 2019 at 19:05:02 (UTC)
Goto Top
Es macht auch keinen spürbaren Unterschied, ob man sich im Haus 1 oder Haus 5 aufhält.
Damit kannst du zumindest mal halbwegs ausschliessen, das es an deinem Netzwerk liegt.

Identifiziere mal die Ziele, die nicht ordentlich laufen (so wie ein paar die gut laufen) und mache eine Traceroute überwachung.
Nimm z.B Pingplotter und sieh dir an, wo die Pakete verloren gehen.
Geschieht das immer an der gleichen stelle gehäuft, dann ist das ein Problem irgendwo dort in der Strecke.
Ist es allgemein, dann wird's schwieriger. Hier musst du dann ausschliessen, das es an dir liegt, also bis zum EWE Router alles checken. Ab dann muss EWE übernehmen.
Member: turti83
turti83 Feb 18, 2019 at 19:17:55 (UTC)
Goto Top
Danke, das werde ich versuchen!
Ich vermute aber auch, dass es an den vielen Switchen liegen könnte, weil Pakete doch irgendwann verloren gehen wenn sie durch zu viele Switche "durch müssen". Oder liege ich da falsch?
Daher dachte ich eventuell daran, dass man mit VLANs virtuelle Tunnel von jedem Client bis zum Router schafft. Ich weiß aber nicht, ob das was bringt?
Member: SeaStorm
SeaStorm Feb 18, 2019 at 19:29:20 (UTC)
Goto Top
Also vlans sind grundsätzlich eine gute Idee, damit man nicht einfach den Traffic der anderen abschnüffeln kann.
An der Anzahl der switche ändert das allerdings nix...
Und nein, das ist erst Mal egal ob da ein paar Switche drin sind. Das ist deren Job, Pakete weiter zu schubbbsen.
Aber wie du gesagt hast: Haus1 hat die gleichen Probleme. Da sind ja keine switche mehr dazwischen. Das wird es also nicht sein.
Member: turti83
turti83 Feb 18, 2019 at 19:45:59 (UTC)
Goto Top
Das Tool Pingplotter ist ja sogar für Laien wie mich zu verstehen face-smile
Habe hier mal 100 Test zu google.com durchgeführt. Scheinbar liegt das Problem wirklich beim Provider?
Auch noch ein Testlauf nur zum Router.
Durchgeführt von Haus 11.
pingplotter 2
pingplotter
Member: turti83
turti83 Feb 18, 2019 at 20:10:15 (UTC)
Goto Top
... aber was ist das?!
unbenannt3
Member: SeaStorm
SeaStorm Feb 18, 2019 at 20:10:53 (UTC)
Goto Top
Scheinbar liegt das Problem wirklich beim Provider?
Woraus schliesst du das? Zu google tritt doch kein PL auf?!
Member: SeaStorm
SeaStorm Feb 18, 2019 at 20:13:13 (UTC)
Goto Top
von wo aus wird das ausgeführt? Das ist eine wichtige Info jetzt ...

Das sieht aufgrund der regelmäßigkeit nach einer Firewall aus. Aber da musst du jetzt mehr details liefern
Member: turti83
turti83 Feb 18, 2019 at 20:22:08 (UTC)
Goto Top
Zur ersten Frage: Dachte ich, da die Zeiten dort am länsten waren.
Aber das hat ja erstmal nichts zu bedeuten.
Die Messung habe ich von einem über LAN angebundenen Rechner hinter der FritzBox im Haus 11 ausgeführt.
Welche Infos werden gebraucht?
Member: turti83
turti83 Feb 18, 2019 at 20:32:23 (UTC)
Goto Top
Hier noch die Firewall Einstellungen:
firewall {
    all-ping enable
    broadcast-ping disable
    ipv6-receive-redirects disable
    ipv6-src-route disable
    ip-src-route disable
    log-martians enable
    name WAN_IN {
        default-action drop
        description "WAN to internal"  
        rule 10 {
            action accept
            description http
            destination {
                port 80
            }
            log disable
            protocol tcp_udp
        }
        rule 20 {
            action accept
            description https
            destination {
                port 443
            }
            log disable
            protocol tcp_udp
        }
        rule 30 {
            action accept
            description "VPN 500"  
            destination {
                port 500
            }
            log disable
            protocol udp
        }
        rule 40 {
            action accept
            description "VPN 4500"  
            destination {
                port 4500
            }
            log disable
            protocol udp
        }
        rule 50 {
            action accept
            description http
            destination {
                port 8080
            }
            log disable
            protocol tcp_udp
        }
        rule 60 {
            action accept
            description DSM
            destination {
                port 5001
            }
            log disable
            protocol tcp_udp
        }
        rule 70 {
            action accept
            description HyperBackup
            destination {
                port 6281
            }
            log disable
            protocol tcp_udp
        }
        rule 80 {
            action accept
            description https
            destination {
                port 8443
            }
            log disable
            protocol tcp_udp
        }
        rule 90 {
            action accept
            description "Kamera Service"  
            destination {
                port 37777
            }
            log disable
            protocol tcp_udp
        }
        rule 100 {
            action accept
            description "Kamera Service"  
            destination {
                port 37778
            }
            log disable
            protocol tcp_udp
        }
        rule 110 {
            action accept
            description RTSP
            destination {
                port 8554
            }
            log disable
            protocol tcp_udp
        }
        rule 120 {
            action accept
            description FB
            destination {
                port 8444
            }
            log disable
            protocol tcp_udp
        }
        rule 170 {
            action accept
            description "Allow established/related"  
            state {
                established enable
                related enable
            }
        }
        rule 180 {
            action drop
            description "Drop invalid state"  
            log disable
            state {
                invalid enable
            }
        }
    }
    name WAN_LOCAL {
        default-action drop
        description "WAN to router"  
        rule 10 {
            action accept
            description "Allow established/related"  
            state {
                established enable
                related enable
            }
        }
        rule 20 {
            action drop
            description "Drop invalid state"  
            state {
                invalid enable
            }
        }
    }
    receive-redirects disable
    send-redirects enable
    source-validation disable
    syn-cookies enable
}
Member: turti83
turti83 Feb 18, 2019 at 20:58:10 (UTC)
Goto Top
vieleicht hilft das auch noch weiter:
fw2
fw1
Member: SeaStorm
SeaStorm Feb 18, 2019 at 21:38:53 (UTC)
Goto Top
Die Messung habe ich von einem über LAN angebundenen Rechner hinter der FritzBox im Haus 11 ausgeführt.
OK das erklärt die Latenz.
Hast du eine Erklärung dafür. warum Hop 1 und 2 die gleiche IP hat ? Hier tritt ja auch der PL auf.
Ist die Firewall die Fritte im Haus 11? Wenn ja: Ist das eine Custom Firmware?
Oder wo ist die FW untergebracht?
Member: turti83
turti83 Feb 18, 2019 at 21:43:18 (UTC)
Goto Top
Ehrlich gesagt verstehe ich das auch nicht.
Also die FritzBox im Haus 11 ist ne 7490 mit original Firmware.
Die Screenshots sind vom Router im Haus 1 (also das Gateway für alle). Diese hat auch im Backbone die IP 192.168.17.1. Das ist die Routerfirmware von Ubiquiti (EdgeOS).
Die Fritzbox hat im privaten Netz (da wo der PC angeschlossen ist) die IP 192.168.127.1. Müsste das nicht auch schon ein Hop sein?
Member: SeaStorm
SeaStorm Feb 18, 2019, updated at Apr 21, 2022 at 12:50:06 (UTC)
Goto Top
Müsste das nicht auch schon ein Hop sein?
idR ja. Kann man technisch zwar ändern, aber ich gehe mal davon aus das du da nix geschraubt hast?

woher kommt denn der Screenshot
? Da ist ja kein PL zu sehen. Wo ist da der Unterschied ? Aus einem anderen Haus ?
Member: turti83
turti83 Feb 18, 2019, updated at Apr 21, 2022 at 12:50:18 (UTC)
Goto Top
Das ist vom selben Rechner, lediglich ein paar Minuten früher.
Kurz darauf kammen die PL im Bild
Member: MartinStrasser
MartinStrasser Feb 19, 2019 updated at 05:33:47 (UTC)
Goto Top
Sieht so aus, als würde das Paket zwei mal über den gleichen Router geröstet werden.

Oder wird im LAN und im Backbone das gleiche Subnetz verwendet?

LG Martin
Member: SeaStorm
SeaStorm Feb 19, 2019 at 07:14:51 (UTC)
Goto Top
ja irgendwas passt da nicht. Da sollte sich @turti83 mal die Configs der letzten paar Geräte genauer ansehen. Irgendwo hängts da.
Man sieht ja auch am Bild, das es erst läuft, dann mit unterbrechungen, und dann gar nicht mehr.
Member: turti83
turti83 Feb 19, 2019 updated at 08:33:35 (UTC)
Goto Top
Der Aufzeichnung nach, würde man dies annehmen. Praktisch ist aber noch ein Router dazwischen.
Der PC (von dem die Aufzeichnung gemacht wurde) ist im Haus 11 hinter der Fritzbox im privaten Netz 192.168.127.1/24.
nach außen ist die FB im internen Netzwerk des gemeinsamen Routers im 192.168.17.1/24 Netz.
Kann mir jemand sagen, woran es liegen könnte, dass Hop 1 die selbe Adresse wie Hop 2 hat? Theoretisch müsste Hop 1 doch die 192.168.127.1 haben?
Ich habe im EdgeOS die Möglichkeit einen Trace auszuführen. Dieser zeichnet, genau wie Pingplotter, alle Hops auf.
Führe ich diesen vom Hauptrouter (192.168.17.1) Richtung Google.com aus, so habe ich eine "normale" Latenz.
Führe ich diesen vom Switch am Mast (192.168.17.81) Richtung Google.com aus, so habe ich wieder eine lange Latenz, ähnlich wie bei Pingplotter. Kann ich davon ausgehen, dass im Router etwas falsch eingestellt ist?

Zu den Configs: Alle Geräte im Backbone außer der Router funktionieren wie Switche. Da habe ich nichts eingestellt.
Member: aqui
aqui Feb 19, 2019 updated at 09:13:14 (UTC)
Goto Top
Ein Blick in den Router verrät mir: ca 7000 verlorene Pakete pro Tag im "lokalen Switch".
Verglichen mit WAS ?? Wieviel Pakete laufen denn fehlerfrei durch 70.000 oder 70.000.000 ? Bei letzterem wäre das ein durchaus üblicher Wert. So können wir nur Äpfel mit Birnen vergleichen face-sad

M.E. ist bei einem sonst korrekten Netz aber der grundsätzliche Fehler im IP- bzw. Netzwerk Design des Funk Backbones gemacht worden. Es sind diverse Strecken dabei die schon recht sportlich sind von der Entfernung also damit auch Gefahren bergen wenn das Feldstärke (HF) Budget nicht reicht.
Wozu also die WRT300N ?? Die Ubiquity Teile können alle routen ?!
Auch nicht ob du da das 2,4 oder 5 Ghz Netz benutzt oder gar etwas ganz anderes. 1,2 km auf 5Ghz ist schon eine kleine Herausforderung.
Desweitern ist vollkommen unklar ob du eine saubere Frequenzplanung bei den Funklinks gemacht hast so das es hier keinesfalls zu Überschneidungen und damit Störungen an den Standorten kommt die mehrere Funk Links betreiben. Alle müssen einen entsprechenden Kanalabstand haben. Auch natürlich von lokalen WLANs damit es hier nicht zu Störungen kommt.
Generell sollte man das Backbone ausschliesslich nur wegen der Störungssicherheit auf den 5Ghz Outdoor Kanälen betreiben mit entsprechenden Parabol Richtantennen um entsprechende HF Funkreserve auf den Links zu bekommen.
Letztlich wie das_hier z.B.
Parabolantennen oder Panel mit entsprechendem Gewinn sind also bei den 1km Strecken ein Muss um eine entspr. Reserve zu bekommen auch bei schlechtem Wetter. Bei beiden Frequenzen 2,4 Ghz und 5 Ghz gibt es entsprechende Freiraumdämpfung (Absorptionsspektrum Wasserdampf und Stickstoff !) Alles steht und fällt deshalb mit der Sicherheit bzw. Stabilität der Funkverbindung.
Ist also mehr oder minder bei dir auch der Fall mit den nano Beams. Das passt also...

Kontraproduktiv ist da aber zu 70% auch das du das Distributions Backbone zu den Hausern in ein flaches Layer 2 Netz gesteckt hast. Damit belastest du ALLE einzelnen Funkstrecken zusätzlich noch mit sämtlichen Broad- und Multicast Traffic aller anderen Teilnehmer. Du hast also schon eine entsprechende Grundbelastung auf den Links die dir wertvolle Bandbreite und damit Performance wegnehmen von den Teilnehmern.
Hier wäre in jedem Falle eine vermaschte, rein geroutete Lösung mit /30er Punkt zu Punkt Netzen erforderlich gewesen um das zu eliminieren.
Den goldenen Netzwerker Grundsatz: "Route wherever you can, bridge where you must !" hast du leider übergangen. Gerade bei Bandbreiten abhängigen Backbones wie deinem Funknetz ist der aber essentiell wichtig !
Warum das nicht so umgesetzt wurde verwundert ? Zumal die Ubiquity Nano Beams ebenso wie die Mikrotik SXTs ein vollständiges Routing sogar mit dynmaischen Protokollen supporten.
Sicherlich ein Geburtsfehler an dem das gesamte Netz krankt.

Diese Anfangsfehler im Backbone Design und vermutlich die etwas schwache Funkreserve und möglicherweise eine fehlende Frequenzplanung (geraten) resultieren dann in den typischen von dir geschilderten Störungen die sich in langen Antwortszeiten und Latenzen bzw. Packet Drops äußern für die Endanwender.
Fazit: Du solltest das Funk Backbone auf ein rein geroutetes verändern !
Member: turti83
turti83 Feb 19, 2019 at 09:24:31 (UTC)
Goto Top
Hallo @aqui

erstmal lieben Dank für deine Kritik.
Die WRT300N gibt es selbstverständlich nicht. Ich habe den Überblick des Netzwerkaufbaus mit Cisco Packet Tracer erstellt, da gibt es leider keine Ubiquiti Geräte. Bei jeden Gerät habe ich aber eine .XX Zahl stehen. Dies steht für das letzte Oktett der IP im Backbone. In meinem zweiten Post kann man das dazugehörige Gerät finden.
Sämtliche Richtfunkstrecken werden im 5 Ghz Netz betrieben. Die Kanäle werden von den Geräten automatisch eingestellt. Der Durchsatz von beispielsweise Haus 11 zu Haus 1 beträgt deutlich über 150 Mbit/s. Allgemein werden von jedem Haus bis zum Router immer Übertragungen von über 100 Mbit/s erreicht.
Eine Funkplanung habe ich nicht erstellt. Ich wüsste nicht einmal was ich dabei berücksichtigen müsste face-sad Jedoch kann ich sagen, dass zwischen den Strecken keine Häuser, Strom- oder Telefonleitungen und Störquellen liegen.
Wie anfangs erwähnt nutze ich Geräte von Ubiquiti welche feste Antennen eingebaut haben. Über den UNMS Server zeichne ich die Signalqualität auf. Da ist nichts negatives zu verzeichnen.
Ich bin Grundsätzlich bereit das Netzwerk komplett neu zu konfigurieren. Deine Tipps würde ich gerne anwenden. Jedoch bin ich kein Profi. Daher suche ich hier eure Hilfe.
Verstehe ich dich nun richtig?:
  • Jeder Client sollte via /30 Netz mit dem Router verbunden werden
  • Im Router sollen dann die Clients nach außen geroutet werden
Member: turti83
turti83 Feb 19, 2019 at 15:42:58 (UTC)
Goto Top
Ich möchte nochmal ergänzen:
Beim Kauf sämtlicher Hardware habe ich mir Gedanken gemacht, dass alle Geräte wenigstens managebar sind. Vorallem die Ubiquiti Geräte haben von Haus aus viele Funktionen. Ursprünglich dachte ich daran jeden Client in ein eigenes VLAN zu legen, sodass für jeden ein "Tunnel" bis zum Router entsteht.
Leider hatte ich in der Inbetriebnahmezeit wenig Zeit. Daher habe ich es erstmal so gelöst. Frei nach dem Motto: Besser machen kann ich es immer noch ;)
An diesem Punkt stehe ich jetzt. Mir fehlt jedoch das Wissen wie ich das nun am Besten mache. Die Konfiguration der Geräte bekomme ich bestimmt selbst hin, nur der theoretische Weg dahin fehlt mir.
Member: turti83
turti83 Feb 28, 2019 at 21:27:36 (UTC)
Goto Top
Feedback:
Ich habe mir eure Tipps zu rate genommen und diese jetzt umgesetzt.
Alle Geräte im Backbone (Switche, Richtfunkantennen, Router) sind weiterhin im gleichen Netzwerk im VLAN 1.
Jeder Client ist nun in einem eigenem VLAN und hat eine /30 IP mit Gateway als Ziel auf dem Router.
Das Ergebnis ist positiv, siehe Anhang.

Das PL vom 5ten Hop kann ich nicht beeinflussen, richtig?

Danke face-smile
unbenannt
Member: aqui
aqui Mar 01, 2019 at 20:41:18 (UTC)
Goto Top
Wer oder was ist "PL" ??
Member: turti83
turti83 Mar 01, 2019 at 20:47:18 (UTC)
Goto Top
Packet loss
Member: aqui
aqui Mar 02, 2019 updated at 09:45:26 (UTC)
Goto Top
kl
Das ist der Link Haus 10 auf Haus 11 ??
Beeinflussen kann man das nur wenn man das Link Budget erhöht. Höhere Sendeleistung oder besser bündelnde Antenne.
Ein Packet Loss ist meist die Ursache eines schwachen HF Pegels und wenig Reserve auf dem Link. Das resultiert dann so gut wie immer in Paket Verlusten.