Kategoria: #Technologie: Z szafy inżyniera

W miarę rozwoju infrastruktury PIONIER stało się jasne, że ten kluczowy element monitorowania sieci powinien zostać zastąpiony przez rozwiązanie umożliwiające rozbudowę zgodnie z narastającymi potrzebami w zakresie elastycznego składowania i dostępu do danych oraz nowoczesnych sposobów wizualizacji.

Z punktu widzenia administratorów sieci PIONIER pożądane funkcjonalności nowego systemu obejmują: składowanie dużej ilości danych opartych na czasie, zbieranie danych z różnych źródeł, uzupełnianie składowanych danych o dodatkowe metryki, elastyczna wizualizacja, ograniczenie dostępu dla wybranych użytkowników do wybranych obszarów systemu.

Na podstawie rozpoznania istniejących narzędzi zostały stworzone podstawy do realizacji zaawansowanego środowiska zbierania, składowania i wizualizacji danych. Zdecydowano się na zintegrowane podejście z wykorzystaniem następujących elementów składowych typu open source:

• VictoriaMetrics – baza danych oparta na czasie
• Toni Moreno SnmpCollector – moduł zbierania danych SNMP
• Grafana – platforma wizualizacji danych

W ramach wdrożenia sytemu przeniesiono konfigurację i dane z MRTG, a znaczną ilość pracy poświęcono na integrację wszystkich komponentów. Skalę rozwiązania pokazuje zakres wdrożenia w sieci PIONIER: obecnie system monitorowania obejmuje 99 przełączników szkieletowych i dostępowych oraz ponad 9000 interfejsów na tych urządzeniach. Dodatkowo w zakresie parametrów środowiskowych monitorowane jest 148 elementów systemu optycznego DWDM i ponad 5000 metryk. Nowe oprogramowanie umożliwiło także skrócenie odstępów między kolejnymi odczytami parametrów z 5 minut w MRTG do 1 minuty oraz rezygnację z agregacji danych historycznych – nawet kilkuletnie pomiary nadal przechowywane są w pełnej rozdzielczości.

Nowe rozwiązanie zapewnia stałe śledzenie ruchu i wartości krytycznych w sieci PIONIER oraz umożliwia poprawę zarządzania zasobami sieci. Będzie on mógł również zaoferować selektywny i bezpieczny sposób dostępu do tych danych dla administratorów sieci MAN. Jednocześnie elastyczność i rozszerzalność systemu sprawia, że możliwa jest jego łatwa rozbudowa w miarę dalszego rozwoju sieci PIONIER.

Wiktor Procyk, Szymon Trocha

Wychodząc naprzeciw pytaniom oraz problemom zgłaszanym przez administratorów sieci MAN przygotowane zostało nowe narzędzie LookgingGlass (https://lg.pionier.net.pl/).

Zakresem działania obejmuje ono wybrane przełączniki szkieletowe sieci PIONIER oraz uruchomione na nich usługi. Obecnie pozwala na sprawdzenie tablic routingu dla usług realizowanych w sieciach logicznych (VRF) PLIX oraz LHCone.

Dane wyświetlane są dla następujących wariantów wyszukiwania:

• Trasa dla prefiksów IP/IPv6 (BGP route)
• Prefiksy oznakowane przez community (BGP community)
• Prefiksy na podstawie numerów AS (BGP AS path)
• Prefiksy rozgłaszane do sąsiada BGP (Advertised Routes)
• Prefiksy odrzucone/niezaakceptowane od sąsiada BGP (Discarded routes)

Informacje prezentowane przez system LookongGlass zostały rozszerzone o statystyki z najważniejszych punktów wymiany ruchu: AMSIX, DECIX, LINX i PLIX. Ponadto dostępne są wykresy liczby odrzuconych pakietów i średnim opóźnieniu (RTT) na poszczególnych interfejsach szkieletowych.

System LookingGlass działa w oparciu o oprogramowanie hyperglass (https://hyperglass.dev/), natomiast statystyki ruchu dostępne są przez popularny pakiet Grafana współpracujący z bazą danych VictoriaMetrics.

Hyperglass jest oprogramowaniem typu open-source obsługującym wiele różnych platform sprzętowych. Pozwala na bardzo elastyczne dostosowanie konfiguracji do bieżących potrzeb użytkowników. W prosty sposób umożliwia dodawanie nowych urządzeń do systemu lub wybór prezentowanych informacji.

Uruchomiony dla administratorów system LookingGlass jest narzędziem bliźniaczym dla działającej już prototypowej usługi PIONIER-IX (https://lg.ix.pionier.net.pl/).

Statystyki prezentowane przez platformę Grafana pochodzą z danych telemetrycznych zbieranych za pośrednictwem interfejsu JTI (Juniper Telemetry Interface). Dzięki temu możliwe jest gromadzenie z wysoką częstotliwością szczegółowych danych takich jak zajętość kolejek na poszczególnych interfejsach lub liczba odrzuconych pakietów.

Zastosowane narzędzia pozwalają administratorom sieci MAN na sprawdzenie stanu poszczególnych usług, a co za tym idzie przyspieszają diagnostykę i rozwiązywanie problemów.

Tomasz Szewczyk

Innym sposobem realizacji linii światłowodowych sieci PIONIER było wykorzystanie słupów linii wysokiego napięcia (110 kV) i podwieszenia na nich kabli światłowodowych o  specjalnej konstrukcji. Kabel OPGW (ang. Optical Ground Wire) jest to konstrukcja kabla odgromowego (oplot aluminiowy) z tubami, w których prowadzone są włókna światłowodowe. Kabel ADSS (ang. All Dialectric Self Supporting cables) swoją budową zbliżony jest do tradycyjnego kabla kanałowego. Na poniższym zdjęciu pokazano fragment napowietrznej linii światłowodowej relacji Łódź – Warszawa (odcinek Koluszki-Skierniewice) wykonanej w technologii OPGW.

W sieci PIONIER zainstalowano ok. 630 km linii napowietrznych. Kable światłowodowe tych linii zawieszone są w relacji Warszawa – Białystok (pierwsza uruchomiona relacja w sieci PIONIER!) oraz Sochaczew – Miasteczko Śląskie. Instalacja kabli napowietrznych była stosunkowo szybka i relatywnie tańsza w porównaniu do linii doziemnych. Jest to też infrastruktura bardzo rzadko ulegająca różnego rodzaju uszkodzeniom. Niemniej sama ich eksploatacja wiąże się z koniecznością akceptowania trudnych warunków i ograniczeń właściwych dla sieci elektroenergetycznych wysokiego napięcia. Dostęp do takiej infrastruktury wymaga wyłączenia całej relacji linii energetycznej. Ponadto kable podwieszane na słupach dużo bardziej podlegają działaniom niekorzystnych czynników atmosferycznych. Z tego względu konstrukcja kabli i ich sposób montażu na słupach muszą być odporne na duże naprężenia podczas silnych wiatrów oraz uwzględniać dobowe i sezonowe różnice temperatur. W ostatnim czasie, zważywszy starzenie mechaniczne, obserwujemy konieczność poprawy mocowania niektórych elementów linii, takich jak osłony złączowe czy tłumiki drgań.

W trakcie długoletniej eksploatacji linii światłowodowej zdarza się, że zachodzi potrzeba wykonania pilnych prac naprawczych, planowych przebudów czy podjęcia działań prewencyjnych zapobiegających uszkodzeniom. W przypadku linii napowietrznych w trakcie takich prac może wystąpić konieczność wyłączenia całej sekcji linii energetycznej by bezpiecznie je przeprowadzić. Zdarza się, że na takie okna serwisowe trzeba czekać wiele tygodni.

W przypadku awarii linii (np. zniszczenie słupa, zerwanie kabla) podejmowane są doraźne czynności naprawcze zmierzające do przywrócenia ciągłości włókien i wznowienia możliwości przesyłowych linii, natomiast naprawa docelowa przeprowadzana jest w terminie późniejszym z uwzględnieniem harmonogramu wyłączeń linii energetycznej.

W przeszłości jednym z działań na linii napowietrznej była budowa odgałęzienia nowym kablem do jednego z węzłów na trasie przebiegu głównej relacji z Łodzi do Częstochowy. Na jednym z wielu stalowych słupów linii energetycznej zainstalowana jest osłona złączowa (zwana zwyczajowo mufą) do której zaprojektowano nowe przyłącze kablowe. W kablu OPGW umieszczone są rurki (tuby), w których prowadzone są włókna światłowodowe. Poniżej zdjęcia przestawiające konstrukcję kabla OPGW.

Na słupie znajdują się zapasy odcinków kablowych z obu kierunków zwinięte na specjalnych mocowaniach, zainstalowanych przy osłonie złączowej.

Przed przystąpieniem do prac linia energetyczna została wyłączona a stanowisko uziemione  na czas prowadzenia prac i odpowiednio przeszkolony zespół mógł bezpiecznie zdemontować zapasy kablowe i osłonę złączową, znosząc ją na ziemię.

Osłona została przeniesiona do samochodu technicznego i przez kolejny otwór w jej konstrukcji wprowadzono nowy kabel światłowodowy. Na tackach spawów zostały wykonane spawy.

Po wykonaniu prac osłona złączowa na powrót została zainstalowana na słupie wraz z zapasami kabli. Zespoły pomiarowe wykonały kontrolne pomiary reflektometryczne włókien, weryfikując poprawność wykonanych spawów. Po analizie wyników nowa linia światłowodowa mogła być oddana do eksploatacji.

Piotr Turowicz

Zrealizowane w topologii pierścieniowej linie światłowodowe sieci PIONIER łączą 21 Miejskich Sieci Akademickich (ang. Metropolitan Area Network – „MAN”), zarządzanych przez Jednostki Wiodące danego regionu oraz 5 centrów Komputerów Dużej Mocy – „KDM”. Oznacza to, że każda jednostka MAN/KDM podłączona jest do sieci szkieletowej przynajmniej dwoma niezależnymi fizycznie łączami. Topologia sieci uzupełniona jest dodatkowo 9 połączeniami do krajów ościennych. Długość linii światłowodowych sieci PIONIER na terenie Polski to łącznie 6931,51 km, w tym 5682,51 km własnych linii światłowodowych oraz 1249,00 km linii dzierżawionych od innych operatorów, które uzupełniają podstawową topologię wspomagając optymalizując rozpływ ruchu w sieci.

Komunikacja międzymiastowa realizowana jest za pomocą systemu DWDM opartego o wielostopniowe optyczne krotnice transferowe ROADM. Dzięki swojej architekturze i rozwiązaniom sprzętowym możliwe jest uruchomienie transmisji optycznej między dowolnymi węzłami sieci, do których dołączone są sieci MAN, zapewniając przesyłanie danych z prędkościami 10, 100 a nawet 400Gb/s na pojedynczym kanale.

Zaawansowane usługi transmisji danych realizowane są w sieci pakietowej wykorzystującej technologię MPLS. PIONIER jest niewątpliwie pionierem w tej dziedzinie, zapewniając jako pierwsza w Polsce usługi VPLS dla środowiska naukowo-badawczego z prędkością 10Gb/s w skali całego kraju. Obecnie VPLS zastąpiony został nowocześniejszą technologią EVPN a centra KDM i sieci MAN mają dostęp do interfejsów 100Gb/s.

Monitorowanie i zarządzanie

Nad prawidłowym funkcjonowaniem usług sieci PIONIER nadzór w trybie 24 godz. na dobę przez 365 dni w roku utrzymuje Centrum Zarządzania Poznańskiego Centrum Superkomputerowo-Sieciowego. Zajmuje się ono ciągłym monitoringiem sieci i połączeń, świadczonych usług oraz bieżącą obsługą zgłoszeń i koordynacją prac. Dodatkowo, w ramach zarządzania siecią PIONIER, za warstwę IP odpowiedzialne jest Centrum Komputerowe Politechniki Łódzkiej.

Sieć PIONIER stanowi unikatowe narzędzie badawcze umożliwiające testowanie najnowocześniejszych rozwiązań komunikacyjnych w rzeczywistych warunkach eksploatacji sieci szkieletowej. Nowe koncepcje komunikacji optycznej (np. kwantowej), dalszy dynamiczny rozwój systemów transmisyjnych a także potrzeba optymalizacji ruchu w sieci, determinują potrzebę dalszego rozwoju infrastruktury telekomunikacyjnej sieci PIONIER. W wymiarze praktycznym wiązać się to będzie z wprowadzeniem nowych włókien światłowodowych czy budową nowych odcinków sieci eliminujących nadmierne opóźnienia w przesyle sygnałów optycznych.

Utrzymanie pozycji lidera w dziedzinie technologii sieciowych możliwe jest nie tylko dzięki nowoczesnemu sprzętowi, ale również nowatorskiemu podejściu do wdrażanych usług. Przykładem może być połączenie niektórych systemów autonomicznych sieci MAN w architekturze IX, co dzięki ogólnopolskiemu zasięgowi w istotny sposób usprawnia wymianę danych pomiędzy ich użytkownikami.

Tym artykułem otwieramy pewien cykl przybliżający czytelnikowi aspekty codziennej pracy inżynierów zajmujących się utrzymaniem i eksploatacją rozległej sieci światłowodowej klasy operatorskiej. Na tej drodze, poza planowymi działaniami wspierającymi zapewnienie wysokiego poziomu i niezawodności świadczonych usług zdarzają się, czasem dość zaskakujące, interakcje z otoczeniem ekosystemu sieci warte wspomnienia. Tą drogą będziemy też informować o nowych wdrożeniach. Podzielimy się informacjami dotyczącymi narzędzi, które wspierają inżynierów w ich codziennej pracy.

Krzysztof Kołat, Szymon Trocha, Tomasz Szewczyk