Lange ist's her seit dem letzten Blogpost – aber wir sind nun mal keine Marketing-Leute, sondern Herzblut-Techies. Also, was geht ab hinter den Kulissen von Onlime? Als Kunde merkst du kaum etwas von unseren Weiterentwicklungen, bleiben sie dir doch grösstenteils verborgen. Ausser dass unsere Services jedes Jahr noch zuverlässiger funktionieren und alles noch reibungsloser läuft. Haben wir nicht schon vor 10 Jahren von «höchster Redundanz», «bester Performance» und «höchster Ausfallsicherheit» gepredigt? Mag sein. Wir geben uns aber nie zufrieden, sondern sind laufend bestrebt, unsere Services zu verbessern: Wir vergolden, polieren, finetunen und pimpen. Die Ideen gehen uns nie aus und es steht auch ganz viel auf der Pipeline für die Zukunft.

Beachtet man unsere Statusmeldungen oder diesen Blog, könnte man meinen, Onlime befinde sich im Winterschlaf. Es werden nicht mehr so viele Wartungsarbeiten angekündigt wie vor einigen Jahren. Auch die Störungsmeldungen haben stark abgenommen. Die Anzahl Wartungsarbeiten/Migrationen haben aber keinesfalls abgenommen. Dies ist damit zu erklären, dass wir unser Monitoring laufend ausbauen und allfällige Probleme schon frühzeitig erkennen. So können wir meist proaktiv reagieren und ein Engpass oder eine Störung abwenden, bevor du als Kunde etwas davon bemerkst. Auch können wir grössere Server-Migrationen mittlerweile so gut vorgängig testen, dass die effektive Migration für uns gar kein Risiko mehr darstellt.

Das Jahr geht dem Ende zu. Ich möchte euch hier einen kleinen Einblick geben, was sich im 2023 getan hat, auf was wir stolz sind. Und die Vorfreude auf das, was sich in den nächsten Monaten tun wird, mit euch teilen.

Erneuerte Infrastruktur Datacenter

Ende 2022 haben wir unsere Infrastruktur im Datacenter komplett neu durchdacht. Ziel war es, die Redundanz weiter zu erhöhen, insbesondere auf Netzwerk-Ebene.

Auf dem Plan stand (und mittlerweile komplett umgesetzt):

• Doppelte Netzwerk-Anbindung aller Server via LAGG (Link Aggregation) / LACP
• Stacking der Switches für doppelte Netzwerk-/Stromanbindung und Failover (Aruba VSF – Virtual Stacking Framework)
• Failover-Lösung für Firmware-Upgrades der Switches ohne Unterbruch (Aruba ISSU – In Service Software Upgrade)
• 10Gbps "readiness" auf WAN-Ebene (Upstream), Ablösung firewall appliances
• Firewall appliances: Migration von pfSense auf OPNsense

Unsere bisherigen Switches (HPE/Aruba 2530 Series) waren in die Jahre geraten und mussten durch kostspielige neuere Modelle (HPE/Aruba 6300 Series) abgelöst werden, welche all diese geforderten Features unterstützen. Wir haben nun 2x Aruba 6300F 48G Switches im Einsatz als VSF-Stack, wobei jeder Server jeweils via beide Switches physisch getrennt angeschlossen ist. Auch die Switches sind redundant an unsere Firewall-Appliances angebunden, ebenfalls via LAGG auf 10Gbps-Ports. Sollte es je zu einem Komplett-Ausfall einer dieser Switches kommen, würden wir durch unser Monitoring sofort alarmiert und der Switch könnte zu Laufzeit ausgewechselt werden, ohne dass es zu einem Unterbruch kommt. Aruba VSF (Virtual Stacking Framework) bietet uns ein «hot-swapping» der Switches. Dieses Szenario wurde durch uns auch mehrfach durchgespielt und wir haben einen zusätzlichen identischen Switch als Backup bereit gestellt.

Und warum der Wechsel von pfSense auf OPNsense auf unseren Firewall-appliances? OPNsense ist schon seit vielen Jahren das fortschrittlichere und uns sympathischere System. Sowohl pfSense als auch OPNsense basieren beide auf FreeBSD und bieten ein ähnliches Feature Set. Die Weiterentwicklung von pfSense stagniert jedoch seit längerem und die dahinter stehende Firma (Netgate) ist uns ein Dorn im Auge, da diese scheinbar absichtlich die Community Edition von pfSense vernachlässigt und alle Kunden auf die kostenpflichtige pfSense Plus Lizenz drängt. OPNsense und die dahinter stehende Firma Deciso hat unsere volle Sympathie gewonnen und hat in den letzten Jahren enorm aufgeholt, pfSense in der Weiterentwicklung mittlerweile sogar mit Vollgas überholt. Wir fahren auf unseren neuen Appliances die OPNsense Business Lizenz und haben auch eine Support Subscription abgeschlossen. Damit wandert unser Geld in ein tolles Opensource-Projekt, das wir auch ohne solche Lizenzgebühren gerne durch Spenden unterstützen würden. In den letzten Jahren haben wir viele Erfahrung in OPNsense gesammelt, da wir bereits vor dieser Migration einige Firewall-Appliances unserer Kunden und die Firewall-Appliance unseres Backup-Datacenters auf OPNsense umgestellt haben. Mit grosser Erleichterung konnten wir uns also endgültig von pfSense verabschieden.

Auch die gesamte Stromzufuhr haben wir rundum erneuert und im Frühling 2023 sämtliche APC PDUs durch Raritan PX3 Rack PDUs abgelöst. Die bisherigen APC PDUs erhielten keine Firmware-Upgrades mehr und eine individuelle Strommessung der einzelnen Server/Switches/Firewall-Appliances war damit nicht möglich. Ausserdem ist Raritan viel innovativer als die von Schneider Electric übernommene APC.

Sämtliche Strom-Anschlusskabel wurden durch neue Kabel mit IEC-Lock resp. SecureLock ersetzt. Damit ist das Risiko ausgeschlossen, dass sich ein Stromkabel während Wartungsarbeiten am Rack aus Versehen löst. Im Laufe dieser Migration konnten wir auch unsere redundante Stromanbindung ausführlich testen. Die ganze Neuverkabelung führte zu keinerlei Unterbrüchen.

Das komplette Netzwerk-/Power-Diagramm erspare ich euch hier. Es sieht sehr hübsch aus, sprengt aber den Rahmen dieses Blog-Artikels. Bist du daran interessiert, frag einfach danach via info@onlime.ch und wir präsentieren es dir gerne.

Energieeffizienz

Wir sind laufend bestrebt, die Energieeffizienz unserer Infrastruktur zu steigern. Dank den neuen Raritan PDUs mit outlet metering können wir nun den Stromverbrauch jedes einzelnen Servers und jeder Netzwerk-Komponente überwachen. Die Strommessung wird via unser Zabbix Monitoring überwacht und in unserem Grafana-Dashboard visualisiert.

Bereits im Winter 2022/23 haben wir uns dazu entschieden, einen Server abzuschalten, welcher nur als Backup für Testzwecke (GitLab CI/CD) verwendet wurde. Dies bereitet uns zwar einen Mehraufwand (regelmässiges Hochfahren des Servers für System-Upgrades und zur Replikation), den wir aber gerne in Kauf nehmen, da wir damit konstant Energie einsparen.

Im Dezember 2023 haben wir zwei weitere Server auf "standby" gesetzt, d.h. komplett ausgeschaltet. Diese Server stehen für allfällige zukünftige Projekte frei, weil sie vom bisherigen Kunden nicht mehr benötigt werden.

Bereits vor 2 Jahren sind wir bei Neuanschaffungen von Intel Dual-Core auf AMD Single-Core Server umgestiegen. Diese bieten eine bessere Performance bei geringerem Stromverbrauch. Die Einsparungen sind aber noch nicht sehr gross. Onlime plant seit längerem, auf ARM-Systeme umzusteigen. Diese bieten eine massiv bessere Energieeffizienz. Du kennst ARM bestimmt von Apple Silicon, die neueren M1/M2/M3 Prozessoren, welche einen gigantischen Performance-Sprung bieten bei einem viel geringeren Stromverbrauch. Die Hardware im Server-Bereich wäre längst da, sowohl HPE als auch Supermicro haben ARM-basierte Server mit Ampere Altra CPUs im Angebot. Wir müssen uns aber noch gedulden, bis folgende zwei Produkte ARM-ready sind: Proxmox VE, Percona Server for MySQL – Hoffen wir das Beste für's 2024, dass diese zwei Projekte auch endlich nachziehen und ARM builds liefern!

Im Januar sollte der nächste AMD Server mit NVMe SSDs geliefert werden, der für unser Shared Hosting eingesetzt wird. Dieser wird uns einen weiteren Performance-Boost bringen, bei ähnlichem Energieverbrauch. Wir bemühen uns, unsere Server stets gleichmässig auszulasten durch eine intelligente Verteilung der Virtuellen Server.

10-fache CO2-Kompensation

Abgesehen von diesen technischen Bemühungen, unseren Stromverbrauch zu reduzieren resp. optimieren, hat Onlime auch im 2023 wieder seinen CO2-Fussabdruck über's ganze Jahr berechnet und kompensiert diesen zu 1000% (10-fach) via myclimate. 10-fach, weil es andere nicht tun und dies einfach ins Budget passen muss (... selbst wenn dieses im 2023 übermässig strapaziert wurde).

Via myclimate's CO2-Rechner berechnen wir den jährlichen CO2-Fussabdruck unter Berücksichtigung folgender Faktoren: Arbeitsplatz (beheizte Fläche), Stromverbrauch (gesamte Server-Infrastruktur und Arbeitsplatz, Traffic, Nutzung Cloud-Dienste), Arbeitsweg der Mitarbeitenden, Geschäftsreisen, Verpflegung, Kaffee/Tee, Material und Abfall.

Unsere gesamte Infrastruktur hat dieses Jahr 15'755 kWh verbraucht. Das sind 3'000 kWh weniger als im Vorjahr. Insgesamt hat sich aber unser CO2-Fussabdruck von 3.5t auf 4.5t erhöht. Der Verbrauch war nicht wesentlich höher als im Vorjahr, jedoch haben wir bei der Berechnung dieses Jahr noch mehr Faktoren berücksichtigt (insbesondere der Traffic zwischen unseren Datencentern, und die 2 Geschäfts-Reislis via Nachtzug nach Amsterdam – Flüge sind für uns definitiv ein Tabu!).

CO2-Kompensation: Sinnvoll oder nicht? Wir wollen dies nicht an die grosse Glocke hängen, da wir definitiv kein Greenwashing betreiben möchten! Für uns steht klar, dass es ohne Reduktion nicht geht, die Qualität unserer Dienstleistungen aber auch nicht darunter leiden darf.

Spenden

Auch dieses Jahr unterstützt Onlime wieder folgende NGOs/Organisationen durch eine jährliche Spende: ROKPA International, Afghanistanhilfe Schweiz, CARITAS, PublicEye, myclimate, Greenpeace, ewz.solarzüri, Solarspar.

Weitere Details und die Präsentation dieser Projekte findest du unter Nachhaltigkeit / Soziales & Unwelt.

Airpane-next

Die Weiterentwicklung unseres Controlpanels stand dieses Jahr im Mittelpunkt. Bereits seit über 4 Jahren sind wir mit dem Komplett-Rewrite unseres Controlpanel/CRM mit Codename «Airpane» beschäftigt. Das Projekt hat sich als viel grösser herausgestellt als ursprünglich angenommen.

Airpane besteht aus folgenden 3 Komponenten: Airpane-agent (Microservice zur Webserver-Konfiguration), Controlpanel/Kunden-Dashboard, CRM (Kundenverwaltung und Billing). Airpane-agent wurde bereits im 2019/20 als Microservice in Python/Flask umgesetzt und konfiguriert seither unsere Webserver. Seither ist Onlime in der Lage, Dedizierte Managed Webservers limeDEDICATED anzubieten, d.h. das gesamte Controlpanel ist losgekoppelt von der Konfiguration der Dienste auf den jeweiligen Webservern.

Mit der Neuentwicklung unseres Controlpanel und CRM haben wir uns ein hohes Ziel gesteckt und mussten während dieses Projektes auch bereits die Technologie wechseln. Gestartet haben wir mit Vuetify als Frontend-Komponenten und einer API-Architektur, um das frontend mit dem backend zu verknüpfen. Mittlerweile setzen wir auf folgende Technologien (VILT Stack):

• backend: Laravel
• frontend: Vue.js, Inertia.js, TailwindCSS

Dies gibt uns die nötige Flexibilität und weniger Abhängigkeiten, insgesamt ein sehr zukunftsfähiger Tech-stack.

Seit Mai 2023 ist Pascal Baljet (Protone Media) aus Amsterdam mit im Boot und unterstützt uns bei der Weiterentwicklung während jeweils 2 Arbeitstagen/Woche. Pascal bringt ein riesiges Knowhow sowohl im Backend- (Laravel) als auch im Frontend-Bereich (VueJS) mit. Auch Jonas von unserer Partner-Webagentur RACERFISH unterstützt uns tatkräftig. Eine top Zusammenarbeit! Das Projekt ist so richtig in Fahrt und wir gehen von einen Launch Mitte 2024 aus. Airpane-next wird also endlich spruchreif!

Was kann das neue Controlpanel/Kunden-Dashboard?

• Basierend auf einem modernen Tech-Stack (Laravel, Vue.js, Inertia.js, Tailwind), der uns die Weiterentwicklung vereinfacht.
• Die Verwaltung mehrerer Hostings wird einfacher: Ein Login für alles!
• Gezielte Berechtigungs-Vergabe: Ideal für Webagenturen, welche als Team den Zugriff auf unterschiedliche Hostings benötigen, der Endkunde aber weiterhin für Domains und seine Rechnungen zuständig bleiben möchte.
• Entkoppelung der Domain-Verwaltung (Domain-Registrierung und DNS-Verwaltung) vom Hosting: Domains können neu unabhängig von einem Hosting-Abo verwaltet werden. Onlime wird somit zum Domain-Reseller inkl. übersichtlicher DNS-Verwaltungsoberfläche.
• Sämtliche Controlpanel-Features (PHP-Manager, Subdomains, Datenbank-Verwaltung, FTP-Zusatzaccounts, SSH-Verwaltung, Zugriffs-Statistiken, Verzeichnisschutz, Cronjob-Manager, usw.) bleiben erhalten, kommen jedoch übersichtlicher daher. Die neue Oberfläche bietet auch mehr Konfigurations-Möglichkeiten, insbesondere beim PHP-Manager.

Open Source Commitment

Dieses Jahr haben wir uns vermehrt an der Weiterentwicklung von Open-Source-Projekten beteiligt. Wir haben einige PRs submitted, insbesondere für Laravel und Saloon. Zudem haben wir im August 2023 folgendes Projekt veröffentlich:

• PolicydRateGuard – A slick sender rate limit policy daemon for Postfix, written in Python.

Finanziell unterstützen wir folgende Projekte: Proxmox VE (Community Subscription), OPNsense (Business licenses), DEB.SURY.ORG (PHP Debian packages by Ondřej Surý), div. Sponsoring von GitHub-Projekten.

Debian Bookworm

Onlime's Server-Infrastruktur fährt beinahe zu 100% auf Debian Linux. Aktuell sind 10-12 physische Proxmox VE (Debian basierend) Server im Einsatz, auf denen wir insgesamt 50 virtuelle Server betreiben. Im Juni 2023 ist das neue major release Debian 12 «Bookworm» erschienen. Im Herbst haben wir praktisch alle Server auf den aktuellsten Stand gebracht. Bei einigen physischen Servern war auch eine komplette Neuinstallation notwendig, um die veraltete Partitionierung abzulösen (vgl. ZFS: Switch Legacy-Boot to Proxmox Boot Tool).

All diese Upgrades konnten wir ohne nennenswerte Unterbrüche durchführen. Bei den grösseren Servern und den limeDEDICATED gab's jeweils eine Vorankündigung und es kam zu einer Downtime von unter 15min.

Insgesamt verlief die Migration auf Debian «Bookworm» absolut schmerzlos und du hast als Kunde wohl kaum etwas davon bemerkt.

Pläne für's 2024?

Auch nächstes Jahr widmen wir voll und ganz der Weiterentwicklung unseres Controlpanels/Dashboards «Airpane-next», mit dem wir hoffentlich Mitte 2024 live gehen können.

Abgesehen davon soll das veraltete AWStats durch GoAccess abgelöst werden. Für die Domains planen wir die Einführung von DNSSEC. Weitere Pläne möchten wir euch heute noch nicht verraten.

Onlime wird 20!

Das wäre nun beinahe vergessen gegangen: Onlime feiert sein 20-jähriges Bestehen! Am 11. Dezember 2003 ging das damalige «Onlime Webhosting» mit dem ersten Server live und hat sein Hosting-Angebot am 1. Januar 2004 veröffentlicht. Alles lief auf einem einzigen Mietserver – das waren noch Zeiten!

Stosse mit uns an! Happy New Year und auf ein weiteres Jahrzehnt!