sisblog

fsck…

Eens mezelf citeren afgelopen maand…

“Het probleem met de fileservers is voorlopig ook van de baan. Door het probleem is duidelijk geworden hoe belangrijk het storage gedeelte is voor onze setup. Een fsck op die systemen draaien duurt al enkele uren. We hadden niet gedacht dat die uit de kluiten gewassen machines zoveel problemen zouden geven en kijken uit naar dure maar betrouwbare en schaalbare oplossing. Bij EMC hebben we ondertussen al wat op het oog, nu enkel hopen dat die storage appliances hun verwachtingen ook kunnen waarmaken.
”

En deze nacht was het weer van dat… Lekker een nachtje door fsck’en … Backup terugzetten was een optie maar duurde uiteindelijk toch bijna even lang… (Backups waren gerestored om een andere machine 10 minuten nadat het systeem hersteld was). Spijtig dat klanten niet beseffen dat zo’n fsck gewoon lang kan duren.

En het strafste is dat dat zelfs bij een dure EMC oplossing van 40K kan gebeuren en eigenlijk niet helemaal uit te sluiten is… Daar is wel snellere replicatie mogelijk.

De vraag is of investeren in een peperdure storage oplossing wel de nodige return zal hebben indien we onze huidige tarieven behouden.

Misschien terug overschakelen naar losse servers… kleinere disk arrays, snellere restores, en uiteindelijk toch minder problemen… Ironisch, aangezien we geinvesteerd hebben in ons huidig platform net om een betere continuïteit te garanderen.

To be continued…

1-eurohost op TV

Gisteren te zien op WTV én VTM: Het logo van 1-eurohost.com (onze webhosting onderneming) op de Jersey van een paintballteam.

Het door ons gesponsorde team werd tweede in die competitie. Yay!

Leuk, weer wat exposure, wellicht zonder enig effect.

Normaal gaan we nooit in op sponsoringsaanvragen aangezien we daar geen directe baten bij hebben. Hier hebben we wel een uitzondering gemaakt daar de bezieler van het team een heel goeie vriend van me is en ze eea tegenover de sponsoring gesteld hebben.

Hard beroep

De afgelopen 14 dagen heb ik mij een beetje overwerkt denk ik.

Een cumulatie van probleempjes: Een van onze uplinks die niet naar behoren werkte (zie vorige posts), fileservers die allen tegelijk besloten moeilijk te doen en voor een nachtje in LCL hebben gezorgd en de gebruikelijke ‘klanten’ die denken dat alles kan en alles mag in een shared hosting omgeving en er zo in slagen eea te overbelasten.

Het uplinkprobleem is opgelost, de backbone van de leverancier bleek gemaxed. Vreemd dat ze 14 dagen nodig hadden om dat op te lossen en nooit duidelijk geantwoord hebben op onze vragen. De tegemoetkoming van hun zijde volgens hun SLA is uiteindelijk maar een magere troost (150 euro!).

Het probleem met de fileservers is voorlopig ook van de baan. Door het probleem is duidelijk geworden hoe belangrijk het storage gedeelte is voor onze setup. Een fsck op die systemen draaien duurt al enkele uren. We hadden niet gedacht dat die uit de kluiten gewassen machines zoveel problemen zouden geven en kijken uit naar dure maar betrouwbare en schaalbare oplossing. Bij EMC hebben we ondertussen al wat op het oog, nu enkel hopen dat die storage appliances hun verwachtingen ook kunnen waarmaken.

Het moeilijkste van de job is eigenlijk het zoeken naar een snelle, betrouwbare en veilige oplossing die ideaal is voor de meeste klanten. Het vebeteren of wijzigen van één van die aspecten heeft bijna altijd een negatieve impact op de andere. Inbouwen van veiligheidsmechanismen die er voor zorgen dat iemand niet alle systeembronnen kan gebruiken zorgt voor extra rekenkracht en het kan zijn dat gebruikers die iets willen doen wat eigenlijk wel (of toch eenmalig) zou moeten kunnen ook uitgesloten worden. (bijvoorbeeld: je kan een limiet op een aanvaardbaar aantal mysql queries per uur stellen maar iemand die eenmalig een database wil importeren zit dan ook in de problemen…).

En daarnaast ben ik nog massa’s tijd verloren door doktersbezoeken nadat ik door mijn nachtje in het datacenter last heb van gebrom in mijn oren.

Al bij al een gevaarlijk beroep dus

Duur is niet altijd beter

In onze netwerkmix hebben we één internationale speler en 2 lokale partners die ons de nodige routes leveren naar de rest van het internet. Die lokale partners hebben veel peerings met andere lokale netwerken en onze ‘internationale’ partner garandeert ons ook erg korte routes naar de rest van de wereld.

Die duurdere speler heeft probleemloos gewerkt tot enkele weken terug. Routes die via hen gaan ondervinden overdag tijdens drukke momenten extra latency. (+100 ms naar Belnet). Geen loss, maar onaanvaardbaar gezien dat verkeer over enkel over een router in Brussel moet en direct gedumpt wordt op Bnix.

Dan maar een ticket geopend in hun noc paneel. Na 48 uur geen antwoord of verdere uitleg.
In hun noc kan ik normaal ook latencyststistieken opvragen op onze lijn. Deze pagina’s blijken niet meer beschikbaar.
Volgens onze eigen statistieken blijkt het euvel al langer aan de gang.

Dit had ik echt niet verwacht van een partner die 300 procent duurder is dan de anderen.

Gelukkig kunnen we nu alles omrouten over ‘goedkope’ lokale uplinks maar dit had ik niet verwacht van een provider die ‘Let’s talk’ als motto heeft en zich profileert als kwalitatieve connectivity partner. Veel talk is er niet geweest, onze Britse account manager beweert onze account manager niet te zijn en op het noc nummer kan men mij niet helpen.

Onze andere partners hebben nu ook wel nu en dan een hickup, maar die worden dan wel opgelost na melding van het probleem. Verrassend genoeg blijkt de allergoedkoopste connectivity partner degene met de minste problemen ondanks hun reputatie.

Media exposure

Ik ben benieuwd waar het nog opgepikt wordt.

Nu ja bescheiden blijven, in feite stelt die award niet veel voor, het is wel leuk natuurlijk en gewoon gratis reclame.
Hln.be bereikt dagelijks 300.000 surfers en demorgen.be 50.000.

Stone IS krijgt DNS.be award

Vandaag kreeg ik een telefoontje van de lieve mensen van DNS.be met de vraag of er zeker iemand van ons naar het agentensyposium zou komen omdat we een award gewonnen hebben. Yay!

Dit omdat we in 2006 ons eerste jaar als agent afgesloten hebben en we blijkbaar van alle agenten die toen hun eerste afgesloten hebben de meeste domeinnamen geregistreerd hebben (Best first year performer 2006).

Ik kan er die dag spijtig genoeg niet zijn. Pierre zal alleen de honeurs moeten waarnemen. Bummer.

Gingen de voorgaande jaren aan de haal met die award:
IN bvba - Priorweb - Openminds - en computools.

Dat belooft voor de toekomst

Linkser dan gedacht…

Aw volgens het kieskompas ben ik iets linkser dan gedacht.
Mijn vriendin had gelijk… Ik ben linkser dan ik durf toegeven.

Spirit. Rood dat wat paars is uitgeslaan.
Logisch, mijn vader komt uit een rood nest politiek actieve personen en mijn moeder heeft een blauwe achtergrond.

Murphy

Murphy is overal.

Vandaag zou een ‘Senior Channel Account Manager’ van SWsoft bij ons langskomen om een partnerschap met SWsoft te bespreken.
(We nemen aardig wat licenties af bij SWsoft, van het controlepaneel voor onze klanten over hun virtualisatiesoftware tot onze eigen backend).

De eerste afsraak vorige maand is niet doorgegaan omdat de SWsoft vertegenwoordiger problemen had met zijn bagagge in Zaventem en onze afspraak moest laten schieten. Later dezelfde week zouden we op de Microsoft hosting days de zaak bespreken maar toen zijn wij er wegens omstandigheden niet geraakt.

Derde keer, goeie keer dus.

Maar alweer valt de ‘irl’ afspraak in het water… Deze keer wegens een gemiste vlucht. De afspraak gaat nu toch door - niet in real life - maar door middel van een conference call. Hopelijk werkt het wat vruchten af en kunnen we een mooie deal bedingen, Virtuozzo VPS’jes verkopen immers vrij goed.

A Life Like Mine

Ooit, in mijn nog zorgeloze studententijd, hield ik mij met heel andere dingen bezig.
Samen met enkele vrienden hadden we een vrij egocentrisch ‘avant la lettre’ blog-projectje:

A LIFE LIKE MINE

We hadden het ideetje om elke dag foto’s te trekken van ons doen en laten en er een uitleg bij te plaatsen.
Mijn kot had toen immers een ongelimiteerde 10Mbit verbinding met VAST ip.
Er stonden al servertjes onder mijn bed voor enkele projectjes van Pierre. Hij was toen bezig met ‘Unified’ een soort ‘community’ CMS. (Sites die daar nog op zijn code draaien: levels4you.com en tricord.be.

Ik herinner me nog dat we toen om de eerste server installatie ‘te vieren’ een paar halve liters bier hebben gedronken… Toen wisten we niet dat we 4 jaar later een bedrijf zouden oprichten in dezelfde richting.

(Foto van de servertjes op mijn kot toen: hier en hier ). Vrij ghetto dus.

Hoe het allemaal begon…

Op een dag leende ik van Jan Van Cauwenberge een digitale camera.
En zo ontstond het idee om alles online te publiceren.

Wat ohp code geschreven en nog voor flicker bestond hadden we onze eigen fotoblog!

Alles kwam er op: foto’s van mijn eten, feestjes, reizen, lessen informatica in de S9, foto’s van cursuspagina’s tijdens den blok, en veel veel meer (alles quoi)… Naar het einde toe waren het wel bijna uitsluitend fotoreportages van feestjes.

Er zijn er meer dan 24.000 foto’s gepubliceerd…

Er was toen zelfs niet echt sprake van het begrip ‘blog’:

Een artikel in de De Gentenaar spreekt van ‘log’: http://www.gentenaar.be/Article/Detail.aspx?ArticleID=NBRA11062003_002

En het was nog vrij populair ook:

Photographs: 24123
Days: 784
Page Views: 4602371

4,6 miljoen pagevieuws … van de 12.000 sites die we nu hosten komen er maar een paar in de buurt…

Wat ook opvalt: Toen moest het nog in het Engels (en ja mijn Engels is wat brak) omdat internet toen minder gelokaliseerd was dan het nu het geval is. Ook de evolutie van de kwaliteit van de digitale camera’s is in die paar jaar ook enorm geevolueerd.

De door mij geschreven php code is ook niet erg fris meer, en er staat content op waar ik mij nu van distantieer.
Wie goed zoekt vindt ook foto’s op die tegen mij gebruikt kunnen worden.

Maar hey: Ik heb een periode in mijn leven die volledig gedocumenteerd is. Wie kan dat zeggen?
Het is ook grappig te zien hoe ik ben bijgekomen tijdens mijn studententijd en ik ben geevolueerd tot wie ik nu ben.

Begin 2002: http://www.alifelikemine.be/diary2.php?name=jan&day=03042002&i=7
Eind 2004: http://www.alifelikemine.be/diary2.php?name=jan&day=06122004

Ondertussen zit ik weer op mijn gewicht van 2002 maar het heeft wel een half jaar lijnen en sporten gekost.

Pierre is ook helemaal veranderd:

http://www.alifelikemine.be/stein/15092003/DSC02483.JPG

The End:

Op een dag vond de unief het nodig om het lijntje te limiteren en een VPN verbinding in te voeren.
Het was toen gedaan met de pret maar onder de vleugels van een bedrijfje waar ik toen voor werkte had ik een huurserver ter beschikking. Later is 1-eurohost.com ontstaan met als doel ook anderen gebruik te laten maken van de server(s).

Alifelikemine stierf een stille dood in 2004 toen mijn leven een wat andere wending nam: te druk als praeses van Home Vermeylen, nieuwe liefde in mijn leven en toen Stone Internet Services opgericht werd was er al helemaal geen tijd meer voor.

Wel raar om foto’s van toen terug te zien.

Ik heb zin om mijn shouders weer onder zo’n projectje te zetten.
Maar ja… tijdsgebrek.

Menselijk kapitaal

De afgelopen maanden ben ik niet meer in LCL geweest voor echte problemen waar manuele interventie vereist is. Dit bewijst dat de huidige setup goed draait (op 1 node na, die dringend moet gemigreerd worden naar een systeem met hardware raid want de io schiet wat te kort, maar die machine is al besteld). Yay!

Het moet nu lukken dat ik, net nu Pierre (alweer) op skivakantie is, ik de backup server per ongeluk halt…
Geen direct probleem ware het niet dat een klant net een backup nodig had.
Helemaal naar Brussel in de fucking hitte gewoon om op de powerknop te duwen… Frustrerend.

Balen, vooral omdat de support en sales vragen tijdens mijn afwezigheid zich verder opstapelden.

Het geautomatiseerde en met het webhosting controlepaneel geïntegreerd klanten-, administratie- en registratiesysteem heeft ons werk minder verlicht dan gedacht. We moeten nog altijd bij veel mensen hun handjes vasthouden. Men verwacht dat we door de klanten zelf geschreven scripts, of die van anderen debuggen. Erger nog zijn degenen die te lui zijn om bijvoorbeeld een mailbox in te stellen en ons een ‘welgemeende fuck you’ terug mailen nadat we hen uitgelegd hebben dat ze dat in enkele klikken zelf kunnen instellen. Het houdt ook nooit op.

Wat vond ik in mijn mailbox vandaag:

“Ik heb vorige week bij jullie ….be besteld, we zijn een week verder en jullie hebben nog altijd geen website voor mij gemaakt. Ik zal contact opnemen met Test Aankoop om dit aan te klagen.”
… Wij doen enkel hosting, we maken geen sites voor klanten…
“Ik heb een A record aangemaakt voor ‘domeinnaam.be’ en en www.domeinnaam.be verwijst niet naar het IP.”
… Klant had inderdaad een A record ingesteld maar enkel voor domeinnaam.be .
“Mijn site werkt niet meer, ik heb nogthans op disable gedrukt en bevestigd.”
… Klanten kunnen hun sites ‘disablen’ via een schakelaartje.
“Ik krijg al twee weken om de dag een mail dat mijn domeinnaam zal vervallen indien ik niet betaal. Vandaag werkt mijn site niet meer, waarom?.”
… Klant had uiteraard niet betaald
“Ik heb mijn ticket gesloten en jullie hebben niet meer op mijn vraag gereageerd.”
… duidelijk…

Urgh…

De volgende investering is in menselijk kapitaal…