[Erik]

Apache startades om på Manu1-servern, vilket medförde störningar mellan kl.13:54 - 14:02.

Vi ber om ursäkt för detta. Vi var tvugna att göra omstarten efter en omkonfiguration av Apache.

[Erik]

Manu1-servern har just nu problem med phpMyAdmin. Ingen kan logga in, utan får ett meddelande om att "Wrong username/password. Access denied."

Detta håller på att åtgärdas nu. Vi hoppas det ska vara klart inom kort.

[Erik]

Citat

Manu1-servern har just nu problem med phpMyAdmin. Ingen kan logga in, utan får ett meddelande om att "Wrong username/password. Access denied."

Detta håller på att åtgärdas nu. Vi hoppas det ska vara klart inom kort.

Nu är problemet åtgärdat.

[Erik]

Manu1 servern är just drabbad av störningar när det gäller MySQL & utgående mail i vissa fall. En uppgradering pågår av Cpanel vilket är orsaken till detta.
Vi beklagar dessa störningar.

Detta inlägg har redigerats av Erik: 24 augusti 2005 - 00:00

[Erik]

Manu1 servern har störningar på Horde webmail. Störningar kan tyvärr förekomma när vi åtgärdar detta under förmiddagen.

[Erik]

Hordes problem på Manu1-servern är lösta sedan tidigare, kvar är justering av phpMyAdmin. Detta ska vara löst inom kort.

Vi är mycket ledsna över dessa störrningar på servern.

[Erik]

phpMyAdmin ikonen som fanns på Cpanel's huvudsida kommer försvinna bort från alla servrar framöver. Så snart uppgradering av Cpanel sker, försvinner ikonen.

phpMyAdmin kan istället nås genom att klicka på "MySQL Databaser" ikonen. Längst ned på den sidan hittas en länk till phpMyAdmin.

Det är Cpanel's utvecklare som justerar om en aning i utseende och form.

[Erik]

MySQL startades om på Manu2 servern ikväll. Ett installerat skript på ett konto orsakade överbelastning.

[Erik]

Vi planerar att byta ut Backup-hårddisken för Manu1-servern till en större. Datum & tid för detta kommer postas här, samt skickas ut via ett Nyhetsbrev.
Bytet beräknas ta ca 20 minuter att genomföra.

[Erik]

Citat

Vi planerar att byta ut Backup-hårddisken för Manu1-servern till en större. Datum & tid för detta kommer postas här, samt skickas ut via ett Nyhetsbrev.
Bytet beräknas ta ca 20 minuter att genomföra.

Byte av Backup-hårddisk på Manu1-servern kommer genomföras Onsdag 31:a augusti ca kl. 02:00. (Alltså natten mellan Tisdag/Onsdag)
Beräknas ta ca 20 minuter.
Under denna tid kommer servern vara nere, inklusive manufrog.com

[Erik]

Just nu går det hemskt segt på Manu1-servern som ni säkerligen märker utav.
Detta beror på att det just nu körs två tunga backuper som kommer att bli klara om några timmar.
Vi ber verkligen om ursäkt för eventuella störningar, men det är ingen fara och det kommer att bli bättre.
Vi gör detta för att lättare kunna göra dagliga backuper utan störningar (förhoppningsvis) i framtiden.

Dessutom körs underhållsarbete nu på manu1-servern, för att åtgärda fel när det gäller diskkvot (mätare för utnyttjat utrymme) som finns i Cpanel.

Detta inlägg har redigerats av Erik: 01 september 2005 - 20:37

[Erik]

Attans teknik. Vi är tyvärr tvugna att köra åtgärdsprogrammet för diskkvot på manu1-servern igen. Allt blev inte fixat i den förra körningen.
Beräknas ta ca 6 timmar framåt, och kan orsaka störningar vid hög trafik till/från servern.

Ledsen över dessa störningar, men vi vill alltid försöka ha så felfria och optimerade servrar som möjligt.

[Erik]

Uppdatering kring Manu1-servern

Diskkvoterna är nu åtgärdade, så nu ska alla värden vara korrekta igen för alla konton. Det visade fel på ett antal konton, så att man kunde tro att mer utrymme använts än vad det egentligen var.

Servern kör nu en disk-kontroll, men den ska inte påverka servern nämnvärt. Bör vara klar inom någon timme eller två.

Vi vill tacka all våra kunder för visat förstående och gott samarbete vid dessa dagar med drift-störningar. Ha en trevlig helg allihop!

[Erik]

Den första MånadsBackupen körs nu på den nya hårddisken, vilket kan ge störningar för manu1-servern.

När den första gången backup'en körs på en ny hårddisk, tar det längre tid än normalt, och förbrukar mer resurser.
Backup'en kommer hålla på hela natten, in på förmiddagen.

När väl denna backup är gjord, kommer framtida backup'er inte ge störningar eller pågå mer än några timmar nattetid.

--------- nytt ---------------------------
Sedan några timmar är nu backup-proceduren klar och störningarna är borta på manu1-servern.

Detta inlägg har redigerats av Erik: 03 september 2005 - 09:48

[Erik]

Manu2-servern har störningar för utgående mail just nu. Det går inte att skicka från och till vissa konton. Det är brandväggen som blockerar detta,
och åtgärder pågår just nu för att lösa detta.

[Erik]

Manu2 servern är tyvärr nere sedan kl. 09:10 tiden. Åtgärder pågår för att få servern online igen.
Ledsen över dessa störningar, vi hoppas allt ska vara löst inom kort.

Och vi beklagar att informationen om detta inte postas om detta föränns nu.
En oplanerad kompilering var orsaken.

[Susanna]

Just nu är det störningar för kunder som har Telia, ComHem eller Tiscali som internetleverantör.
Våra servrar kan inte nås.

Bredbandsbolaget mfl. har inte drabbats av detta.

[Susanna]

Servrarna ska kunna nås efter kl. 14:07 av alla kunder.
Vi hoppas att detta inte ska upprepas, och att vi eller någon av alla Er som felanmält detta får ett svar på orsaken.

[Erik]

Just nu pågår arbete med att få tillbaka Fantastico-ikonen på servrarna efter vår uppgradering av både Cpanel & till senaste Fantastico-versionen.
Jag är klar med manu3 och manu2. Håller på med manu1 just nu.

Störningar förekommer tyvärr, men det skall strax vara klart.

[Erik]

Vi har fått rapporter om att svarstiderna är långa till våra servrar. Vi har kontaktat tekniker för att kolla upp detta.
Vi ber om ursäkt för dessa störningar, och hoppas de snart ska vara avhjälpta.


NYTT:
Många servrar i det datacenter där våra servrar finns placerade i, har drabbats av en Mask som har ökat utgående trafik så mycket att alla servrar blir drabbade av lång svarstider.
Teknikerna jobbar för fullt för att åtgärda detta på snabbast möjligaste tid.

Detta inlägg har redigerats av Erik: 13 september 2005 - 20:06

[Erik]

Citat

Många servrar i det datacenter där våra servrar finns placerade i, har drabbats av en Mask som har ökat utgående trafik så mycket att alla servrar blir drabbade av lång svarstider.
Teknikerna jobbar för fullt för att åtgärda detta på snabbast möjligaste tid.

Problemet med "masken" är nu löst på de drabbade servrarna i datacentret. Svarstiderna är nu betydligt bättre.
Ingen av våra servrar var drabbad av denna "mask".

[Erik]

Manu1-servern
Pga att flera Horde sessioner hade hängt sig under natten, försenades den dagliga Backup'en flera timmar. Serverbelastningen blev helt enkelt för hög, så Backp'en pausades.
Vi har nu "dödat" dessa sessioner och Backup'en har åter startats.

Detta kan medföra vissa störningar vid hög trafik till/från servern. Speciellt krävande applikationer såsom Horde kan laddas segare än normalt.
Vi ber Er ha överseende med detta, och hoppas Backupen ska vara klar på förmiddagen.

[Erik]

Sedan 5 minuter tillbaka är nu den dagliga Backup'en klar på manu1-servern.
Vi ber om ursäkt för dessa störningar under förmiddagen.

Nu rullar allt på fint igen.

[Erik]

MySql uppgraderades till version 4.1.13 på Manu3-servern under natten.
Uppgradering från 4.0.25 till 4.1 kommer ske på övriga servrar så snart som möjligt.

[Erik]

Manu3-serven har störningar just nu gällande php. Åtgärder pågår.

[Erik]

Apache vill inte starta om, vilket gör att sidorna är nere just nu på Manu3-servern. Åtgärder pågår.

[Erik]

Nu startar Apache på Manu3-server igen. Dock förekommer störningar för Databaserna/MySQL.
Vi försöker åtgärda detta så fort vi kan.

Ledsen över störningarna.

[Erik]

Störningarna på Manu3-servern upphörde vid 09:40 tiden.
Vi fick köra en kompilering av Apache för att få allt att fungera med den nya versionen av MySql.

[Erik]

Nu under eftermiddagen görs (gjordes) en kompilering av Apache, för att få GD-library att fungera.

Vi ber om ursäkt för dagens störningar på Manu3-servern.
Ibland vill ny teknik inte samarbeta med den gamla tyvärr.

[Erik]

Rackarns teknik.
Vi kommer troligen köra ännu en kompilering på Manu3-servern, eftersom Freetype inte verkar fungera. Denna gång ska vi se till så både GD & Freetype fungerar efter kompileringen. (Troligen kör vi den nu i natt)

Kompileringen kan göra att en del störningar kommer förekomma. När Apache startas om, kommer alla sidorna på servern ej kunna nås under några minuter.

Vi beklagar dessa störningar, och hoppas detta ska vara den sista för en lång tid framöver.

[Erik]

Kompileringen blev klar kl. 03:30 inatt. Apache startades om kl. 03:26 & kom tllbaka online 03:30.
Och nu fungerar både GD & Freetype som det ska göra.


Nytt:
Aldrig får man vara helt glad förståss IMAP vill inte vara med, men åtgärder pågår för att fixa detta - på Manu3-servern alltså.

Detta inlägg har redigerats av Erik: 20 september 2005 - 08:32

[Erik]

Nu fungerar IMAP åter på Manu3-servern.

[Erik]

Underhållsarbete för Exim (mailservern) pågår just nu på Manu1-servern. Det kan därför ta längre tid för mail som skickas via servern, att komma fram till mottagaren.

Men alla mail hamnar i mailkön, så inga kommer bort.
Vi beklagar denna störning, som tyvärr måste ske nu.

[Erik]

Vi kommer under dagen att köra en kompilering av php på Manu3 -servern. Så störningar kan förekomma.
När servern (Apache) startas om kommer sidorna ligga nere, men de kommer upp så snart Apache startats igen.

Vi ber om ursäkt för dessa störningar.

Detta blev inställt. Behövdes inte göras helt enkelt. Ursäkta felmeddelandet.

Detta inlägg har redigerats av Erik: 29 september 2005 - 20:06

[Erik]

Kl. 15:48 idag fick nätverket på datacentret problem, som orsakde störningar för våra servrar.
Servrarna börjar kunna nås nu igen, en efter en.

Vi ber om ursäkt för dessa störningar,
och har tyvärr ännu inga uppgifter på vad störningarna berodde på.


--- NYTT ! --------

En D-Dos attack orsakade störningarna, och teknikerna blockerade då bla. flera ip-nummer. När attacken slutat, tog de bort blockeringarna för de ip-nummer som inte används för D-Dos attacken. Detta var klart vid 16-tiden.

Dock kvarstod en del ip-nummer som är misstänkta för attacken. Ett filter används nu för att filtrera ut ip-nummer ett efter ett som inte ska blockeras längre.

Därför kan bla. Telia kunder fortfarande ej nå serverna, men övriga världen kan.

Detta inlägg har redigerats av Erik: 01 oktober 2005 - 15:36

[Erik]

Angående neretiden

Allt berodde på en D-Dos attack vid 15:48 tiden, som var blockerad vid 16-tiden.
Dock var flera ip-ranges blockerade efter 16 tiden, så flera ISP'er i Sverige var blockerade.
Ett filter sorterade ut de ip-nummer som kunde uteslutas helt från att vara skyldiga till attacken, och detta var klart kl. 16:55.

Så nu bör all våra kunder kunna nå servrarna.

Vi är ledsna för störningarna, men ett 100% skydd mot D-Dos attacker finns tyvärr inte.

[Erik]

Manu1-servern drabbades av störningar för Imap under förmiddagen. Orsaken var att flera Horde (webmail) sessions hade hängt sig.

Månadsbackupen har drabbats av förseningar pga detta, och körs just nu, så tyvärr kan fortsatta störningar förekomma i form av att sidor med MySQL databaskopplingar laddas segare än normalt.
(I normalfallet hade Backup'en varit klar vid 7 tiden på morgonen)

Vi ber om ursäkt för detta.

Nytt:

Ursäkta miss i informationen; Störningar kan även bli för Imap eftersom det baseras på MySQL.

Ännu nyare:
Nu är äntligen Backup'en klar, och allt har återgått till normal belastning på servern. Vi ska kolla upp varför denna "bug" i Horde gör att sessioner hänger sig och stör allt annat på servern. En eventuell uppgradering av Cpanel kanske kan åtgärda detta.

Detta inlägg har redigerats av Erik: 03 oktober 2005 - 17:46

[Erik]

Manu3-servern är nere sedan kl. 02:47.

En switch på datacentret är orsaken till detta, och åtgärder pågåt för fullt för att få servern tillbaka online.
Vi är mycket ledsna över detta.


Och självklart strular Comhem sedan några dagar tillbaka, och är inte åtgärdat ännu, så driftsidan kan tyvärr inte uppdateras om detta.

Detta inlägg har redigerats av Erik: 10 oktober 2005 - 03:28

[Erik]

Nu är servern tillbaka online igen. Vi beklagar verkligen denna långa neretid.



Nytt:
Switchen samt en ethernet kabel böts ut för att åtgärda felet permanent vid kl.05:39

Detta inlägg har redigerats av Erik: 10 oktober 2005 - 06:20

[Erik]

Just nu har Manu-servern störningar som gör att det ser ut som den är nere.
Vi undersöker vad som kan vara fel.

Det ser ut som om "named" har problem, vilket gör att domännamnen inte kan användas, utan bara ip-adresserna.
Vi håller på att åtgärda detta nu.

[Erik]

Manu1-servern är åter uppe. Vi beklagar störningarna, arbete pågår för att ta reda på vad som hände.



NYTT !

Orsaken var både IMAP och flertalet dåligt skrivna script använde allt minne på serven. En del resurser stängdes då ned automatiskt, bla. "named", för att få servern stabil igen.

Tekniker har konfigurerat om IMAP, och vi hoppas det ska fungera bättre nu. De dåligt skrivna scripten återstår, men vi har inaktiverat en funktion som användes av ett av de "värsta" minnesförbrukande scripten.
Så allt verkar stabilt numera.

Detta inlägg har redigerats av Erik: 11 oktober 2005 - 20:54

[Erik]

Vi har problem med att få Manu1-servern stabil. Servern samarbetar inte riktigt som vi vill.
En del störningar kommer därför pågå under förmiddagen, tills vi löst det hela.



Förmiddagen har nu blivit eftermiddag, och vi brottas fortfarande med Manu1-servern.
Vi beklagar dessa störningar, och hoppas allt ska vara åtgärdat snart.

Detta inlägg har redigerats av Erik: 12 oktober 2005 - 12:32

[Erik]

Hemsidorna som finns på Manu1-servern kan inte nås sedan ca 30 minuter tillbaka - det gäller speciellt de som använder någon form av php-script eller liknande.

Detta beror på att servern är så pass ostabil att MySQL servern inte fungerar som den ska.

Flera tekniker jobbar på problemet.

[Erik]

Hemsidorna på Manu1-servern fungerar åter igen. Vi är mycket ledsna över det långa avbrottet.




Till råga på allt så ville någon elak person även bombardera servern så Apache fick nog ett tag. En så kallad D-DOS attack riktad mot vår server.
Brandväggen skyddar förståss, men allt blir så seegt, eftersom all trafik ut/in blir störd.

Våra tekniker installerade extra-skydd mot detta, och vi hoppas få bukt med eländet.

Detta inlägg har redigerats av Erik: 12 oktober 2005 - 16:08