0
Aan het begin van het jaar zijn wij (Aaldert, Marnix en ik) begonnen met het migreren van onze systemen. Voordat moment worden alle systemen gehost door Atos, maar door een nieuwe aanbesteding wordt dit nu gedaan door HP.
Echter, nieuwe beheerder, nieuwe inzichten, dus moeten we al onze applicaties verplaatsen naar het HP datacenter. Deze staat in Hilversum en wordt geschaduwd in Amsterdam.
Op zich zou het allemaal niet zo een probleem moeten zijn, maar de systemen staan nu inclusief database allemaal in het hoofdkantoor van de Gasunie in Groningen. Ook dat zou niet een probleem moeten zijn ware het niet dat de drie systemen die voor ons gelden een database grote hebben van 1,2 terra byte. Daarbij komt dat de hardware van net na de oorlog is en niet zo makkelijk kan worden uitgebreid met een nieuwe harde schijf. Dus moet er een compleet migratie plan uit de hoge hoed worden getoverd om dit allemaal voor elkaar te krijgen.
Laten we bij het begin beginnen, we krijgen namelijk allemaal nieuwe omgevingen, we beginnen op de ‘O’ntwikkel omgeving. Die was makkelijk want die mogen we zelf inrichten en beheren. Scrippies gemaakt, software gekopieerd, services geinstalleerd en klaar is kees.
Daarna moeten we de ‘T’est, ‘A’cceptatie en de ‘P’roductie omgeving doen, daarvoor hebben we volgens de HP standaard een ICM (Installation Configuration Manual) voor nodig. Gelukkig zijn hiervoor templates beschikbaar, dus vullen wij die heel braaf in zoals aangegeven. Daarna opsturen naar HP zodat deze voor de test omgeving kan worden uitgevoerd. En toen ging er iets mis, de template bleek niet volledig en dus snapten ze niet dat ze de software met CTRL+c en CTRL+V moesten kopieren naar de juiste map. Toen was er nog iets met de rechten die niet goed waren en dus moest die allemaal worden aangevraagd. Uiteindelijk duurde het een paar weken maar toen hadden we een een Test omgeving. Daarbij kwam dat de ICM nu goed moest zijn want het stond op Test……… je raad het al…
We gaan nu dus naar de Acceptatie omgeving, maar daarvoor kwamen er nieuwe HP-ers om de hoek kijken. Het waren er drie en alle drie zitten ze in Hilversum om onze ‘A’ en ‘P’ omgevingen in te richten. De ICM werd afgekeurd omdat hij niet voldeed aan de template, er stond namelijk een lijst met gebruikers en rechten en dit moest een tabel zijn. Inhoudelijk klopte het echter wel, maar daar hadden ze niks mee te maken. Wij moesten onze ICM aanpassen anders werd er niks geinstalleerd. Overigens stond er in de template alleen een kopje met “Users”. Zoals gebruikelijk moesten wij eerst de ICM aanpassen en deden de 3 HP-ers helemaal niks.
Uiteindelijk de ICM aangepast met een tabelletje met gebruikers en rechten, de ICM opgestuurd en weer afgekeurd. Nu was het probleem dat een van de applicaties in de ICM had staan dat er gebruik wordt gemaakt van een HP tool. Dat was niet specifiek genoeg en dus begrepen de 3 HP-ers er niks meer van. Wij mailen dat deze tooling al was ingeregeld door een andere afdeling van HP en dat deze opmerking in de ICM dus genoeg was/is. Maar de 3 musketiers waren niet voor enige redelijkheid te vatten en dus gebeurde er niks maar totdat we een volledige flow hadden opgenomen in de ICM.
Weer alle ICM’s aangepast met de bijbehorende flow en in overleg met de andere HP afdeling (die overigens niet wisten wat een ICM was) en de ICM maar weer opgestuurd. Helaas helaas wat het weer niet goed, nu hadden ze alle rechten ingesteld en de software gekopieerd, maar nu konden de services niet worden ingestalleerd. De “install.bat” bestanden die we hadden meegeleverdin bij de software konden niet worden gevonden door het edele 3-tal. Je moet je je voorstellen dat we één directory hebben met sofware, daarin staan ALLE .exe bestanden, ALLE .ini bestanden en ALLE .bat bestanden. De ICM kwam weer terug met de opmerking dat ze hem niet konden voltooien. Dit schoot Marnix en mij compleet verkeerd en we besloten het maar eens te excaleren… om een lang verhaal iets in te korten.. het eindigde met een conference call met de projectleiding en één van de musketiers… bla bla bla…. pragmatischer werken graag was de uitkomst.
Uiteindelijk duurde dit verhaal een week of 6 voordat A was geinstalleerd en we kwamen redelijk in de knel met de P omgeving, want die zou in Maart af moeten zijn. Echter was het niet mogelijk volgens HP om hiermee te beginnen omdat je eerst een A omgeving moest hebben voordat we naar P kunnen gaan. Wij hebben geprobeerd uit te leggen dat we al deze omgevingen nu ook al hebben en dat in dit geval de
omgevingen niet via O, T, A, P moesten gaan, maar van huidige T naar nieuwe T en van huidge A naar nieuwe A en dus ook van huidige P naar nieuwe P. Wederom was het een belachelijk voorstel en kon dit echt niet, ons werd gevraagd of wij wel wisten hoe we moesten ontwikkelen. Toen ging het echt mis…. we hebben ons afgevraagd of HP wel wist waar ze mee bezig waren en we hebben duidelijk gesteld dat HP alleen maar een hosting bedrijf was/is daarmee is het onze verantwoording wat er met de applicaties moet gebeuren. Daarna hebben we even uitgelegd dat ze wat ons betreft moesten ophouden met moeilijk doen en heel rap aan het werk moesten gaan. Jullie begrijpen het al, het hek was van de dam. Maar toen mochten we wel ineens onze P omgeving gaan inrichten en konden we het migratie plan gaan maken.
P ging wonderwel zonder problemen en werkte in een keer……. yeeha!
We hadden onze omgevingen nu klaar, echter hadden we voor de nieuwe A omgeving gewoon een restore gedaan van een full backup met een
tape voor alle omgevingen, bij deze omgevingen is het niet heel spannend of ze wel of niet precies gelijk zijn. Maar voor de productie omgeving is het van heel veel belang dat alles PRECIES gelijk is aan de huidige P omgeving. De applicaties die wij namelijk beheren worden gevoed uit “het veld”, dwz de data wordt door twee applicaties opgehaald uit gas-meet stations in heel Nederland en doorgestuurd naar de derde applicatie voor de uiteindelijke verwerking. Daarmee moeten deze drie applicaties precies gelijk zijn qua data als we overgaan anders krijgt de ene applicatie de gegevens dubbel of missen er gegevens voor een van de apps. Het is nog even handig om te weten dat de restore met de tape plaats moet vinden in Hilversum en de tapes in Groningen zijn.
Dus moeten de tapes met de fullbackup van Groningen naar Hilversum verplaatst worden per auto, deze worden daar in de tapedrive gestopt en wordt de restore gestart. De huidge P omgevingen lopen gewoon door, dus de backup van vandaag is morgen weer achterhaald. Behalve de full backups worden er ook incrementals (verschillen) gebackupt, dus om het allemaal gelijk te trekken hebben we die ook nodig.
Een restore van deze 3 applicaties duurt twee dagen. Dus hebben we van twee dagen incrementals nodig om het sowieso weer gelijk te trekken, maar tijdens het restoren van deze backups draait het systeem ook door, dus loop je altijd achter met het hele plan.
Dus is er bedacht dat er op Zondag een migratie uitgevoerd moet worden omdat alles stil gelegd moet worden en dat kan niet door midden in de week.
Even zo goed hebben we de toestemming nodig van de gebruikers, dit zijn namelijk de eigenaren van de data, om het hele feest door te laten gaan. Dus hebben we ze ons plan voorgelegd. Ze vonden het een mooi plan, maar eisten van ons een periode waarin ze alles konden testen, dat wil zeggen, de applicaties zelf en niet te vergeten de verbindingen tussen de applicaties.
Het is handig om te weten dat alle verbindingen lopen via biztalk, deze wordt namelijk gebruikt als message broker binnen de Gasunie. Dat betekent dat er ook een deel van de nieuwe Biztalk klaar moet zijn voordat we gaan migreren en ook voor dat de testperiode kan beginnen. En wederom ging het daar mis, want nu zijn wij wel klaar, maar dit deel van de Gasunie laat nog even op zich wachten…. Maart ging voorbij en het werd Juni…. en uiteindelijk werd het Juli voordat er sowieso iets door te sturen viel, het ging niet in Juli en dus werd het Augustus voordat de restore van de tapes voor de test periode kon plaats vinden.
Het moment van testen moest echter ook nog plaats vinden in de drukste periode van de maand en dat is de overgang tussen twee maanden en de daarmee samenhangende zesde en tiende werkdag. Dus het moment van restore kan niet altijd zomaar plaats vinden en… pas ’s avonds kunnen we de hele handel activeren. Dus vol goeie moed begonnen met de migratie …. woendag avond 23:00 bleek dat een van de nieuwe databases niet meer benaderd kon worden. Daarmee was een van de applicaties niet meer bereikbaar en kon dus de migratie niet doorgaan. Weer een maand opchuiven dan maar, het is nu al oktober en de tijd gaat dringen. Weer een migratie ergens in september, uiteindelijk is de test periode op 3 oktober begonnen.
Tijdens deze periode bleek dat de problemen niet in onze applicaties zaten maar wel in de keten, vele problemen met biztalk, berichten die verdwenen, verbindingen die niet bleken te werken, uiteindelijk hebben we het voorelkaar gekregen om alles te verhelpen.
Nu is het zondag 28 oktober en wij zijn met drie DTS-ers aan het werk bij de Gasunie om de definitieve migratie voor elkaar te maken. Op het moment van schrijven is het 10 uur ’s morgens, we zijn om 08:00u begonnen met werken en tot nu toe gaat alles voorspoedig.
Update maandag 29 oktober
Op zondag 28 oktober om 15:15 waren we klaar.
De migratie is precies volgens plan verlopen, we hadden een kwartier speling! Om half 5 waren alle gebruikers en managers akkoord en konden we de migratie afronden. De volgende dag hadden alle batches gedraaid en waren er geen bijzondere, niet oplosbare problemen.
Al met al een zwaar half jaar, maar uiteindelijk een goeie afronding van het ICT2008 project!
:
Naar boven
