Grep is not the way as it only prints the lines which contain the pattern that we are looking for.

While there are a bunch of tools that can do that, like supercat, etc. I felt no need to install additional packages for something you can do with few lines of bash and knowing terminal capabilities.

Therefore I wrote this small script, put it in the PATH env variable. The script uses sed and makes use of the terminfo database and of the terminal capabilities to color the text, here it is in case you find it useful:

1
2
3
4
5
6
7
8

#!/bin/bash
 
red=$(tput bold;tput setaf 1)
normal=$(tput sgr0)
 
while read line; do
  echo $line | sed -e "s/\($1\)/$red\1$normal/"
done

If you don’t like red just read `man tput` and read this link about terminal codes.

Example of usage:

It also accept regexps (in sed syntax, not perl syntax), for example:


$ sudo tail -f /var/log/system.log | highlight [Ss]potify


Magari a qualcuno serve e/o puo’ prenderci spunto per fare qualcosa di migliore o diverso ma sempre basato su irc, ho messu su un po’ di codice (non che sia poi il massimo) sul mio GitHUB a questa URL.

Il bot legge un file YAML dove si possono specificare una serie di feed rss che poi possono essere associati a piu’ canali, in modo tale che quando qualcosa di nuovo viene postato su un feed il bot printi un summary su ogni canale a cui e’ associato.

Il codice e’ molto basic, giusto un proof of concept che ho messo su’, e non vuole essere niente di performante, infatti dopo un po’ di feed le prestazioni fanno un po’ schifo

Immagino che per tanti feed tocchi passare ai thread. Magari glieli aggiungo, oppure magari provo a farlo in Python visto che sto imparando…

Uso un CPAN module chiamato Bot::BasicBot, basta solo estendere la sua classe e implementare il proprio codice per avere qualcosa di basic.

Alla prossima

In Newbay it’s used mainly for automated and performance tests, but some times also for some system engineering automation.

I can understand them, Python seems to be a pretty cool language, very clear and rigorous when compared to Perl, which tend to be messy (depending on the coder).

Python seems also to have more stuff into the default distribution which comes pre-installed on every Linux/Unix box. You already have http and xml libraries without the necessity of installing stuff (with Perl for example you don’t have LWP or any XML dom library by default and you have to install them through CPAN or your packaging system).

Also, with Jython is easier to interface with Java based stuff like JMS, etc. In the pat I’ve used some awful hacks using Inline::Java , they were working but, you know, they looked really scary.

I still do like Perl though, for doing simple and quick hacks, one-liners, etc.And I will probably continue to use it.

I’m currently reading this Diving into Python book, which is free to download or view online.

My colleague Brano has always tried to evangelize me, with no success so far (because of my chronic laziness), but today he gave me a nice puzzle which took me a couple of hours to solve

I’m sharing it with you just in case you fancy the idea to solve it too. Feel free to send me the result at
pallotron (at) freaknet (dot) org

It’s called roman.py, it contains two functions called roman2dec and dec2roman, they should convert integers into roman numbers and viceversa.

Brano gave it to me with the excuse that, because I’m Italian, I should be pretty used with romans numbers and it wouldn’t take too much to solve it

I started in the afternoon while at work, it took a 1 hour and half to me to figure out the algo for the dec2roman function, I don’t consider myself a math genius so excuse me if I was slow

The roman2dec was a bit of a challenge, but after 3 glasses of nice white wine (Corvo Glicine) I started seen the pattern and I’ve nailed it

In vino veritas! ahaha!

You have to write the code of the two functions so that the all unit tests pass (there are also negatives tests that you should take care of), here is the code. Just copy paste in a file called roman.py and execute it with python roman.py, enjoy!

I’ll publish my script in a week or so (just to give you the time to play with it, PLEASE DO NOT CHEAT ).

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60

import unittest
 
# your global variables can go here, too ;)
 
def roman2dec(roman):
    assert isinstance(roman, str), 'Expected string argument'
    # your code goes here
 
    return None
 
def dec2roman(dec):
    assert isinstance(dec, int), 'Expected integer argument'
    # your code goes here
 
    return None
 
class RomanTests(unittest.TestCase):
 
    def testSimple(self):
        self.assertEqual(roman2dec('XXIV'), 24)
        self.assertEqual(roman2dec('mcmxcix'), 1999)
        self.assertEqual(dec2roman(13), 'XIII')
        self.assertEqual(dec2roman(78), 'LXXVIII')
 
    def testInvalid(self):
        self.assertRaises(ValueError, roman2dec, 'IIII')
        self.assertRaises(ValueError, roman2dec, 'VX')
        self.assertRaises(ValueError, roman2dec, 'VV')
        self.assertRaises(ValueError, roman2dec, 'IC')
        self.assertRaises(ValueError, dec2roman, -1)
 
    def testExhaustive(self):
        for i in range(4000):
            self.assertEqual(roman2dec(dec2roman(i)), i)
 
    def testExhaustive2(self):
        letters = ('I', 'V', 'X', 'L', 'C', 'D', 'M')
        first_example = None
        count = 0
        for i in xrange(8*8*8*8*8):
            rom = ''
            while True:             # do { ... } while i>0
                rom += letters[i % 7]
                i /= 7
                if i<=0: break
 
            try:
                dec = roman2dec(rom)
                roman = dec2roman(dec)
                if rom <> roman:
                    if first_example is None:
                        first_example = '%s != %s (decimal %d)' % (rom, roman, dec)
                    count += 1
            except ValueError, e:
                pass
 
        self.assertEqual(count, 0, 'Accepted %d invalid roman numbers (e.g. %s)' % (count, first_example))
 
if __name__ == '__main__':
    unittest.main()

[Update]:

There much more invalid roman numbers that you have to check, the quiz has been updated above 

Ho sempre pensato che XML sia una merda che puo’ andare bene per i programmi ma non e’ molto umano.

YAML puo’ essere usato per molte robe al posto di XML. Io ad esempio lo sto usando per file di configurazione. Ad esempio questo piccolo fiel di configurazione qui sotto:

$ cat mm.conf.yml
---
hosts:

    - hostname: localhost
      port: 2812

    - hostname: linutop
      port: 2812
      username: admin
      password: monit

Puo’ essere parsato e schiafatto in un bel hash tree solo con queste poche linee di codice:

open (TEST, $f);
$file .= $_ while();
close TEST;
$cfg_file = Load($file);

Quello che vedrete nel hashref sara’ cosi’:

$VAR1 = {
          'hosts' => [
                       {
                         'hostname' => 'localhost',
                         'port' => '2812'
                       },
                       {
                         'password' => 'monit',
                         'hostname' => 'linutop',
                         'port' => '2812',
                         'username' => 'admin'
                       }
                     ]
        };

In XML lo stesso file potrebbe essere scritto cosi’:

< ?xml version="1.0" encoding="UTF-8"?>

  
  

O chissa’ in quali altri modi astrusi…
Come vedete YAML e’ molto piu’ leggibile di XML.
Fico vero?

stavolta lo scrivo qui: ieri ti ho odiato, per l’ennesima volta!

Quando il nostro collega DBA indiano e’ venuto da me chiedendomi:

«Angelo, come faccio ad inserire una stringa “NAME” su un file “tmp.log” da 1 GB tra la quarta e la quinta colonna con VI/VIM?»

Tu hai sentito… ti sei voluto alzare… con quell’aria da saccente… *dovevi* intrometterti… il tuo istinto da “nerdone-primo-della-classe-so-tutto-io” ti ha fatto venire alla mia scrivania mentre io scrivevo il one-liner perl necessario alla magia, consigliandomi di poterlo fare cosi’ e coli’… con sed piuttosto che con awk, e blabla…

Non e’ stato sufficiente che ti dicessi di farti i cazzi tuoi… dovevi gareggiare… dovevi farti sputtanare… e dopo 2 minuti hai avuto anche la sfacciataggine di mandare una email al collega col subject “sed version”, scrivendo questa zozzeria:

$ cat tmp.log | sed 's/^\(\W*\w\+\W\+\w\+\W\+\W*\w\+\)/\1 fff/g'

Ma ti ho punito con la eleganza del Perl:

$ perl -lpne 's/^((\w+\W+){3})/$1NAME /;' tmp.log

Sei old! OLD! Mettitelo in testa. Guarda quella linea, e’ ILLEGGIBILE. Con tutte quelle sequenze di escape!

Peccato che il DBA abbia scelto il tuo sed. In questo mondo non c’e’ giustizia.

Sono al giro di boa del primo anno. Non faro’ il solito post commemorativo del tipo “questo giorno un anno fa ero all’aeroporto ignaro del futuro”. Forse lo faro’ dopo. Accontentati di quello che avevo scritto un mese fa. Piuttosto festeggio con un bel rilascio su CPAN.org dei miei sforzi informatici delle ultime 2 settimane, per provare quanto sia sensato il fumetto di xkcd.com : cioe’ che abbia piu’ senso una settimana incasinando col Perl che 900 ore di corso universitario o 400 ore di compiti a casa

Cosi’, dopo 2 settimane di programmazione piu’ o meno autistica, ho rilasciato una prima release usabile: il modulo si chiama Finance::Bank::IE::PermanentTSB, e si aggiunge al namespace Finance::Bank, accanto ad altri moduli dello stesso tipo.

Il modulo permette di stampare da riga di comando il saldo di tutti i conti correnti bancari collegato all’homebanking di PermanentTSB.

pallotron@terminus ~ $ ptsb -b
Parsing configuration file...

You need a passphrase to unlock the secret key for
user: "Angelo Failla <afailla@newbay.com>"
2048-bit ELG-E key, ID F83D3FCA, created 2008-02-18 (main key ID B68B318D)

gpg: encrypted with 2048-bit ELG-E key, ID F83D3FCA, created 2008-02-18
      "Angelo Failla <afailla@newbay.com>"

Connecting...

-----------------------------------------------------------
|       Account name | Acc. # |     Balance |   Available |
-----------------------------------------------------------
| Switch Current A/C |   0220 |      135.35 |      235.35 |
|          Visa Card |   2667 |     -419.66 |       80.34 |
-----------------------------------------------------------

Ovviamente i dati dell’output sono taroccati
Lo script e’ anche in grado di stampare l’estratto conto basandosi su range temporale, regular expression (per matchare la description), e condizioni matematiche (tipo <300, >=2000, etc).

L’idea del modulo mi e’ venuta dopo che ho scoperto la potenza di WWW::Mechanize. E’ un modulo Perl che permette di automatizzare l’interazione con un sito web: gestisce la navigazione attraverso pagine, i click, la gestione delle form, il fill out delle form, etc. C’e’ qualche pazzo che l’ha usato per scriversi bot che tengono d’occhio aste di Ebay o che effettuano operazioni periodiche su Ogame (famoso gioco alla Warcraft, ma online; ci giocavo 2 anni fa, ma poi ne sono uscito pulito!).

Il miglior modo per imparare qualcosa quando programmi e’ di solito scrivere qualcosa che ti serva veramente. Cosi’ mi sono detto: «devo scrivere qualcosa che mi serva veramente e nel frattempo mi possa servire per imparare il modulo e rispolverare altre cose del Perl».

Noi sistemisti siamo pigri e non amiamo fare le stesse cose ripetutamente, e, dove possibile (quasi dovunque!), ci piace automatizzare
Se poi possiamo avere tool command line per fare le cose piu’ disparate sicuramente non disdegniamo.

Il sito di PermanentTSB e’ una chiavica, non fa grafici e istogrammi del conto, non salva/esporta gli estratti conto in file CSV, non tiene dati piu’ vecchi di 6 mesi! Un invito a nozze per rimediare a cio’ con WWW::Mechanize!

D’apprima ho iniziato scrivendo un modulo per familiarizare con le librerie, obiettivo: “inserire da command line, le ore lavorate nel sistema di time tracking aziendale”. Devo dire che lo script e’ stato molto apprezzto a lavoro visto che per inserire anche un solo record nella interfaccia aziendale si devono cliccare milioni di volte, e il sistema non e’ a prova di errore!

Queste due settimane mi sono servite a:

• rispolverare Perl;
• imparare la programmazione dei package/moduli;
• capire come funziona la comunita’ CPAN;
• imparare WWW::Mechanize;
• imparare come funzionano le test unit in Perl usando Test::More e Test::MockObject;
• imparare come funziona git, il sistema di versioning creato da Linus Torvalds usato dalla comunita’ di sviluppo del Kernel Linux. Veramente fico per velocita’ e completezza di opzioni e feature. Meglio di subversion/cvs.

In piu’ e’ servito a coprire anche un po’ di spazi vuoti che ultimamente sto avendo a lavoro.

Alla prossima!

Beh io questa volta passo.
Mi avevano invitato indirettamente ad un leaving party al Pravda ma ho deciso di rimanere a casa, per vari motivi, uno di questi motivi e’ che mi trovavo in the middle di una sezione di hacking molto proficua di wordpress.

Ieri sera ero in chat con una amica che vuole trasferirsi, e le ho detto di consultare il blog per consigli, scorrendo le pagine mi sono ricordato di cose successe anni fa, e anche di curiosi foto ritocchi, specie gli ultimi post prima di partire.

Questa situazione mi e’ servita da inpulso oggi pomeriggio, mentre ero al lavoro, per installare, fra un cosa e l’altra da fare, un nuovo plug-in per la pagina archive. Si chiama smartarchives.

Che cos’e'? Niente di meglio della descrizione sulla home page ufficiale:

Smart Archives is a rather simple WordPress plugin that will allow you to display your archives in a much “cleaner” format. You can see it in action on my archives page. You’ll notice that everything on the page is hyperlinked (years, months, posts) and that all of the respective links are future-proofed.

Il problema di questo plug-in e’ che mantiene le stesse impostazioni del blog, quindi nel mio caso 5 post per pagina, e ordinamento discendente. Io volevo, solo per la pagina /archive/, un ordinamento normale, ascendente, e nessun limite sul numero di post. In piu’ volevo anche la data accanto ad ogni post che si vede nella root page di /archive.

Cosa ho fatto?

Dopo qualche oretta di lettura di documentazione per gli sviluppatori di wordpess, che tralaltro ho trovato molto completa (rispetto a quando ho iniziato ad usare wordpress nel 2005), ho prodotto le seguenti linee di codice che ho inserito nel file functions.php del mio tema.

function pallotron_nopaging($query) {
   if ( !is_home() && !is_feed() && '' == $query->get('nopaging') ) {
      $query->set('nopaging', 1);
      $query->set('order', 'asc');
   }
}

add_action('parse_query', 'pallotron_nopaging');

Per completare l’opera ho dovuto fare anche un po’ di modifiche al plugin, cambiando delle clausole di order by da DESC ad ASC (il default):

ORDER BY post_date");

E due cicli for che diventano cosi’ (commentato la vecchia linea):

//for ($currentMonth = 12; $currentMonth >= 1; $currentMonth--) {
for ($currentMonth = 1; $currentMonth <= 12; $currentMonth++) {

Adesso i lettori possono navigare la pagina archive e vedere tutte le cazzate scritte da Ottobre 2005 a ora.

References:

http://codex.wordpress.org/Query_Overview
http://justinblanton.com/projects/smartarchives/
http://codex.wordpress.org/Developer_Documentation
http://codex.wordpress.org/Conditional_Tags

This is a post for nerds so I’m writing it in English. If you don’t understand English or technical stuff please close this page
I’m at work and I’ve just finished to write a Nagios script to monitor expiration date of a SSL certificate.

I wanna share it with you.

To have the script working properly you just need to install OpenSSL and let the openssl
command be in your PATH environment.

This is the usage:

Usage:
check_ssl_cert.sh hostname port [warningdays]

Warning days default value is 30 days.

Some examples:

[afailla@terminus ~]$  /usr/local/nagios/bin/check_ssl_cert.sh google.com 443
OK: Certificate is valid for 289 days expires on May  2 17:02:55 2009 GMT

[afailla@terminus ~]$  /usr/local/nagios/bin/check_ssl_cert.sh google.com 443 400
CRITICAL: Certificate will expire in 289 days on May  2 17:02:55 2009 GMT

Download the script here and enjoy it.

Senior Testing Engineer: potresti dirmi come faccio ad aggiornare la jvm su una macchina?Angelo (pallotron) Failla: basta installare la nuova jvm sul disco e cambiare le variabili di ambiente…

Senior Testing Engineer: ok e per installare la jvm ?

Angelo (pallotron) Failla: scarichi la jvm, chmod +x file && ./file, leggi lo schermo, e poi aggiorni le variabili di ambiente…

Senior Testing Engineer: ok

Dopo un po’…

Senior Testing Engineer: puoi venire?

Non aveva impostato JAVA_HOME alla nuova directory della jvm, ne’ il PATH per avere $JAVA_HOME/bin/…

Glielo dico e torno a sedere… dopo un po’:

Senior Testing Engineer: puoi venire? se faccio java -version mi spunta ancora la versione vecchia!

Mi rialzo, vado a vedere, aveva messo “:$JAVA_HOME/bin/” alla fine della catena dei PATH… e la shell gli prendeva con precedenza il comando java di default dentro”/usr/bin/java” …

ARRRRRRRRRRRRRRRRRRRGGGGGGGGGGGGGGGGGGGGHHHHHHHHHHHHHHHH!!!!!!!!

Sentirsi dire questo da un Senior… con 6 anni di esperienza… e’ abbastanza deprimente…

La richiesta del committente era la realizzazione di un sistema che fosse collegato ad un PLC, a sua volta collegato a macchine di taglio lamiera, per la ricezione di dati e allarmi dalla macchina di taglio, e la successiva scrittura di questi dati su un RDBMS centralizzato.

Il sistema embedded era munito di LCD con risoluzione 640×480 e touchscreen per l’interazione.

All’avvio il sistema doveva aprire un browser (javascript capable) che doveva puntare ad una webapplication scritta da un’altra azienda, che serviva per pilotare le macchine.

Realizzai qualcosa in un mesetto:

• l’embedded in se’: kernel + file system layout minimale + busybox + dropbear (ssh) + xorg + opera 9 (versione minimal): circa 100mb facendo un lavoro certosino di taglio di file inutili. Il dom dell’embedded era di 128MB
• un daemon scritto in C che leggeva la seriale, parsava i dati (mi sono divertito con gli operatori bit a bit, grazie al K&R, per estrapolare gli allarmi dai char letti sulla seriale), ed utilizzava unixODBC per scriverli sul server MS SQL Server (?!?!**##%%$) della applicazione web fatta dall’altra azienda

Ne’ risulto’ un bel lavoro.
Dall’inizio avevo cercato di evitare Xorg e di usare qualcosa tipo links2 in modalita’ framebuffer, ma l’applicativo web di terze parti faceva uso massivo di Javascript…
Poi provai con Dillo, ma anche li il supporto Javascript era penoso.
Poi provai con Firefox, funzionava ma chiedeva troppo tempo al boot…
Poi sono approdato a Opera9! Opera e’ davvero un bel browser, molto personalizzabile, forse piu’ facilmente di Firefox perche’ basta editare il file opera.ini.
Date un occhio a http://del.icio.us/pallotron/opera.

Opera9 aveva gia’ una funzionalita’ di kiosk mode interna, senza bisogno di installare addon come nel caso di Firefox.

Questo lavoro produsse la pubblicazione di un howto da me scritto che illustrava come usare il portage di Gentoo Linux per realizzare sistemi embedded. E’ ancora un valido documento. Ho visto che molta gente approda ad esso cercando con Google. Ne realizzai anche una versione English.In questi giorni mi sono trovato nella situazione di dover realizzare un altro embedded. Nel frattempo la mia considerazione di Gentoo e’ andata scemando. Per una serie motivi che se volete possiamo discutere.BTW mi sono messo all’opera per vedere che strumenti offre Debian per realizzare lo stesso lavoro.Premetto che sia l’embedded precedente che quello odierno sono basati su cpu x86 compatibili. No ARM.

Quindi per realizzare un sistema usabile e funzionante non si deve fare cross-compiling delle applicazione per la CPU target.

Debian mi ha permesso di essere molto piu’ spedito nella creazione di questo nuovo embedded. Ho utilizzato debootstrap, dando comandi simili a questi:

main # mkdir -p /opt/lenny-root
main # debootstrap lenny /opt/lenny-root http://ftp.debian.org/debian/
[ ... attendere prego ... ]

Alla fine del processo otterrette un sistema debian standard minimal (in questo caso la relase lenny) nella directory prescelta.

A questo punto mountare /proc, copiare /etc/hosts e chrottarsi:

main # mount proc /opt/lenny-root/proc -t proc
main # cp /etc/hosts /opt/lenny-root/etc/hosts
main # chroot /opt/lenny-root /bin/bash

A partire da questo punto ho installato il software necessario al cliente usando apt.
Ho installato Firefox, Xorg, dropbear, Splashy, ed un RPM della National Instruments fornitomi dal cliente che installa un envoirnment chiamato Labview che include anche un plugin di Firefox.

E’ un ambiente molto utilizzato da 20 anni in automazione industriale:

For more than 20 years, NI LabVIEW graphical development has revolutionized the development of scalable test, measurement, and control applications. Regardless of experience, engineers and scientists can rapidly and cost-effectively interface with measurement and control hardware, analyze data, share results, and distribute systems.

Il cliente ha gia’ scritto applicazione LabVIEW, il terminale embedded deve puntare all’applicazione di monitoring della infrastruttura automatizzata.

Il cliente voleva anche che il processo di boot non mostrasse tutte le scritte tipiche del boot dei kernel UNIX. Ma qualcosa di grafico con una barra di scorrimento, qualcosa alla Ubuntu/Windows.

L’ho realizzata con Splashy.
E’ stato sufficiente installarlo, leggere la documentazione, realizzare delle bmp con pochi colori come questa, con le immagini da usare, configurare qualche file di xml per definire colori della barra ed i comportamenti.

Mentre che c’ero ho anche utilizzato lilo in modalita’ grafica con immagine bmp e menu’ di scelta dove l’utente al boot puo’ scegliere se partire con lo splash, senza splash (per vedere i messaggi del kernel), oppure in una modalita’ “configurazione”.

La modalita’ “configurazione” viene usata per configurare l’apparecchio.
In pratica a dopo il boot, e dopo aver effettuato il login uno script in .bashrc legge la command line del kernel leggendo /proc/cmdline ed eventualmente esegue uno script bash che fa domande sulla configurazione e poi scrive i file che deve scrivere…

Il filesystem dell’embedded e’ cosi’ organizzato:

• / in read only
• /usr compressa con squashfs
• una partizione /rw di pochi mega in read write

In totale tutto sta in 164MB. OK non proprio dimensioni embedded, ma in realta’ questo non e’ proprio un embedded nel vero termine della parola… e’ piu’ un dispositivo da affiancare ad una macchina di taglio, e poi dovendo anche avere Xorg… Considerato che il dom che ho a disposizione e’ di 256MB direi che vado tranquillo, ma sono convinto che con un po’ di lavoro certosino fatto di strace, ldd, e altri tool posso minimizzare di molto!
Ed ora pappatevi un video che ho girato l’altra notte mentre ci lavoravo, in questo video il sistema impiega ben 4’30″ dall’accensione elettrica al caricamento di una pagina di test con un plugin Labview. Ma nel momento in cui scrivo sono riuscito a ridurre il tempo di caricamento a soli 2’20″… purtroppo l’embedded che ho e’ solo 166mhz… 129MB di ram… e si sa firefox non e’ che sia leggerissimo… beh casomai il cliente optera’ per ferragglia piu’ prestante.