Sikuli - Script graphique

Sikuli est un logiciel libre d'automatisation d'action sur interface graphique (GUI script) : logiciel permettant d'automatiser facilement des actions sous Ubuntu.

Il reconnait les éléments graphiques, lui permettant d'interagir avec l'interface (avec opencv).

Voir en vidéo, article Picture-driven computing, les tâches sur ordinateur dirigés par image

• OpenCV 2.0, en installant les paquets wmctrl libcv4 libhighgui4 libcvaux4
• Java, soit la version OpenJDK ou celle d'Oracle
• des contrôles un gestionnaire de fenêtre compatible EWMH/NetWM ( wmctrl )
• Gnome / kde / xfce …

Installer depuis launchpad.

cd ~
wget http://launchpad.net/sikuli/trunk/0.10.2/+download/Sikuli-IDE-linux-i686-0.10.2.zip
unzip Sikuli-IDE-linux-i686-0.10.2.zip

cd Sikuli-IDE/
$ ./sikuli-ide.sh

En couplant sikuli (ou un logiciel de gui scripts à de l'intelligence artificielle (opencog) cela permettra de créer un agent personnel qui apprendrait de vos actions sur un ordinateur, pour les reproduire si besoin il y a : ou aider dans n'importe quelle tâche.

• Accessibilité
• gui scripts
• Peut se marier efficacement avec des outils "lanceur de logiciel" (+ reconnaissance vocale)
• Site officiel : http://groups.csail.mit.edu/uid/sikuli/

• Basé notamment sur Jython (java dans python), et Opencv (site) ¹⁾

Contributeurs : Psychederic, …