test/simple-at.c

   1 /*
   2  * AT-SPI - Assistive Technology Service Provider Interface
   3  * (Gnome Accessibility Project; http://developer.gnome.org/projects/gap)
   4  *
   5  * Copyright 2001 Sun Microsystems Inc.
   6  *
   7  * This library is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Library General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2 of the License, or (at your option) any later version.
  11  *
  12  * This library is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Library General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Library General Public
  18  * License along with this library; if not, write to the
  19  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  20  * Boston, MA 02111-1307, USA.
  21  */
  22
  23 #include <stdlib.h>
  24 #include <ctype.h>
  25 #include <unistd.h>
  26 #include <sys/socket.h>
  27 #include <sys/un.h>
  28 #include "../util/mag_client.h"
  29 #include "../cspi/spi-private.h" /* A hack for now */
  30
  31 static void report_focus_event    (AccessibleEvent *event, void *user_data);
  32 static void report_generic_event  (AccessibleEvent *event, void *user_data);
  33 static void report_button_press   (AccessibleEvent *event, void *user_data);
  34 static void check_property_change (AccessibleEvent *event, void *user_data);
  35 static SPIBoolean report_command_key_event  (AccessibleKeystroke *stroke, void *user_data);
  36 static SPIBoolean report_ordinary_key_event (AccessibleKeystroke *stroke, void *user_data);
  37 static void get_environment_vars (void);
  38
  39 static int _festival_init ();
  40 static void _festival_say (const char *text, const char *voice, SPIBoolean shutup);
  41 static void _festival_write (const char *buff, int fd);
  42
  43 static SPIBoolean use_magnifier = FALSE;
  44 static SPIBoolean use_festival = FALSE;
  45 static SPIBoolean festival_chatty = FALSE;
  46
  47 static AccessibleEventListener *focus_listener;
  48 static AccessibleEventListener *property_listener;
  49 static AccessibleEventListener *generic_listener;
  50 static AccessibleEventListener *button_listener;
  51 static AccessibleKeystrokeListener *command_key_listener;
  52 static AccessibleKeystrokeListener *ordinary_key_listener;
  53
  54 int
  55 main (int argc, char **argv)
  56 {
  57   int i, j;
  58   int n_desktops;
  59   int n_apps;
  60   char *s;
  61   Accessible *desktop;
  62   Accessible *application;
  63   const char *modules;
  64
  65   if ((argc > 1) && (!strncmp (argv[1], "-h", 2)))
  66     {
  67       printf ("Usage: simple-at\n");
  68       printf ("\tEnvironment variables used:\n\t\tFESTIVAL\n\t\tMAGNIFIER\n\t\tFESTIVAL_CHATTY\n");
  69       exit (0);
  70     }
  71
  72   modules = g_getenv ("GTK_MODULES");
  73   if (!modules || modules [0] == '\0')
  74     {
  75       putenv ("GTK_MODULES=gail:atk-bridge");
  76     }
  77   modules = NULL;
  78
  79   SPI_init ();
  80
  81   focus_listener = SPI_createAccessibleEventListener (report_focus_event, NULL);
  82   property_listener = SPI_createAccessibleEventListener (check_property_change, NULL);
  83   generic_listener = SPI_createAccessibleEventListener (report_generic_event, NULL);
  84   button_listener = SPI_createAccessibleEventListener (report_button_press, NULL);
  85   SPI_registerGlobalEventListener (focus_listener, "focus:");
  86   SPI_registerGlobalEventListener (property_listener, "object:property-change:accessible-selection");
  87   SPI_registerGlobalEventListener (generic_listener, "object:selection-changed");
  88   SPI_registerGlobalEventListener (generic_listener, "object:children-changed");
  89   SPI_registerGlobalEventListener (generic_listener, "object:visible-data-changed");
  90   SPI_registerGlobalEventListener (generic_listener, "object:text-selection-changed");
  91   SPI_registerGlobalEventListener (generic_listener, "object:text-caret-moved");
  92   SPI_registerGlobalEventListener (generic_listener, "object:text-changed");
  93   SPI_registerGlobalEventListener (button_listener, "Gtk:GtkWidget:button-press-event");
  94   n_desktops = SPI_getDesktopCount ();
  95
  96   for (i=0; i<n_desktops; ++i)
  97     {
  98       desktop = SPI_getDesktop (i);
  99       s = Accessible_getName (desktop);
 100       fprintf (stderr, "desktop %d name: %s\n", i, s);
 101       SPI_freeString (s);
 102       n_apps = Accessible_getChildCount (desktop);
 103       for (j=0; j<n_apps; ++j)
 104         {
 105           application = Accessible_getChildAtIndex (desktop, j);
 106           s = Accessible_getName (application);
 107           fprintf (stderr, "app %d name: %s\n", j, s);
 108           SPI_freeString (s);
 109           Accessible_unref (application);
 110         }
 111       Accessible_unref (desktop);
 112     }
 113
 114   /* prepare the keyboard snoopers */
 115   command_key_listener = SPI_createAccessibleKeystrokeListener (report_command_key_event, NULL);
 116   ordinary_key_listener = SPI_createAccessibleKeystrokeListener (report_ordinary_key_event, NULL);
 117
 118   /* will listen only to Control-Alt-key combinations, and only to KeyPress events */
 119   SPI_registerAccessibleKeystrokeListener(command_key_listener,
 120                                           (AccessibleKeySet *) SPI_KEYSET_ALL_KEYS,
 121                                           SPI_KEYMASK_ALT | SPI_KEYMASK_CONTROL,
 122                                           (unsigned long) ( SPI_KEY_PRESSED ),
 123                                           SPI_KEYLISTENER_ALL_WINDOWS);
 124
 125   /* will listen only to CAPSLOCK-Alt-key combinations, and only to KeyPress events */
 126   SPI_registerAccessibleKeystrokeListener(command_key_listener,
 127                                           (AccessibleKeySet *) SPI_KEYSET_ALL_KEYS,
 128                                           SPI_KEYMASK_ALT | SPI_KEYMASK_SHIFTLOCK,
 129                                           (unsigned long) ( SPI_KEY_PRESSED ),
 130                                           SPI_KEYLISTENER_ALL_WINDOWS);
 131
 132   /* will listen only to CAPSLOCK key events, both press and release */
 133   SPI_registerAccessibleKeystrokeListener(ordinary_key_listener,
 134                                           (AccessibleKeySet *) SPI_KEYSET_ALL_KEYS,
 135                                           SPI_KEYMASK_SHIFTLOCK,
 136                                           (unsigned long) ( SPI_KEY_PRESSED | SPI_KEY_RELEASED ),
 137                                           SPI_KEYLISTENER_NOSYNC);
 138
 139   get_environment_vars ();
 140
 141   SPI_event_main ();
 142
 143   putenv ("AT_BRIDGE_SHUTDOWN=1");
 144
 145   return SPI_exit ();
 146 }
 147
 148 static void
 149 get_environment_vars (void)
 150 {
 151   if (g_getenv ("FESTIVAL"))
 152     {
 153       fprintf (stderr, "Using festival\n");
 154       use_festival = TRUE;
 155       if (g_getenv ("FESTIVAL_CHATTY"))
 156         {
 157           festival_chatty = TRUE;
 158         }
 159     }
 160   if (g_getenv ("MAGNIFIER"))
 161     {
 162       fprintf (stderr, "Using magnifier\n");
 163       use_magnifier = TRUE;
 164     }
 165   else
 166     {
 167       fprintf (stderr, "Not using magnifier\n");
 168     }
 169
 170   if (!use_festival)
 171     {
 172       fprintf (stderr, "No speech output\n");
 173     }
 174 }
 175
 176 void
 177 report_focussed_accessible (Accessible *obj, SPIBoolean shutup_previous_speech)
 178 {
 179   char *s;
 180   int len;
 181
 182   if (use_festival)
 183     {
 184       if (festival_chatty)
 185         {
 186           s = Accessible_getRoleName (obj);
 187           _festival_say (s, "voice_don_diphone", shutup_previous_speech);
 188           SPI_freeString (s);
 189         }
 190       fprintf (stderr, "getting Name\n");
 191       s = Accessible_getName (obj);
 192       _festival_say (s, "voice_kal_diphone",
 193                      shutup_previous_speech || festival_chatty);
 194       SPI_freeString (s);
 195     }
 196
 197   if (Accessible_isComponent (obj))
 198     {
 199       long x, y, width, height;
 200       AccessibleComponent *component = Accessible_getComponent (obj);
 201       AccessibleComponent_getExtents (component, &x, &y, &width, &height,
 202                                       SPI_COORD_TYPE_SCREEN);
 203       fprintf (stderr, "Bounding box: (%ld, %ld) ; (%ld, %ld)\n",
 204                x, y, x+width, y+height);
 205       if (use_magnifier) {
 206               magnifier_set_roi ((short) 0, x, y, width, height);
 207       }
 208     }
 209
 210   if (Accessible_isValue (obj))
 211     {
 212       AccessibleValue *value = Accessible_getValue (obj);
 213       fprintf (stderr, "Current value = %f, min = %f; max = %f\n",
 214                AccessibleValue_getCurrentValue (value),
 215                AccessibleValue_getMinimumValue (value),
 216                AccessibleValue_getMaximumValue (value));
 217     }
 218   /* if this is a text object, speak the first sentence. */
 219
 220   if (Accessible_isText(obj))
 221
 222   {
 223      AccessibleText *text_interface;
 224      long start_offset, end_offset;
 225      char *first_sentence = "empty";
 226      text_interface = Accessible_getText (obj);
 227      first_sentence = AccessibleText_getTextAtOffset (
 228                text_interface, (long) 0, SPI_TEXT_BOUNDARY_SENTENCE_START, &start_offset, &end_offset);
 229      if (first_sentence)
 230        {
 231          _festival_say(first_sentence, "voice_don_diphone", FALSE);
 232          SPI_freeString (first_sentence);
 233        }
 234      len = AccessibleText_getCharacterCount (text_interface);
 235      s = AccessibleText_getText (text_interface, 0, len);
 236      fprintf (stderr, "done reporting on focussed object, text=%s\n", s);
 237   }
 238 }
 239
 240 void
 241 report_focus_event (AccessibleEvent *event, void *user_data)
 242 {
 243   char *s;
 244
 245   g_return_if_fail (event->source != NULL);
 246
 247   s = Accessible_getName (event->source);
 248   if (s)
 249     {
 250       fprintf (stderr, "%s event from %s\n", event->type, s);
 251       SPI_freeString (s);
 252       report_focussed_accessible (event->source, TRUE);
 253     }
 254   Accessible_getParent (event->source);
 255 }
 256
 257 void
 258 report_generic_event (AccessibleEvent *event, void *user_data)
 259 {
 260   fprintf (stderr, "%s event received\n", event->type);
 261 }
 262
 263 void
 264 report_button_press (AccessibleEvent *event, void *user_data)
 265 {
 266   char *s;
 267
 268   g_return_if_fail (event->source != NULL);
 269
 270   s = Accessible_getName (event->source);
 271
 272   fprintf (stderr, "%s event from %s\n", event->type, s);
 273   SPI_freeString (s);
 274   s = Accessible_getDescription (event->source);
 275   fprintf (stderr, "Object description %s\n", s);
 276   SPI_freeString (s);
 277 }
 278
 279 void
 280 check_property_change (AccessibleEvent *event, void *user_data)
 281 {
 282   AccessibleSelection *selection = Accessible_getSelection (event->source);
 283   int n_selections;
 284   int i;
 285   char *s;
 286   if (selection)
 287   {
 288     n_selections = (int) AccessibleSelection_getNSelectedChildren (selection);
 289     s = Accessible_getName (event->source);
 290     fprintf (stderr, "(Property) %s event from %s, %d selected children\n",
 291              event->type, s, n_selections);
 292     SPI_freeString (s);
 293   /* for now, speak entire selection set */
 294     for (i=0; i<n_selections; ++i)
 295       {
 296         Accessible *obj = AccessibleSelection_getSelectedChild (selection, (long) i);
 297         g_return_if_fail (obj);
 298         s = Accessible_getName (obj);
 299         fprintf (stderr, "Child %d, name=%s\n", i, s);
 300         SPI_freeString (s);
 301         report_focussed_accessible (obj, i==0);
 302     }
 303   }
 304 }
 305
 306 static void
 307 simple_at_exit ()
 308 {
 309   SPI_deregisterGlobalEventListenerAll (focus_listener);
 310   AccessibleEventListener_unref        (focus_listener);
 311
 312   SPI_deregisterGlobalEventListenerAll (property_listener);
 313   AccessibleEventListener_unref        (property_listener);
 314
 315   SPI_deregisterGlobalEventListenerAll (generic_listener);
 316   AccessibleEventListener_unref        (generic_listener);
 317
 318   SPI_deregisterGlobalEventListenerAll (button_listener);
 319   AccessibleEventListener_unref        (button_listener);
 320
 321   SPI_deregisterAccessibleKeystrokeListener (command_key_listener, SPI_KEYMASK_ALT | SPI_KEYMASK_CONTROL);
 322   SPI_deregisterAccessibleKeystrokeListener (command_key_listener, SPI_KEYMASK_ALT | SPI_KEYMASK_SHIFTLOCK);
 323   AccessibleKeystrokeListener_unref         (command_key_listener);
 324
 325   SPI_deregisterAccessibleKeystrokeListener (ordinary_key_listener, SPI_KEYMASK_UNMODIFIED);
 326   SPI_deregisterAccessibleKeystrokeListener (ordinary_key_listener, SPI_KEYMASK_SHIFTLOCK);
 327   AccessibleKeystrokeListener_unref         (ordinary_key_listener);
 328
 329   SPI_event_quit ();
 330 }
 331
 332 static SPIBoolean
 333 is_command_key (AccessibleKeystroke *key)
 334 {
 335   switch (key->keyID)
 336     {
 337     case 'Q':
 338     case 'q':
 339             simple_at_exit();
 340             return TRUE; /* not reached */
 341     case 'M':
 342     case 'm':
 343             use_magnifier = ! use_magnifier;
 344             fprintf (stderr, "%ssing magnifier\n", use_magnifier ? "U" : "Not u");
 345             return TRUE;
 346     case 'F':
 347     case 'f':
 348             use_festival = ! use_festival;
 349             fprintf (stderr, "%speech output\n", use_festival ? "S" : "No s");
 350             return TRUE;
 351     default:
 352             return FALSE;
 353     }
 354 }
 355
 356 static SPIBoolean
 357 report_command_key_event (AccessibleKeystroke *key, void *user_data)
 358 {
 359   fprintf (stderr, "Command KeyEvent %s%c (keycode %d); string=%s; time=%lx\n",
 360           (key->modifiers & SPI_KEYMASK_ALT)?"Alt-":"",
 361           ((key->modifiers & SPI_KEYMASK_SHIFT)^(key->modifiers & SPI_KEYMASK_SHIFTLOCK))?
 362           (char) toupper((int) key->keyID) : (char) tolower((int) key->keyID),
 363           (int) key->keycode,
 364           key->keystring,
 365           (long int) key->timestamp);
 366   return is_command_key (key);
 367 }
 368
 369
 370 static SPIBoolean
 371 report_ordinary_key_event (AccessibleKeystroke *key, void *user_data)
 372 {
 373   fprintf (stderr, "Received key event:\tsym %ld\n\tmods %x\n\tcode %d\n\tstring=\'%s\'\n\ttime %lx\n",
 374            (long) key->keyID,
 375            (unsigned int) key->modifiers,
 376            (int) key->keycode,
 377            key->keystring,
 378            (long int) key->timestamp);
 379   return FALSE;
 380 }
 381
 382 static int
 383 _festival_init ()
 384 {
 385   int fd;
 386   struct sockaddr_in name;
 387   int tries = 2;
 388
 389   name.sin_family = AF_INET;
 390   name.sin_port = htons (1314);
 391   name.sin_addr.s_addr = htonl(INADDR_ANY);
 392   fd = socket (PF_INET, SOCK_STREAM, 0);
 393
 394   while (connect(fd, (struct sockaddr *) &name, sizeof (name)) < 0) {
 395     if (!tries--) {
 396       perror ("connect");
 397       return -1;
 398     }
 399   }
 400
 401   _festival_write ("(audio_mode'async)\n", fd);
 402   _festival_write ("(Parameter.set 'Duration_Model 'Tree_ZScore)\n", fd);
 403   _festival_write ("(Parameter.set 'Duration_Stretch 0.75)\n", fd);
 404   return fd;
 405 }
 406
 407 static void
 408 _festival_say (const char *text, const char *voice, SPIBoolean shutup)
 409 {
 410   static int fd = 0;
 411   gchar *quoted;
 412   gchar *p;
 413   gchar prefix[50];
 414   static gchar voice_spec[32];
 415
 416   if (!fd)
 417     {
 418       fd = _festival_init ();
 419     }
 420
 421   fprintf (stderr, "saying text: %s\n", text);
 422
 423   quoted = g_malloc(64+strlen(text)*2);
 424
 425   sprintf (prefix, "(SayText \"");
 426
 427   strncpy(quoted, prefix, 10);
 428   p = quoted+strlen(prefix);
 429   while (*text) {
 430     if ( *text == '\\' || *text == '"' )
 431       *p = '\\';
 432     *p++ = *text++;
 433   }
 434   *p++ = '"';
 435   *p++ = ')';
 436   *p++ = '\n';
 437   *p = 0;
 438
 439   if (shutup) _festival_write ("(audio_mode'shutup)\n", fd);
 440   if (voice && (strncmp (voice, (char *) (voice_spec+1), strlen(voice))))
 441     {
 442       snprintf (voice_spec, 32, "(%s)\n", voice);
 443       _festival_write (voice_spec, fd);
 444       _festival_write ("(Parameter.set 'Duration_Model 'Tree_ZScore)\n", fd);
 445       _festival_write ("(Parameter.set 'Duration_Stretch 0.75)\n", fd);
 446     }
 447
 448   _festival_write (quoted, fd);
 449
 450   g_free(quoted);
 451 }
 452
 453 static void
 454 _festival_write (const gchar *command_string, int fd)
 455 {
 456   fprintf(stderr, command_string);
 457   if (fd < 0) {
 458     perror("socket");
 459     return;
 460   }
 461   write(fd, command_string, strlen(command_string));
 462 }
 463