update the dump of application docs
[asterisk/asterisk.git] / doc / app-sms.tex
1 \section{Introduction}
2
3    The SMS module for Asterisk was developed by Adrian Kennard, and is an
4    implementation of the ETSI specification for landline SMS, ETSI ES 201
5    912, which is available from www.etsi.org. Landline SMS is starting to
6    be available in various parts of Europe, and is available from BT in
7    the UK. However, Asterisk would allow gateways to be created in other
8    locations such as the US, and use of SMS capable phones such as the
9    Magic Messenger. SMS works using analogue or ISDN lines.
10
11 \section{Background}
12
13    Short Message Service (SMS), or texting is very popular between mobile
14    phones. A message can be sent between two phones, and normally
15    contains 160 characters. There are ways in which various types of data
16    can be encoded in a text message such as ring tones, and small
17    graphic, etc. Text messaging is being used for voting and
18    competitions, and also SPAM...
19    
20    Sending a message involves the mobile phone contacting a message
21    centre (SMSC) and passing the message to it. The message centre then
22    contacts the destination mobile to deliver the message. The SMSC is
23    responsible for storing the message and trying to send it until the
24    destination mobile is available, or a timeout.
25    
26    Landline SMS works in basically the same way. You would normally have
27    a suitable text capable landline phone, or a separate texting box such
28    as a Magic Messenger on your phone line. This sends a message to a
29    message centre your telco provides by making a normal call and sending
30    the data using 1200 Baud FSK signaling according to the ETSI spec. To
31    receive a message the message centre calls the line with a specific
32    calling number, and the text capable phone answers the call and
33    receives the data using 1200 Baud FSK signaling. This works
34    particularly well in the UK as the calling line identity is sent
35    before the first ring, so no phones in the house would ring when a
36    message arrives.
37
38 \section{Typical use with Asterisk}
39
40    Sending messages from an Asterisk box can be used for a variety of
41    reasons, including notification from any monitoring systems, email
42    subject lines, etc.
43
44    Receiving messages to an Asterisk box is typically used just to email
45    the messages to someone appropriate - we email and texts that are
46    received to our direct numbers to the appropriate person. Received
47    messages could also be used to control applications, manage
48    competitions, votes, post items to IRC, anything.
49
50    Using a terminal such as a magic messenger, an Asterisk box could ask
51    as a message centre sending messages to the terminal, which will beep
52    and pop up the message (and remember 100 or so messages in its
53    memory).
54
55 \section{Terminology}
56
57 \begin{itemize}
58    \item SMS -
59    Short Message Service
60    i.e. text messages
61
62    \item SMSC -
63    Short Message Service Centre
64    The system responsible for storing and forwarding messages
65
66    \item MO -
67    Mobile Originated
68    A message on its way from a mobile or landline device to the SMSC
69
70    \item MT -
71    Mobile Terminated
72    A message on its way from the SMSC to the mobile or landline device
73
74    \item RX -
75    Receive
76    A message coming in to the Asterisk box
77
78    \item TX -
79    Transmit
80    A message going out of the Asterisk box
81 \end{itemize}
82
83 \section{Sub address}
84
85    When sending a message to a landline, you simply send to the landline
86    number. In the UK, all of the mobile operators (bar one) understand
87    sending messages to landlines and pass the messages to the BTText
88    system for delivery to the landline.
89
90    The specification for landline SMS allows for the possibility of more
91    than one device on a single landline. These can be configured with Sub
92    addresses which are a single digit. To send a message to a specific
93    device the message is sent to the landline number with an extra digit
94    appended to the end. The telco can define a default sub address (9 in
95    the UK) which is used when the extra digit is not appended to the end.
96    When the call comes in, part of the calling line ID is the sub
97    address, so that only one device on the line answers the call and
98    receives the message.
99
100    Sub addresses also work for outgoing messages. Part of the number
101    called by the device to send a message is its sub address. Sending
102    from the default sub address (9 in the UK) means the message is
103    delivered with the sender being the normal landline number. Sending
104    from any other sub address makes the sender the landline number with
105    an extra digit on the end.
106
107    Using Asterisk, you can make use of the sub addresses for sending and
108    receiving messages. Using DDI (DID, i.e. multiple numbers on the line
109    on ISDN) you can also make use of many different numbers for SMS.
110
111 \section{extensions.conf}
112
113    The following contexts are recommended.
114 \begin{verbatim}
115 ; Mobile Terminated, RX. This is used when an incoming call from the SMS arrive
116 s, with the queue (called number and sub address) in ${EXTEN}
117 ; Running an app after receipt of the text allows the app to find all messages 
118 in the queue and handle them, e.g. email them.
119 ; The app may be something like   smsq --process=somecommand --queue=${EXTEN}  
120 to run a command for each received message
121 ; See below for usage
122 [smsmtrx]
123 exten = _X.,1, SMS(${EXTEN}|a)
124 exten = _X.,2,System("someapptohandleincomingsms ${EXTEN}")
125 exten = _X.,3,Hangup
126 ; Mobile originated, RX. This is receiving a message from a device, e.g. a Magi
127 c Messenger on a sip extension
128 ; Running an app after receipt of the text allows the app to find all messages 
129 in the queue and handle then, e.g. sending them to the public SMSC
130 ; The app may be something like   smsq --process=somecommand --queue=${EXTEN}  
131 to run a command for each received message
132 ; See below for example usage
133 [smsmorx]
134 exten = _X.,1, SMS(${EXTEN}|sa)
135 exten = _X.,2,System("someapptohandlelocalsms ${EXTEN}")
136 exten = _X.,3,Hangup
137
138    smsmtrx is normally accessed by an incoming call from the SMSC. In the
139    UK this call is from a CLI of 080058752X0 where X is the sub address.
140    As such a typical usage in the extensions.conf at the point of
141    handling an incoming call is:-
142 exten = _X./8005875290,1,Goto(smsmtrx,${EXTEN},1)
143 exten = _X./_80058752[0-8]0,1,Goto(smsmtrx,${EXTEN}-${CALLERIDNUM:8:1},1)
144
145    Alternatively, if you have the correct national prefix on incoming
146    CLI, e.g. using zaphfc, you might use:-
147 exten = _X./08005875290,1,Goto(smsmtrx,${EXTEN},1)
148 exten = _X./_080058752[0-8]0,1,Goto(smsmtrx,${EXTEN}-${CALLERIDNUM:9:1},1)
149
150    smsmorx is normally accessed by a call from a local sip device
151    connected to a Magic Messenger. It could however by that you are
152    operating Asterisk as a message centre for calls from outside. Either
153    way, you look at the called number and goto smsmorx. In the UK, the
154    SMSC number that would be dialed is 1709400X where X is the caller sub
155    address. As such typical usage in extension.config at the point of
156    handling a call from a sip phone is:-
157 exten = 17094009,1,Goto(smsmorx,${CALLERIDNUM},1)
158 exten = _1709400[0-8],1,Goto(smsmorx,${CALLERIDNUM}-{EXTEN:7:1},1)
159 \end{verbatim}
160
161 \section{Using smsq}
162
163    smsq is a simple helper application designed to make it easy to send
164    messages from a command line. it is intended to run on the Asterisk
165    box and have direct access to the queue directories for SMS and for
166    Asterisk.
167
168    In its simplest form you can send an SMS by a command such as
169    smsq 0123456789 This is a test to 0123456789
170    This would create a queue file for a mobile originated TX message in
171    queue 0 to send the text "This is a test to 0123456789" to 0123456789.
172    It would then place a file in the /var/spool/asterisk/outgoing
173    directory to initiate a call to 17094009 (the default message centre
174    in smsq) attached to application SMS with argument of the queue name
175    (0).
176
177    Normally smsq will queue a message ready to send, and will then create
178    a file in the Asterisk outgoing directory causing Asterisk to actually
179    connect to the message centre or device and actually send the pending
180    message(s).
181
182    Using --process, smsq can however be used on received queues to run a
183    command for each file (matching the queue if specified) with various
184    environment variables set based on the message (see below);
185    smsq options:-
186 \begin{verbatim}
187    --help
188    Show help text
189    --usage
190    Show usage
191    --queue
192    -q
193    Specify a specific queue
194    In no specified, messages are queued under queue "0"
195    --da
196    -d
197    Specify destination address
198    --oa
199    -o
200    Specify originating address
201    This also implies that we are generating a mobile terminated message
202    --ud
203    -m
204    Specify the actual message
205    --ud-file
206    -f
207    Specify a file to be read for the context of the message
208    A blank filename (e.g. --ud-file= on its own) means read stdin. Very
209    useful when using via ssh where command line parsing could mess up the
210    message.
211    --mt
212    -t
213    Mobile terminated message to be generated
214    --mo
215    Mobile originated message to be generated
216    Default
217    --tx
218    Transmit message
219    Default
220    --rx
221    -r
222    Generate a message in the receive queue
223    --UTF-8
224    Treat the file as UTF-8 encoded (default)
225    --UCS-1
226    Treat the file as raw 8 bit UCS-1 data, not UTF-8 encoded
227    --UCS-2
228    Treat the file as raw 16 bit bigendian USC-2 data
229    --process
230    Specific a command to process for each file in the queue
231    Implies --rx and --mt if not otherwise specified.
232    Sets environment variables for every possible variable, and also ud,
233    ud8 (USC-1 hex), and ud16 (USC-2 hex) for each call. Removes files.
234    --motx-channel
235    Specify the channel for motx calls
236    May contain X to use sub address based on queue name or may be full
237    number
238    Default is Local/1709400X
239    --motx-callerid
240    Specify the caller ID for motx calls
241    The default is the queue name without -X suffix
242    --motx-wait
243    Wait time for motx call
244    Default 10
245    --motx-delay
246    Retry time for motx call
247    Default 1
248    --motx-retries
249    Retries for motx call
250    Default 10
251    --mttx-channel
252    Specify the channel for mttx calls
253    Default is Local/ and the queue name without -X suffix
254    --mtttx-callerid
255    Specify the callerid for mttx calls
256    May include X to use sub address based on queue name or may be full
257    number
258    Default is 080058752X0
259    --mttx-wait
260    Wait time for mttx call
261    Default 10
262    --mttx-delay
263    Retry time for mttx call
264    Default 30
265    --mttx-retries
266    Retries for mttx call
267    Default 100
268    --default-sub-address
269    The default sub address assumed (e.g. for X in CLI and dialled numbers
270    as above) when none added (-X) to queue
271    Default 9
272    --no-dial
273    -x
274    Create queue, but do not dial to send message
275    --no-wait
276    Do not wait if a call appears to be in progress
277    This could have a small window where a message is queued but not
278    sent, so regular calls to smsq should be done to pick up any missed
279    messages
280    --concurrent
281    How many concurrent calls to allow (per queue), default 1
282    --mr
283    -n
284    Message reference
285    --pid
286    -p
287    Protocol ID
288    --dcs
289    Data coding scheme
290    --udh
291    Specific hex string of user data header specified (not including the
292    initial length byte)
293    May be a blank string to indicate header is included in the user data
294    already but user data header indication to be set.
295    --srr
296    Status report requested
297    --rp
298    Return path requested
299    --vp
300    Specify validity period (seconds)
301    --scts
302    Specify timestamp (YYYY-MM-DDTHH:MM:SS)
303    --spool-dir
304    Spool dir (in which sms and outgoing are found)
305    Default /var/spool/asterisk
306
307    Other arguments starting '-' or '--' are invalid and will cause an
308    error. Any trailing arguments are processed as follows:-
309      * If the message is mobile originating and no destination address
310        has been specified, then the first argument is assumed to be a
311        destination address
312      * If the message is mobile terminating and no destination address
313        has been specified, then the first argument is assumed to be the
314        queue name
315      * If there is no user data, or user data file specified, then any
316        following arguments are assumed to be the message, which are
317        concatenated.
318      * If no user data is specified, then no message is sent. However,
319        unless --no-dial is specified, smsq checks for pending messages
320        and generates an outgoing anyway
321 \end{verbatim}
322
323    Note that when smsq attempts to make a file in
324    /var/spool/asterisk/outgoing, it checks if there is already a call
325    queued for that queue. It will try several filenames, up to the
326    --concurrent setting. If these files exist, then this means Asterisk
327    is already queued to send all messages for that queue, and so Asterisk
328    should pick up the message just queued. However, this alone could
329    create a race condition, so if the files exist then smsq will wait up
330    to 3 seconds to confirm it still exists or if the queued messages have
331    been sent already. The --no-wait turns off this behaviour. Basically,
332    this means that if you have a lot of messages to send all at once,
333    Asterisk will not make unlimited concurrent calls to the same message
334    centre or device for the same queue. This is because it is generally
335    more efficient to make one call and send all of the messages one after
336    the other.
337
338    smsq can be used with no arguments, or with a queue name only, and it
339    will check for any pending messages and cause an outgoing if there are
340    any. It only sets up one outgoing call at a time based on the first
341    queued message it finds. A outgoing call will normally send all queued
342    messages for that queue. One way to use smsq would be to run with no
343    queue name (so any queue) every minute or every few seconds to send
344    pending message. This is not normally necessary unless --no-dial is
345    selected. Note that smsq does only check motx or mttx depending on the
346    options selected, so it would need to be called twice as a general
347    check.
348
349    UTF-8 is used to parse command line arguments for user data, and is
350    the default when reading a file. If an invalid UTF-8 sequence is
351    found, it is treated as UCS-1 data (i.e, as is).
352    The --process option causes smsq to scan the specified queue (default
353    is mtrx) for messages (matching the queue specified, or any if queue
354    not specified) and run a command and delete the file. The command is
355    run with a number of environment variables set as follows. Note that
356    these are unset if not needed and not just taken from the calling
357    environment. This allows simple processing of incoming messages
358 \begin{verbatim}
359    $queue
360    Set if a queue specified
361    $?srr
362    srr is set (to blank) if srr defined and has value 1.
363    $?rp
364    rp is set (to blank) if rp defined and has value 1.
365    $ud
366    User data, UTF-8 encoding, including any control characters, but with
367    nulls stripped out
368    Useful for the content of emails, for example, as it includes any
369    newlines, etc.
370    $ude
371    User data, escaped UTF-8, including all characters, but control
372    characters \n, \r, \t, \f, \xxx and \ is escaped as \\
373    Useful guaranteed one line printable text, so useful in Subject lines
374    of emails, etc
375    $ud8
376    Hex UCS-1 coding of user data (2 hex digits per character)
377    Present only if all user data is in range U+0000 to U+00FF
378    $ud16
379    Hex UCS-2 coding of user data (4 hex digits per character)
380    other
381    Other fields set using their field name, e.g. mr, pid, dcs, etc. udh
382    is a hex byte string
383 \end{verbatim}
384
385 \section{File formats}
386
387    By default all queues are held in a director /var/spool/asterisk/sms.
388    Within this directory are sub directories mtrx, mttx, morx, motx which
389    hold the received messages and the messages ready to send. Also,
390    /var/log/asterisk/sms is a log file of all messages handled.
391    
392    The file name in each queue directory starts with the queue parameter
393    to SMS which is normally the CLI used for an outgoing message or the
394    called number on an incoming message, and may have -X (X being sub
395    address) appended. If no queue ID is known, then 0 is used by smsq by
396    default. After this is a dot, and then any text. Files are scanned for
397    matching queue ID and a dot at the start. This means temporary files
398    being created can be given a different name not starting with a queue
399    (we recommend a . on the start of the file name for temp files).
400    Files in these queues are in the form of a simple text file where each
401    line starts with a keyword and an = and then data. udh and ud have
402    options for hex encoding, see below.
403
404    UTF-8. The user data (ud) field is treated as being UTF-8 encoded
405    unless the DCS is specified indicating 8 bit format. If 8 bit format
406    is specified then the user data is sent as is.
407    The keywords are as follows:-
408 \begin{verbatim}
409    oa Originating address
410    The phone number from which the message came
411    Present on mobile terminated messages and is the CLI for morx messages
412    da
413    Destination Address
414    The phone number to which the message is sent
415    Present on mobile originated messages
416    scts
417    The service centre time stamp
418    Format YYYY-MM-DDTHH:MM:SS
419    Present on mobile terminated messages
420    pid
421    One byte decimal protocol ID
422    See GSM specs for more details
423    Normally 0 or absent
424    dcs
425    One byte decimal data coding scheme
426    If omitted, a sensible default is used (see below)
427    See GSM specs for more details
428    mr
429    One byte decimal message reference
430    Present on mobile originated messages, added by default if absent
431    srr
432    0 or 1 for status report request
433    Does not work in UK yet, not implemented in app\_sms yet
434    rp
435    0 or 1 return path
436    See GSM specs for details
437    vp
438    Validity period in seconds
439    Does not work in UK yet
440    udh
441    Hex string of user data header prepended to the SMS contents,
442    excluding initial length byte.
443    Consistent with ud, this is specified as udh# rather than udh=
444    If blank, this means that the udhi flag will be set but any user data
445    header must be in the ud field
446    ud
447    User data, may be text, or hex, see below
448 \end{verbatim}
449
450    udh is specified as as udh\# followed by hex (2 hex digits per byte).
451    If present, then the user data header indicator bit is set, and the
452    length plus the user data header is added to the start of the user
453    data, with padding if necessary (to septet boundary in 7 bit format).
454    User data can hold an USC character codes U+0000 to U+FFFF. Any other
455    characters are coded as U+FEFF
456
457    ud can be specified as ud= followed by UTF-8 encoded text if it
458    contains no control characters, i.e. only (U+0020 to U+FFFF). Any
459    invalid UTF-8 sequences are treated as is (U+0080-U+00FF).
460
461    ud can also be specified as ud\# followed by hex (2 hex digits per
462    byte) containing characters U+0000 to U+00FF only.
463
464    ud can also be specified as ud\#\# followed by hex (4 hex digits per
465    byte) containing UCS-2 characters.
466
467    When written by app\_sms (e.g. incoming messages), the file is written
468    with ud= if it can be (no control characters). If it cannot, the a
469    comment line ;ud= is used to show the user data for human readability
470    and ud\# or ud\#\# is used.
471
472 \section{Delivery reports}
473
474    The SMS specification allows for delivery reports. These are requested
475    using the srr bit. However, as these do not work in the UK yet they
476    are not fully implemented in this application. If anyone has a telco
477    that does implement these, please let me know. BT in the UK have a non
478    standard way to do this by starting the message with *0\#, and so this
479    application may have a UK specific bodge in the near future to handle
480    these.
481 \begin{verbatim}
482    The main changes that are proposed for delivery report handling are :-
483      * New queues for sent messages, one file for each destination
484        address and message reference.
485      * New field in message format, user reference, allowing applications
486        to tie up their original message with a report.
487      * Handling of the delivery confirmation/rejection and connecting to
488        the outgoing message - the received message file would then have
489        fields for the original outgoing message and user reference
490        allowing applications to handle confirmations better.
491 \end{verbatim}