Remove places that say if no language is specified it will default to english......
[asterisk/asterisk.git] / doc / tex / app-sms.tex
1 \section{Introduction}
2
3    The SMS module for Asterisk was developed by Adrian Kennard, and is an
4    implementation of the ETSI specification for landline SMS, ETSI ES 201
5    912, which is available from \url{www.etsi.org}. Landline SMS is starting to
6    be available in various parts of Europe, and is available from BT in
7    the UK. However, Asterisk would allow gateways to be created in other
8    locations such as the US, and use of SMS capable phones such as the
9    Magic Messenger. SMS works using analogue or ISDN lines.
10
11 \section{Background}
12
13    Short Message Service (SMS), or texting is very popular between mobile
14    phones. A message can be sent between two phones, and normally
15    contains 160 characters. There are ways in which various types of data
16    can be encoded in a text message such as ring tones, and small
17    graphic, etc. Text messaging is being used for voting and
18    competitions, and also SPAM...
19    
20    Sending a message involves the mobile phone contacting a message
21    centre (SMSC) and passing the message to it. The message centre then
22    contacts the destination mobile to deliver the message. The SMSC is
23    responsible for storing the message and trying to send it until the
24    destination mobile is available, or a timeout.
25    
26    Landline SMS works in basically the same way. You would normally have
27    a suitable text capable landline phone, or a separate texting box such
28    as a Magic Messenger on your phone line. This sends a message to a
29    message centre your telco provides by making a normal call and sending
30    the data using 1200 Baud FSK signaling according to the ETSI spec. To
31    receive a message the message centre calls the line with a specific
32    calling number, and the text capable phone answers the call and
33    receives the data using 1200 Baud FSK signaling. This works
34    particularly well in the UK as the calling line identity is sent
35    before the first ring, so no phones in the house would ring when a
36    message arrives.
37
38 \section{Typical use with Asterisk}
39
40    Sending messages from an Asterisk box can be used for a variety of
41    reasons, including notification from any monitoring systems, email
42    subject lines, etc.
43
44    Receiving messages to an Asterisk box is typically used just to email
45    the messages to someone appropriate - we email and texts that are
46    received to our direct numbers to the appropriate person. Received
47    messages could also be used to control applications, manage
48    competitions, votes, post items to IRC, anything.
49
50    Using a terminal such as a magic messenger, an Asterisk box could ask
51    as a message centre sending messages to the terminal, which will beep
52    and pop up the message (and remember 100 or so messages in its
53    memory).
54
55 \section{Terminology}
56
57 \begin{itemize}
58    \item SMS -
59    Short Message Service
60    i.e. text messages
61
62    \item SMSC -
63    Short Message Service Centre
64    The system responsible for storing and forwarding messages
65
66    \item MO -
67    Mobile Originated
68    A message on its way from a mobile or landline device to the SMSC
69
70    \item MT -
71    Mobile Terminated
72    A message on its way from the SMSC to the mobile or landline device
73
74    \item RX -
75    Receive
76    A message coming in to the Asterisk box
77
78    \item TX -
79    Transmit
80    A message going out of the Asterisk box
81 \end{itemize}
82
83 \section{Sub address}
84
85    When sending a message to a landline, you simply send to the landline
86    number. In the UK, all of the mobile operators (bar one) understand
87    sending messages to landlines and pass the messages to the BTText
88    system for delivery to the landline.
89
90    The specification for landline SMS allows for the possibility of more
91    than one device on a single landline. These can be configured with Sub
92    addresses which are a single digit. To send a message to a specific
93    device the message is sent to the landline number with an extra digit
94    appended to the end. The telco can define a default sub address (9 in
95    the UK) which is used when the extra digit is not appended to the end.
96    When the call comes in, part of the calling line ID is the sub
97    address, so that only one device on the line answers the call and
98    receives the message.
99
100    Sub addresses also work for outgoing messages. Part of the number
101    called by the device to send a message is its sub address. Sending
102    from the default sub address (9 in the UK) means the message is
103    delivered with the sender being the normal landline number. Sending
104    from any other sub address makes the sender the landline number with
105    an extra digit on the end.
106
107    Using Asterisk, you can make use of the sub addresses for sending and
108    receiving messages. Using DDI (DID, i.e. multiple numbers on the line
109    on ISDN) you can also make use of many different numbers for SMS.
110
111 \section{extensions.conf}
112
113    The following contexts are recommended.
114 \begin{verbatim}
115 ; Mobile Terminated, RX. This is used when an incoming call from the SMS arrive
116 s, with the queue (called number and sub address) in ${EXTEN}
117 ; Running an app after receipt of the text allows the app to find all messages 
118 in the queue and handle them, e.g. email them.
119 ; The app may be something like   smsq --process=somecommand --queue=${EXTEN}  
120 to run a command for each received message
121 ; See below for usage
122 [smsmtrx]
123 exten = _X.,1, SMS(${EXTEN}|a)
124 exten = _X.,2,System("someapptohandleincomingsms ${EXTEN}")
125 exten = _X.,3,Hangup
126 ; Mobile originated, RX. This is receiving a message from a device, e.g. 
127 ; a Magic Messenger on a sip extension
128 ; Running an app after receipt of the text allows the app to find all messages 
129 ; in the queue and handle then, e.g. sending them to the public SMSC
130 ; The app may be something like   smsq --process=somecommand --queue=${EXTEN}  
131 ; to run a command for each received message
132 ; See below for example usage
133 [smsmorx]
134 exten = _X.,1, SMS(${EXTEN}|sa)
135 exten = _X.,2,System("someapptohandlelocalsms ${EXTEN}")
136 exten = _X.,3,Hangup
137 \end{verbatim}
138
139    smsmtrx is normally accessed by an incoming call from the SMSC. In the
140    UK this call is from a CLI of 080058752X0 where X is the sub address.
141    As such a typical usage in the extensions.conf at the point of
142    handling an incoming call is:
143
144 \begin{verbatim}
145 exten = _X./8005875290,1,Goto(smsmtrx,${EXTEN},1)
146 exten = _X./_80058752[0-8]0,1,Goto(smsmtrx,${EXTEN}-${CALLERID(num):8:1},1)
147 \end{verbatim}
148
149    Alternatively, if you have the correct national prefix on incoming
150    CLI, e.g. using zaphfc, you might use:
151
152 \begin{verbatim}
153 exten = _X./08005875290,1,Goto(smsmtrx,${EXTEN},1)
154 exten = _X./_080058752[0-8]0,1,Goto(smsmtrx,${EXTEN}-${CALLERID(num):9:1},1)
155 \end{verbatim}
156
157    smsmorx is normally accessed by a call from a local sip device
158    connected to a Magic Messenger. It could however by that you are
159    operating Asterisk as a message centre for calls from outside. Either
160    way, you look at the called number and goto smsmorx. In the UK, the
161    SMSC number that would be dialed is 1709400X where X is the caller sub
162    address. As such typical usage in extension.config at the point of
163    handling a call from a sip phone is:
164
165 \begin{verbatim}
166 exten = 17094009,1,Goto(smsmorx,${CALLERID(num)},1)
167 exten = _1709400[0-8],1,Goto(smsmorx,${CALLERID(num)}-{EXTEN:7:1},1)
168 \end{verbatim}
169
170 \section{Using smsq}
171
172    smsq is a simple helper application designed to make it easy to send
173    messages from a command line. it is intended to run on the Asterisk
174    box and have direct access to the queue directories for SMS and for
175    Asterisk.
176
177    In its simplest form you can send an SMS by a command such as
178    smsq 0123456789 This is a test to 0123456789
179    This would create a queue file for a mobile originated TX message in
180    queue 0 to send the text "This is a test to 0123456789" to 0123456789.
181    It would then place a file in the /var/spool/asterisk/outgoing
182    directory to initiate a call to 17094009 (the default message centre
183    in smsq) attached to application SMS with argument of the queue name
184    (0).
185
186    Normally smsq will queue a message ready to send, and will then create
187    a file in the Asterisk outgoing directory causing Asterisk to actually
188    connect to the message centre or device and actually send the pending
189    message(s).
190
191    Using --process, smsq can however be used on received queues to run a
192    command for each file (matching the queue if specified) with various
193    environment variables set based on the message (see below);
194    smsq options:-
195 \begin{verbatim}
196    --help
197    Show help text
198    --usage
199    Show usage
200    --queue
201    -q
202    Specify a specific queue
203    In no specified, messages are queued under queue "0"
204    --da
205    -d
206    Specify destination address
207    --oa
208    -o
209    Specify originating address
210    This also implies that we are generating a mobile terminated message
211    --ud
212    -m
213    Specify the actual message
214    --ud-file
215    -f
216    Specify a file to be read for the context of the message
217    A blank filename (e.g. --ud-file= on its own) means read stdin. Very
218    useful when using via ssh where command line parsing could mess up the
219    message.
220    --mt
221    -t
222    Mobile terminated message to be generated
223    --mo
224    Mobile originated message to be generated
225    Default
226    --tx
227    Transmit message
228    Default
229    --rx
230    -r
231    Generate a message in the receive queue
232    --UTF-8
233    Treat the file as UTF-8 encoded (default)
234    --UCS-1
235    Treat the file as raw 8 bit UCS-1 data, not UTF-8 encoded
236    --UCS-2
237    Treat the file as raw 16 bit bigendian USC-2 data
238    --process
239    Specific a command to process for each file in the queue
240    Implies --rx and --mt if not otherwise specified.
241    Sets environment variables for every possible variable, and also ud,
242    ud8 (USC-1 hex), and ud16 (USC-2 hex) for each call. Removes files.
243    --motx-channel
244    Specify the channel for motx calls
245    May contain X to use sub address based on queue name or may be full
246    number
247    Default is Local/1709400X
248    --motx-callerid
249    Specify the caller ID for motx calls
250    The default is the queue name without -X suffix
251    --motx-wait
252    Wait time for motx call
253    Default 10
254    --motx-delay
255    Retry time for motx call
256    Default 1
257    --motx-retries
258    Retries for motx call
259    Default 10
260    --mttx-channel
261    Specify the channel for mttx calls
262    Default is Local/ and the queue name without -X suffix
263    --mtttx-callerid
264    Specify the callerid for mttx calls
265    May include X to use sub address based on queue name or may be full
266    number
267    Default is 080058752X0
268    --mttx-wait
269    Wait time for mttx call
270    Default 10
271    --mttx-delay
272    Retry time for mttx call
273    Default 30
274    --mttx-retries
275    Retries for mttx call
276    Default 100
277    --default-sub-address
278    The default sub address assumed (e.g. for X in CLI and dialled numbers
279    as above) when none added (-X) to queue
280    Default 9
281    --no-dial
282    -x
283    Create queue, but do not dial to send message
284    --no-wait
285    Do not wait if a call appears to be in progress
286    This could have a small window where a message is queued but not
287    sent, so regular calls to smsq should be done to pick up any missed
288    messages
289    --concurrent
290    How many concurrent calls to allow (per queue), default 1
291    --mr
292    -n
293    Message reference
294    --pid
295    -p
296    Protocol ID
297    --dcs
298    Data coding scheme
299    --udh
300    Specific hex string of user data header specified (not including the
301    initial length byte)
302    May be a blank string to indicate header is included in the user data
303    already but user data header indication to be set.
304    --srr
305    Status report requested
306    --rp
307    Return path requested
308    --vp
309    Specify validity period (seconds)
310    --scts
311    Specify timestamp (YYYY-MM-DDTHH:MM:SS)
312    --spool-dir
313    Spool dir (in which sms and outgoing are found)
314    Default /var/spool/asterisk
315 \end{verbatim}
316
317    Other arguments starting '-' or '\verb!--!' are invalid and will cause an
318    error. Any trailing arguments are processed as follows:-
319
320 \begin{itemize}
321     
322      \item If the message is mobile originating and no destination address
323        has been specified, then the first argument is assumed to be a
324        destination address
325
326      \item If the message is mobile terminating and no destination address
327        has been specified, then the first argument is assumed to be the
328        queue name
329
330      \item If there is no user data, or user data file specified, then any
331        following arguments are assumed to be the message, which are
332        concatenated.
333
334      \item If no user data is specified, then no message is sent. However,
335        unless \verb!--no-dial! is specified, smsq checks for pending messages
336        and generates an outgoing anyway
337 \end{itemize}
338
339
340    Note that when smsq attempts to make a file in
341    /var/spool/asterisk/outgoing, it checks if there is already a call
342    queued for that queue. It will try several filenames, up to the
343    --concurrent setting. If these files exist, then this means Asterisk
344    is already queued to send all messages for that queue, and so Asterisk
345    should pick up the message just queued. However, this alone could
346    create a race condition, so if the files exist then smsq will wait up
347    to 3 seconds to confirm it still exists or if the queued messages have
348    been sent already. The --no-wait turns off this behaviour. Basically,
349    this means that if you have a lot of messages to send all at once,
350    Asterisk will not make unlimited concurrent calls to the same message
351    centre or device for the same queue. This is because it is generally
352    more efficient to make one call and send all of the messages one after
353    the other.
354
355    smsq can be used with no arguments, or with a queue name only, and it
356    will check for any pending messages and cause an outgoing if there are
357    any. It only sets up one outgoing call at a time based on the first
358    queued message it finds. A outgoing call will normally send all queued
359    messages for that queue. One way to use smsq would be to run with no
360    queue name (so any queue) every minute or every few seconds to send
361    pending message. This is not normally necessary unless --no-dial is
362    selected. Note that smsq does only check motx or mttx depending on the
363    options selected, so it would need to be called twice as a general
364    check.
365
366    UTF-8 is used to parse command line arguments for user data, and is
367    the default when reading a file. If an invalid UTF-8 sequence is
368    found, it is treated as UCS-1 data (i.e, as is).
369    The --process option causes smsq to scan the specified queue (default
370    is mtrx) for messages (matching the queue specified, or any if queue
371    not specified) and run a command and delete the file. The command is
372    run with a number of environment variables set as follows. Note that
373    these are unset if not needed and not just taken from the calling
374    environment. This allows simple processing of incoming messages
375 \begin{verbatim}
376    $queue
377    Set if a queue specified
378    $?srr
379    srr is set (to blank) if srr defined and has value 1.
380    $?rp
381    rp is set (to blank) if rp defined and has value 1.
382    $ud
383    User data, UTF-8 encoding, including any control characters, but with
384    nulls stripped out
385    Useful for the content of emails, for example, as it includes any
386    newlines, etc.
387    $ude
388    User data, escaped UTF-8, including all characters, but control
389    characters \n, \r, \t, \f, \xxx and \ is escaped as \\
390    Useful guaranteed one line printable text, so useful in Subject lines
391    of emails, etc
392    $ud8
393    Hex UCS-1 coding of user data (2 hex digits per character)
394    Present only if all user data is in range U+0000 to U+00FF
395    $ud16
396    Hex UCS-2 coding of user data (4 hex digits per character)
397    other
398    Other fields set using their field name, e.g. mr, pid, dcs, etc. udh
399    is a hex byte string
400 \end{verbatim}
401
402 \section{File formats}
403
404    By default all queues are held in a director /var/spool/asterisk/sms.
405    Within this directory are sub directories mtrx, mttx, morx, motx which
406    hold the received messages and the messages ready to send. Also,
407    /var/log/asterisk/sms is a log file of all messages handled.
408    
409    The file name in each queue directory starts with the queue parameter
410    to SMS which is normally the CLI used for an outgoing message or the
411    called number on an incoming message, and may have -X (X being sub
412    address) appended. If no queue ID is known, then 0 is used by smsq by
413    default. After this is a dot, and then any text. Files are scanned for
414    matching queue ID and a dot at the start. This means temporary files
415    being created can be given a different name not starting with a queue
416    (we recommend a . on the start of the file name for temp files).
417    Files in these queues are in the form of a simple text file where each
418    line starts with a keyword and an = and then data. udh and ud have
419    options for hex encoding, see below.
420
421    UTF-8. The user data (ud) field is treated as being UTF-8 encoded
422    unless the DCS is specified indicating 8 bit format. If 8 bit format
423    is specified then the user data is sent as is.
424    The keywords are as follows:-
425 \begin{verbatim}
426    oa Originating address
427    The phone number from which the message came
428    Present on mobile terminated messages and is the CLI for morx messages
429    da
430    Destination Address
431    The phone number to which the message is sent
432    Present on mobile originated messages
433    scts
434    The service centre time stamp
435    Format YYYY-MM-DDTHH:MM:SS
436    Present on mobile terminated messages
437    pid
438    One byte decimal protocol ID
439    See GSM specs for more details
440    Normally 0 or absent
441    dcs
442    One byte decimal data coding scheme
443    If omitted, a sensible default is used (see below)
444    See GSM specs for more details
445    mr
446    One byte decimal message reference
447    Present on mobile originated messages, added by default if absent
448    srr
449    0 or 1 for status report request
450    Does not work in UK yet, not implemented in app\_sms yet
451    rp
452    0 or 1 return path
453    See GSM specs for details
454    vp
455    Validity period in seconds
456    Does not work in UK yet
457    udh
458    Hex string of user data header prepended to the SMS contents,
459    excluding initial length byte.
460    Consistent with ud, this is specified as udh# rather than udh=
461    If blank, this means that the udhi flag will be set but any user data
462    header must be in the ud field
463    ud
464    User data, may be text, or hex, see below
465 \end{verbatim}
466
467    udh is specified as as udh\# followed by hex (2 hex digits per byte).
468    If present, then the user data header indicator bit is set, and the
469    length plus the user data header is added to the start of the user
470    data, with padding if necessary (to septet boundary in 7 bit format).
471    User data can hold an USC character codes U+0000 to U+FFFF. Any other
472    characters are coded as U+FEFF
473
474    ud can be specified as ud= followed by UTF-8 encoded text if it
475    contains no control characters, i.e. only (U+0020 to U+FFFF). Any
476    invalid UTF-8 sequences are treated as is (U+0080-U+00FF).
477
478    ud can also be specified as ud\# followed by hex (2 hex digits per
479    byte) containing characters U+0000 to U+00FF only.
480
481    ud can also be specified as ud\#\# followed by hex (4 hex digits per
482    byte) containing UCS-2 characters.
483
484    When written by app\_sms (e.g. incoming messages), the file is written
485    with ud= if it can be (no control characters). If it cannot, the a
486    comment line ;ud= is used to show the user data for human readability
487    and ud\# or ud\#\# is used.
488
489 \section{Delivery reports}
490
491    The SMS specification allows for delivery reports. These are requested
492    using the srr bit. However, as these do not work in the UK yet they
493    are not fully implemented in this application. If anyone has a telco
494    that does implement these, please let me know. BT in the UK have a non
495    standard way to do this by starting the message with *0\#, and so this
496    application may have a UK specific bodge in the near future to handle
497    these.
498
499    The main changes that are proposed for delivery report handling are :
500
501 \begin{itemize}
502      \item New queues for sent messages, one file for each destination
503        address and message reference.
504
505      \item New field in message format, user reference, allowing applications
506        to tie up their original message with a report.
507
508      \item Handling of the delivery confirmation/rejection and connecting to
509        the outgoing message - the received message file would then have
510        fields for the original outgoing message and user reference
511        allowing applications to handle confirmations better.
512 \end{itemize}