075978e894055ce28dc485a829b9f764c7b6be30
[asterisk/asterisk.git] / res / res_rtp_asterisk.c
1 /*
2  * Asterisk -- An open source telephony toolkit.
3  *
4  * Copyright (C) 1999 - 2008, Digium, Inc.
5  *
6  * Mark Spencer <markster@digium.com>
7  *
8  * See http://www.asterisk.org for more information about
9  * the Asterisk project. Please do not directly contact
10  * any of the maintainers of this project for assistance;
11  * the project provides a web site, mailing lists and IRC
12  * channels for your use.
13  *
14  * This program is free software, distributed under the terms of
15  * the GNU General Public License Version 2. See the LICENSE file
16  * at the top of the source tree.
17  */
18
19 /*!
20  * \file
21  *
22  * \brief Supports RTP and RTCP with Symmetric RTP support for NAT traversal.
23  *
24  * \author Mark Spencer <markster@digium.com>
25  *
26  * \note RTP is defined in RFC 3550.
27  *
28  * \ingroup rtp_engines
29  */
30
31 /*** MODULEINFO
32         <use type="external">pjproject</use>
33         <support_level>core</support_level>
34  ***/
35
36 #include "asterisk.h"
37
38 ASTERISK_FILE_VERSION(__FILE__, "$Revision$")
39
40 #include <sys/time.h>
41 #include <signal.h>
42 #include <fcntl.h>
43
44 #ifdef HAVE_OPENSSL_SRTP
45 #include <openssl/ssl.h>
46 #include <openssl/err.h>
47 #include <openssl/bio.h>
48 #endif
49
50 #ifdef HAVE_PJPROJECT
51 #include <pjlib.h>
52 #include <pjlib-util.h>
53 #include <pjnath.h>
54 #endif
55
56 #include "asterisk/stun.h"
57 #include "asterisk/pbx.h"
58 #include "asterisk/frame.h"
59 #include "asterisk/channel.h"
60 #include "asterisk/acl.h"
61 #include "asterisk/config.h"
62 #include "asterisk/lock.h"
63 #include "asterisk/utils.h"
64 #include "asterisk/cli.h"
65 #include "asterisk/manager.h"
66 #include "asterisk/unaligned.h"
67 #include "asterisk/module.h"
68 #include "asterisk/rtp_engine.h"
69
70 #define MAX_TIMESTAMP_SKEW      640
71
72 #define RTP_SEQ_MOD     (1<<16) /*!< A sequence number can't be more than 16 bits */
73 #define RTCP_DEFAULT_INTERVALMS   5000  /*!< Default milli-seconds between RTCP reports we send */
74 #define RTCP_MIN_INTERVALMS       500   /*!< Min milli-seconds between RTCP reports we send */
75 #define RTCP_MAX_INTERVALMS       60000 /*!< Max milli-seconds between RTCP reports we send */
76
77 #define DEFAULT_RTP_START 5000 /*!< Default port number to start allocating RTP ports from */
78 #define DEFAULT_RTP_END 31000  /*!< Default maximum port number to end allocating RTP ports at */
79
80 #define MINIMUM_RTP_PORT 1024 /*!< Minimum port number to accept */
81 #define MAXIMUM_RTP_PORT 65535 /*!< Maximum port number to accept */
82
83 #define DEFAULT_TURN_PORT 34780
84
85 #define TURN_ALLOCATION_WAIT_TIME 2000
86
87 #define RTCP_PT_FUR     192
88 #define RTCP_PT_SR      AST_RTP_RTCP_SR
89 #define RTCP_PT_RR      AST_RTP_RTCP_RR
90 #define RTCP_PT_SDES    202
91 #define RTCP_PT_BYE     203
92 #define RTCP_PT_APP     204
93 /* VP8: RTCP Feedback */
94 #define RTCP_PT_PSFB    206
95
96 #define RTP_MTU         1200
97 #define DTMF_SAMPLE_RATE_MS    8 /*!< DTMF samples per millisecond */
98
99 #define DEFAULT_DTMF_TIMEOUT (150 * (8000 / 1000))      /*!< samples */
100
101 #define ZFONE_PROFILE_ID 0x505a
102
103 #define DEFAULT_LEARNING_MIN_SEQUENTIAL 4
104
105 #define SRTP_MASTER_KEY_LEN 16
106 #define SRTP_MASTER_SALT_LEN 14
107 #define SRTP_MASTER_LEN (SRTP_MASTER_KEY_LEN + SRTP_MASTER_SALT_LEN)
108
109 enum strict_rtp_state {
110         STRICT_RTP_OPEN = 0, /*! No RTP packets should be dropped, all sources accepted */
111         STRICT_RTP_LEARN,    /*! Accept next packet as source */
112         STRICT_RTP_CLOSED,   /*! Drop all RTP packets not coming from source that was learned */
113 };
114
115 #define DEFAULT_STRICT_RTP STRICT_RTP_CLOSED
116 #define DEFAULT_ICESUPPORT 1
117
118 extern struct ast_srtp_res *res_srtp;
119 extern struct ast_srtp_policy_res *res_srtp_policy;
120
121 static int dtmftimeout = DEFAULT_DTMF_TIMEOUT;
122
123 static int rtpstart = DEFAULT_RTP_START;                        /*!< First port for RTP sessions (set in rtp.conf) */
124 static int rtpend = DEFAULT_RTP_END;                    /*!< Last port for RTP sessions (set in rtp.conf) */
125 static int rtpdebug;                    /*!< Are we debugging? */
126 static int rtcpdebug;                   /*!< Are we debugging RTCP? */
127 static int rtcpstats;                   /*!< Are we debugging RTCP? */
128 static int rtcpinterval = RTCP_DEFAULT_INTERVALMS; /*!< Time between rtcp reports in millisecs */
129 static struct ast_sockaddr rtpdebugaddr;        /*!< Debug packets to/from this host */
130 static struct ast_sockaddr rtcpdebugaddr;       /*!< Debug RTCP packets to/from this host */
131 static int rtpdebugport;                /*< Debug only RTP packets from IP or IP+Port if port is > 0 */
132 static int rtcpdebugport;               /*< Debug only RTCP packets from IP or IP+Port if port is > 0 */
133 #ifdef SO_NO_CHECK
134 static int nochecksums;
135 #endif
136 static int strictrtp = DEFAULT_STRICT_RTP; /*< Only accept RTP frames from a defined source. If we receive an indication of a changing source, enter learning mode. */
137 static int learning_min_sequential = DEFAULT_LEARNING_MIN_SEQUENTIAL; /*< Number of sequential RTP frames needed from a single source during learning mode to accept new source. */
138 #ifdef HAVE_PJPROJECT
139 static int icesupport = DEFAULT_ICESUPPORT;
140 static struct sockaddr_in stunaddr;
141 static pj_str_t turnaddr;
142 static int turnport = DEFAULT_TURN_PORT;
143 static pj_str_t turnusername;
144 static pj_str_t turnpassword;
145
146 /*! \brief Pool factory used by pjlib to allocate memory. */
147 static pj_caching_pool cachingpool;
148
149 /*! \brief Pool used by pjlib functions which require memory allocation. */
150 static pj_pool_t *pool;
151
152 /*! \brief I/O queue for TURN relay traffic */
153 static pj_ioqueue_t *ioqueue;
154
155 /*! \brief Timer heap for ICE and TURN stuff */
156 static pj_timer_heap_t *timerheap;
157
158 /*! \brief Worker thread for ICE/TURN */
159 static pj_thread_t *thread;
160
161 /*! \brief Notification that the ICE/TURN worker thread should stop */
162 static int worker_terminate;
163 #endif
164
165 #define FLAG_3389_WARNING               (1 << 0)
166 #define FLAG_NAT_ACTIVE                 (3 << 1)
167 #define FLAG_NAT_INACTIVE               (0 << 1)
168 #define FLAG_NAT_INACTIVE_NOWARN        (1 << 1)
169 #define FLAG_NEED_MARKER_BIT            (1 << 3)
170 #define FLAG_DTMF_COMPENSATE            (1 << 4)
171
172 #define TRANSPORT_SOCKET_RTP 1
173 #define TRANSPORT_SOCKET_RTCP 2
174 #define TRANSPORT_TURN_RTP 3
175 #define TRANSPORT_TURN_RTCP 4
176
177 #define COMPONENT_RTP 1
178 #define COMPONENT_RTCP 2
179
180 /*! \brief RTP learning mode tracking information */
181 struct rtp_learning_info {
182         int max_seq;    /*!< The highest sequence number received */
183         int packets;    /*!< The number of remaining packets before the source is accepted */
184 };
185
186 /*! \brief RTP session description */
187 struct ast_rtp {
188         int s;
189         struct ast_frame f;
190         unsigned char rawdata[8192 + AST_FRIENDLY_OFFSET];
191         unsigned int ssrc;              /*!< Synchronization source, RFC 3550, page 10. */
192         unsigned int themssrc;          /*!< Their SSRC */
193         unsigned int rxssrc;
194         unsigned int lastts;
195         unsigned int lastrxts;
196         unsigned int lastividtimestamp;
197         unsigned int lastovidtimestamp;
198         unsigned int lastitexttimestamp;
199         unsigned int lastotexttimestamp;
200         unsigned int lasteventseqn;
201         int lastrxseqno;                /*!< Last received sequence number */
202         unsigned short seedrxseqno;     /*!< What sequence number did they start with?*/
203         unsigned int seedrxts;          /*!< What RTP timestamp did they start with? */
204         unsigned int rxcount;           /*!< How many packets have we received? */
205         unsigned int rxoctetcount;      /*!< How many octets have we received? should be rxcount *160*/
206         unsigned int txcount;           /*!< How many packets have we sent? */
207         unsigned int txoctetcount;      /*!< How many octets have we sent? (txcount*160)*/
208         unsigned int cycles;            /*!< Shifted count of sequence number cycles */
209         double rxjitter;                /*!< Interarrival jitter at the moment in seconds */
210         double rxtransit;               /*!< Relative transit time for previous packet */
211         struct ast_format lasttxformat;
212         struct ast_format lastrxformat;
213
214         int rtptimeout;                 /*!< RTP timeout time (negative or zero means disabled, negative value means temporarily disabled) */
215         int rtpholdtimeout;             /*!< RTP timeout when on hold (negative or zero means disabled, negative value means temporarily disabled). */
216         int rtpkeepalive;               /*!< Send RTP comfort noice packets for keepalive */
217
218         /* DTMF Reception Variables */
219         char resp;                        /*!< The current digit being processed */
220         unsigned int last_seqno;          /*!< The last known sequence number for any DTMF packet */
221         unsigned int last_end_timestamp;  /*!< The last known timestamp received from an END packet */
222         unsigned int dtmf_duration;       /*!< Total duration in samples since the digit start event */
223         unsigned int dtmf_timeout;        /*!< When this timestamp is reached we consider END frame lost and forcibly abort digit */
224         unsigned int dtmfsamples;
225         enum ast_rtp_dtmf_mode dtmfmode;  /*!< The current DTMF mode of the RTP stream */
226         /* DTMF Transmission Variables */
227         unsigned int lastdigitts;
228         char sending_digit;     /*!< boolean - are we sending digits */
229         char send_digit;        /*!< digit we are sending */
230         int send_payload;
231         int send_duration;
232         unsigned int flags;
233         struct timeval rxcore;
234         struct timeval txcore;
235         double drxcore;                 /*!< The double representation of the first received packet */
236         struct timeval lastrx;          /*!< timeval when we last received a packet */
237         struct timeval dtmfmute;
238         struct ast_smoother *smoother;
239         int *ioid;
240         unsigned short seqno;           /*!< Sequence number, RFC 3550, page 13. */
241         unsigned short rxseqno;
242         struct ast_sched_context *sched;
243         struct io_context *io;
244         void *data;
245         struct ast_rtcp *rtcp;
246         struct ast_rtp *bridged;        /*!< Who we are Packet bridged to */
247
248         enum strict_rtp_state strict_rtp_state; /*!< Current state that strict RTP protection is in */
249         struct ast_sockaddr strict_rtp_address;  /*!< Remote address information for strict RTP purposes */
250
251         /*
252          * Learning mode values based on pjmedia's probation mode.  Many of these values are redundant to the above,
253          * but these are in place to keep learning mode sequence values sealed from their normal counterparts.
254          */
255         struct rtp_learning_info rtp_source_learn;      /* Learning mode track for the expected RTP source */
256         struct rtp_learning_info alt_source_learn;      /* Learning mode tracking for a new RTP source after one has been chosen */
257
258         struct rtp_red *red;
259
260         ast_mutex_t lock;           /*!< Lock for synchronization purposes */
261         ast_cond_t cond;            /*!< Condition for signaling */
262
263 #ifdef HAVE_PJPROJECT
264         pj_ice_sess *ice;           /*!< ICE session */
265         pj_turn_sock *turn_rtp;     /*!< RTP TURN relay */
266         pj_turn_sock *turn_rtcp;    /*!< RTCP TURN relay */
267         pj_turn_state_t turn_state; /*!< Current state of the TURN relay session */
268         unsigned int passthrough:1; /*!< Bit to indicate that the received packet should be passed through */
269         unsigned int ice_started:1; /*!< Bit to indicate ICE connectivity checks have started */
270
271         char remote_ufrag[256];  /*!< The remote ICE username */
272         char remote_passwd[256]; /*!< The remote ICE password */
273
274         char local_ufrag[256];  /*!< The local ICE username */
275         char local_passwd[256]; /*!< The local ICE password */
276
277         struct ao2_container *local_candidates;   /*!< The local ICE candidates */
278         struct ao2_container *remote_candidates;  /*!< The remote ICE candidates */
279 #endif
280
281 #ifdef HAVE_OPENSSL_SRTP
282         SSL_CTX *ssl_ctx; /*!< SSL context */
283         SSL *ssl;         /*!< SSL session */
284         BIO *read_bio;    /*!< Memory buffer for reading */
285         BIO *write_bio;   /*!< Memory buffer for writing */
286         enum ast_rtp_dtls_setup dtls_setup; /*!< Current setup state */
287         enum ast_srtp_suite suite;   /*!< SRTP crypto suite */
288         char local_fingerprint[160]; /*!< Fingerprint of our certificate */
289         unsigned char remote_fingerprint[EVP_MAX_MD_SIZE]; /*!< Fingerprint of the peer certificate */
290         enum ast_rtp_dtls_connection connection; /*!< Whether this is a new or existing connection */
291         unsigned int dtls_failure:1; /*!< Failure occurred during DTLS negotiation */
292         unsigned int rekey; /*!< Interval at which to renegotiate and rekey */
293         int rekeyid; /*!< Scheduled item id for rekeying */
294 #endif
295 };
296
297 /*!
298  * \brief Structure defining an RTCP session.
299  *
300  * The concept "RTCP session" is not defined in RFC 3550, but since
301  * this structure is analogous to ast_rtp, which tracks a RTP session,
302  * it is logical to think of this as a RTCP session.
303  *
304  * RTCP packet is defined on page 9 of RFC 3550.
305  *
306  */
307 struct ast_rtcp {
308         int rtcp_info;
309         int s;                          /*!< Socket */
310         struct ast_sockaddr us;         /*!< Socket representation of the local endpoint. */
311         struct ast_sockaddr them;       /*!< Socket representation of the remote endpoint. */
312         unsigned int soc;               /*!< What they told us */
313         unsigned int spc;               /*!< What they told us */
314         unsigned int themrxlsr;         /*!< The middle 32 bits of the NTP timestamp in the last received SR*/
315         struct timeval rxlsr;           /*!< Time when we got their last SR */
316         struct timeval txlsr;           /*!< Time when we sent or last SR*/
317         unsigned int expected_prior;    /*!< no. packets in previous interval */
318         unsigned int received_prior;    /*!< no. packets received in previous interval */
319         int schedid;                    /*!< Schedid returned from ast_sched_add() to schedule RTCP-transmissions*/
320         unsigned int rr_count;          /*!< number of RRs we've sent, not including report blocks in SR's */
321         unsigned int sr_count;          /*!< number of SRs we've sent */
322         unsigned int lastsrtxcount;     /*!< Transmit packet count when last SR sent */
323         double accumulated_transit;     /*!< accumulated a-dlsr-lsr */
324         double rtt;                     /*!< Last reported rtt */
325         unsigned int reported_jitter;   /*!< The contents of their last jitter entry in the RR */
326         unsigned int reported_lost;     /*!< Reported lost packets in their RR */
327
328         double reported_maxjitter;
329         double reported_minjitter;
330         double reported_normdev_jitter;
331         double reported_stdev_jitter;
332         unsigned int reported_jitter_count;
333
334         double reported_maxlost;
335         double reported_minlost;
336         double reported_normdev_lost;
337         double reported_stdev_lost;
338
339         double rxlost;
340         double maxrxlost;
341         double minrxlost;
342         double normdev_rxlost;
343         double stdev_rxlost;
344         unsigned int rxlost_count;
345
346         double maxrxjitter;
347         double minrxjitter;
348         double normdev_rxjitter;
349         double stdev_rxjitter;
350         unsigned int rxjitter_count;
351         double maxrtt;
352         double minrtt;
353         double normdevrtt;
354         double stdevrtt;
355         unsigned int rtt_count;
356
357         /* VP8: sequence number for the RTCP FIR FCI */
358         int firseq;
359 };
360
361 struct rtp_red {
362         struct ast_frame t140;  /*!< Primary data  */
363         struct ast_frame t140red;   /*!< Redundant t140*/
364         unsigned char pt[AST_RED_MAX_GENERATION];  /*!< Payload types for redundancy data */
365         unsigned char ts[AST_RED_MAX_GENERATION]; /*!< Time stamps */
366         unsigned char len[AST_RED_MAX_GENERATION]; /*!< length of each generation */
367         int num_gen; /*!< Number of generations */
368         int schedid; /*!< Timer id */
369         int ti; /*!< How long to buffer data before send */
370         unsigned char t140red_data[64000];
371         unsigned char buf_data[64000]; /*!< buffered primary data */
372         int hdrlen;
373         long int prev_ts;
374 };
375
376 AST_LIST_HEAD_NOLOCK(frame_list, ast_frame);
377
378 /* Forward Declarations */
379 static int ast_rtp_new(struct ast_rtp_instance *instance, struct ast_sched_context *sched, struct ast_sockaddr *addr, void *data);
380 static int ast_rtp_destroy(struct ast_rtp_instance *instance);
381 static int ast_rtp_dtmf_begin(struct ast_rtp_instance *instance, char digit);
382 static int ast_rtp_dtmf_end(struct ast_rtp_instance *instance, char digit);
383 static int ast_rtp_dtmf_end_with_duration(struct ast_rtp_instance *instance, char digit, unsigned int duration);
384 static int ast_rtp_dtmf_mode_set(struct ast_rtp_instance *instance, enum ast_rtp_dtmf_mode dtmf_mode);
385 static enum ast_rtp_dtmf_mode ast_rtp_dtmf_mode_get(struct ast_rtp_instance *instance);
386 static void ast_rtp_update_source(struct ast_rtp_instance *instance);
387 static void ast_rtp_change_source(struct ast_rtp_instance *instance);
388 static int ast_rtp_write(struct ast_rtp_instance *instance, struct ast_frame *frame);
389 static struct ast_frame *ast_rtp_read(struct ast_rtp_instance *instance, int rtcp);
390 static void ast_rtp_prop_set(struct ast_rtp_instance *instance, enum ast_rtp_property property, int value);
391 static int ast_rtp_fd(struct ast_rtp_instance *instance, int rtcp);
392 static void ast_rtp_remote_address_set(struct ast_rtp_instance *instance, struct ast_sockaddr *addr);
393 static int rtp_red_init(struct ast_rtp_instance *instance, int buffer_time, int *payloads, int generations);
394 static int rtp_red_buffer(struct ast_rtp_instance *instance, struct ast_frame *frame);
395 static int ast_rtp_local_bridge(struct ast_rtp_instance *instance0, struct ast_rtp_instance *instance1);
396 static int ast_rtp_get_stat(struct ast_rtp_instance *instance, struct ast_rtp_instance_stats *stats, enum ast_rtp_instance_stat stat);
397 static int ast_rtp_dtmf_compatible(struct ast_channel *chan0, struct ast_rtp_instance *instance0, struct ast_channel *chan1, struct ast_rtp_instance *instance1);
398 static void ast_rtp_stun_request(struct ast_rtp_instance *instance, struct ast_sockaddr *suggestion, const char *username);
399 static void ast_rtp_stop(struct ast_rtp_instance *instance);
400 static int ast_rtp_qos_set(struct ast_rtp_instance *instance, int tos, int cos, const char* desc);
401 static int ast_rtp_sendcng(struct ast_rtp_instance *instance, int level);
402
403 #ifdef HAVE_OPENSSL_SRTP
404 static int ast_rtp_activate(struct ast_rtp_instance *instance);
405 #endif
406
407 static int __rtp_sendto(struct ast_rtp_instance *instance, void *buf, size_t size, int flags, struct ast_sockaddr *sa, int rtcp, int *ice, int use_srtp);
408
409 /*! \brief Helper function which updates an ast_sockaddr with the candidate used for the component */
410 static void update_address_with_ice_candidate(struct ast_rtp *rtp, int component, struct ast_sockaddr *cand_address)
411 {
412 #ifdef HAVE_PJPROJECT
413         char address[PJ_INET6_ADDRSTRLEN];
414
415         if (!rtp->ice || (component < 1) || !rtp->ice->comp[component - 1].valid_check) {
416                 return;
417         }
418
419         ast_sockaddr_parse(cand_address, pj_sockaddr_print(&rtp->ice->comp[component - 1].valid_check->rcand->addr, address, sizeof(address), 0), 0);
420         ast_sockaddr_set_port(cand_address, pj_sockaddr_get_port(&rtp->ice->comp[component - 1].valid_check->rcand->addr));
421 #endif
422 }
423
424 #ifdef HAVE_PJPROJECT
425 /*! \brief Destructor for locally created ICE candidates */
426 static void ast_rtp_ice_candidate_destroy(void *obj)
427 {
428         struct ast_rtp_engine_ice_candidate *candidate = obj;
429
430         if (candidate->foundation) {
431                 ast_free(candidate->foundation);
432         }
433
434         if (candidate->transport) {
435                 ast_free(candidate->transport);
436         }
437 }
438
439 static void ast_rtp_ice_set_authentication(struct ast_rtp_instance *instance, const char *ufrag, const char *password)
440 {
441         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
442
443         if (!ast_strlen_zero(ufrag)) {
444                 ast_copy_string(rtp->remote_ufrag, ufrag, sizeof(rtp->remote_ufrag));
445         }
446
447         if (!ast_strlen_zero(password)) {
448                 ast_copy_string(rtp->remote_passwd, password, sizeof(rtp->remote_passwd));
449         }
450 }
451
452 static void ast_rtp_ice_add_remote_candidate(struct ast_rtp_instance *instance, const struct ast_rtp_engine_ice_candidate *candidate)
453 {
454         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
455         struct ast_rtp_engine_ice_candidate *remote_candidate;
456
457         if (!rtp->remote_candidates && !(rtp->remote_candidates = ao2_container_alloc(1, NULL, NULL))) {
458                 return;
459         }
460
461         /* If this is going to exceed the maximum number of ICE candidates don't even add it */
462         if (ao2_container_count(rtp->remote_candidates) == PJ_ICE_MAX_CAND) {
463                 return;
464         }
465
466         if (!(remote_candidate = ao2_alloc(sizeof(*remote_candidate), ast_rtp_ice_candidate_destroy))) {
467                 return;
468         }
469
470         remote_candidate->foundation = ast_strdup(candidate->foundation);
471         remote_candidate->id = candidate->id;
472         remote_candidate->transport = ast_strdup(candidate->transport);
473         remote_candidate->priority = candidate->priority;
474         ast_sockaddr_copy(&remote_candidate->address, &candidate->address);
475         ast_sockaddr_copy(&remote_candidate->relay_address, &candidate->relay_address);
476         remote_candidate->type = candidate->type;
477
478         ao2_link(rtp->remote_candidates, remote_candidate);
479         ao2_ref(remote_candidate, -1);
480 }
481
482 AST_THREADSTORAGE(pj_thread_storage);
483
484 /*! \brief Function used to check if the calling thread is registered with pjlib. If it is not it will be registered. */
485 static void pj_thread_register_check(void)
486 {
487         pj_thread_desc *desc;
488         pj_thread_t *thread;
489
490         if (pj_thread_is_registered() == PJ_TRUE) {
491                 return;
492         }
493
494         desc = ast_threadstorage_get(&pj_thread_storage, sizeof(pj_thread_desc));
495         if (!desc) {
496                 ast_log(LOG_ERROR, "Could not get thread desc from thread-local storage. Expect awful things to occur\n");
497                 return;
498         }
499         pj_bzero(*desc, sizeof(*desc));
500
501         if (pj_thread_register("Asterisk Thread", *desc, &thread) != PJ_SUCCESS) {
502                 ast_log(LOG_ERROR, "Coudln't register thread with PJLIB.\n");
503         }
504         return;
505 }
506
507 static void ast_rtp_ice_start(struct ast_rtp_instance *instance)
508 {
509         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
510         pj_str_t ufrag = pj_str(rtp->remote_ufrag), passwd = pj_str(rtp->remote_passwd);
511         pj_ice_sess_cand candidates[PJ_ICE_MAX_CAND];
512         struct ao2_iterator i;
513         struct ast_rtp_engine_ice_candidate *candidate;
514         int cand_cnt = 0;
515
516         if (!rtp->ice || !rtp->remote_candidates || rtp->ice_started) {
517                 return;
518         }
519
520         pj_thread_register_check();
521
522         i = ao2_iterator_init(rtp->remote_candidates, 0);
523
524         while ((candidate = ao2_iterator_next(&i)) && (cand_cnt < PJ_ICE_MAX_CAND)) {
525                 pj_str_t address;
526
527                 pj_strdup2(rtp->ice->pool, &candidates[cand_cnt].foundation, candidate->foundation);
528                 candidates[cand_cnt].comp_id = candidate->id;
529                 candidates[cand_cnt].prio = candidate->priority;
530
531                 pj_sockaddr_parse(pj_AF_UNSPEC(), 0, pj_cstr(&address, ast_sockaddr_stringify(&candidate->address)), &candidates[cand_cnt].addr);
532
533                 if (!ast_sockaddr_isnull(&candidate->relay_address)) {
534                         pj_sockaddr_parse(pj_AF_UNSPEC(), 0, pj_cstr(&address, ast_sockaddr_stringify(&candidate->relay_address)), &candidates[cand_cnt].rel_addr);
535                 }
536
537                 if (candidate->type == AST_RTP_ICE_CANDIDATE_TYPE_HOST) {
538                         candidates[cand_cnt].type = PJ_ICE_CAND_TYPE_HOST;
539                 } else if (candidate->type == AST_RTP_ICE_CANDIDATE_TYPE_SRFLX) {
540                         candidates[cand_cnt].type = PJ_ICE_CAND_TYPE_SRFLX;
541                 } else if (candidate->type == AST_RTP_ICE_CANDIDATE_TYPE_RELAYED) {
542                         candidates[cand_cnt].type = PJ_ICE_CAND_TYPE_RELAYED;
543                 }
544
545                 if (candidate->id == COMPONENT_RTP && rtp->turn_rtp) {
546                         pj_turn_sock_set_perm(rtp->turn_rtp, 1, &candidates[cand_cnt].addr, 1);
547                 } else if (candidate->id == COMPONENT_RTCP && rtp->turn_rtcp) {
548                         pj_turn_sock_set_perm(rtp->turn_rtcp, 1, &candidates[cand_cnt].addr, 1);
549                 }
550
551                 cand_cnt++;
552         }
553
554         ao2_iterator_destroy(&i);
555
556         if (pj_ice_sess_create_check_list(rtp->ice, &ufrag, &passwd, ao2_container_count(rtp->remote_candidates), &candidates[0]) == PJ_SUCCESS) {
557                 pj_ice_sess_start_check(rtp->ice);
558                 pj_timer_heap_poll(timerheap, NULL);
559                 rtp->ice_started = 1;
560                 rtp->strict_rtp_state = STRICT_RTP_OPEN;
561         }
562 }
563
564 static void ast_rtp_ice_stop(struct ast_rtp_instance *instance)
565 {
566         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
567
568         if (!rtp->ice) {
569                 return;
570         }
571
572         pj_thread_register_check();
573
574         pj_ice_sess_destroy(rtp->ice);
575         rtp->ice = NULL;
576 }
577
578 static const char *ast_rtp_ice_get_ufrag(struct ast_rtp_instance *instance)
579 {
580         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
581
582         return rtp->local_ufrag;
583 }
584
585 static const char *ast_rtp_ice_get_password(struct ast_rtp_instance *instance)
586 {
587         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
588
589         return rtp->local_passwd;
590 }
591
592 static struct ao2_container *ast_rtp_ice_get_local_candidates(struct ast_rtp_instance *instance)
593 {
594         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
595
596         if (rtp->local_candidates) {
597                 ao2_ref(rtp->local_candidates, +1);
598         }
599
600         return rtp->local_candidates;
601 }
602
603 static void ast_rtp_ice_lite(struct ast_rtp_instance *instance)
604 {
605         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
606
607         if (!rtp->ice) {
608                 return;
609         }
610
611         pj_thread_register_check();
612
613         pj_ice_sess_change_role(rtp->ice, PJ_ICE_SESS_ROLE_CONTROLLING);
614 }
615
616 static int ice_candidate_cmp(void *obj, void *arg, int flags)
617 {
618         struct ast_rtp_engine_ice_candidate *candidate1 = obj, *candidate2 = arg;
619
620         if ((strcmp(candidate1->foundation, candidate2->foundation)) ||
621             (candidate1->id != candidate2->id) ||
622             (ast_sockaddr_cmp(&candidate1->address, &candidate2->address)) ||
623             (candidate1->type != candidate1->type)) {
624                 return 0;
625         }
626
627         return CMP_MATCH | CMP_STOP;
628 }
629
630 static void ast_rtp_ice_add_cand(struct ast_rtp *rtp, unsigned comp_id, unsigned transport_id, pj_ice_cand_type type, pj_uint16_t local_pref,
631                                         const pj_sockaddr_t *addr, const pj_sockaddr_t *base_addr, const pj_sockaddr_t *rel_addr, int addr_len)
632 {
633         pj_str_t foundation;
634         struct ast_rtp_engine_ice_candidate *candidate, *existing;
635         char address[PJ_INET6_ADDRSTRLEN];
636
637         pj_thread_register_check();
638
639         pj_ice_calc_foundation(rtp->ice->pool, &foundation, type, addr);
640
641         if (!rtp->local_candidates && !(rtp->local_candidates = ao2_container_alloc(1, NULL, ice_candidate_cmp))) {
642                 return;
643         }
644
645         if (!(candidate = ao2_alloc(sizeof(*candidate), ast_rtp_ice_candidate_destroy))) {
646                 return;
647         }
648
649         candidate->foundation = ast_strndup(pj_strbuf(&foundation), pj_strlen(&foundation));
650         candidate->id = comp_id;
651         candidate->transport = ast_strdup("UDP");
652
653         ast_sockaddr_parse(&candidate->address, pj_sockaddr_print(addr, address, sizeof(address), 0), 0);
654         ast_sockaddr_set_port(&candidate->address, pj_sockaddr_get_port(addr));
655
656         if (rel_addr) {
657                 ast_sockaddr_parse(&candidate->relay_address, pj_sockaddr_print(rel_addr, address, sizeof(address), 0), 0);
658                 ast_sockaddr_set_port(&candidate->relay_address, pj_sockaddr_get_port(rel_addr));
659         }
660
661         if (type == PJ_ICE_CAND_TYPE_HOST) {
662                 candidate->type = AST_RTP_ICE_CANDIDATE_TYPE_HOST;
663         } else if (type == PJ_ICE_CAND_TYPE_SRFLX) {
664                 candidate->type = AST_RTP_ICE_CANDIDATE_TYPE_SRFLX;
665         } else if (type == PJ_ICE_CAND_TYPE_RELAYED) {
666                 candidate->type = AST_RTP_ICE_CANDIDATE_TYPE_RELAYED;
667         }
668
669         if ((existing = ao2_find(rtp->local_candidates, candidate, OBJ_POINTER))) {
670                 ao2_ref(existing, -1);
671                 ao2_ref(candidate, -1);
672                 return;
673         }
674
675         if (pj_ice_sess_add_cand(rtp->ice, comp_id, transport_id, type, local_pref, &foundation, addr, addr, rel_addr, addr_len, NULL) != PJ_SUCCESS) {
676                 ao2_ref(candidate, -1);
677                 return;
678         }
679
680         /* By placing the candidate into the ICE session it will have produced the priority, so update the local candidate with it */
681         candidate->priority = rtp->ice->lcand[rtp->ice->lcand_cnt - 1].prio;
682
683         ao2_link(rtp->local_candidates, candidate);
684         ao2_ref(candidate, -1);
685 }
686
687 static char *generate_random_string(char *buf, size_t size)
688 {
689         long val[4];
690         int x;
691
692         for (x=0; x<4; x++) {
693                 val[x] = ast_random();
694         }
695         snprintf(buf, size, "%08lx%08lx%08lx%08lx", val[0], val[1], val[2], val[3]);
696
697         return buf;
698 }
699
700 /* ICE RTP Engine interface declaration */
701 static struct ast_rtp_engine_ice ast_rtp_ice = {
702         .set_authentication = ast_rtp_ice_set_authentication,
703         .add_remote_candidate = ast_rtp_ice_add_remote_candidate,
704         .start = ast_rtp_ice_start,
705         .stop = ast_rtp_ice_stop,
706         .get_ufrag = ast_rtp_ice_get_ufrag,
707         .get_password = ast_rtp_ice_get_password,
708         .get_local_candidates = ast_rtp_ice_get_local_candidates,
709         .ice_lite = ast_rtp_ice_lite,
710 };
711 #endif
712
713 #ifdef HAVE_OPENSSL_SRTP
714 static void dtls_info_callback(const SSL *ssl, int where, int ret)
715 {
716         struct ast_rtp *rtp = SSL_get_ex_data(ssl, 0);
717
718         /* We only care about alerts */
719         if (!(where & SSL_CB_ALERT)) {
720                 return;
721         }
722
723         rtp->dtls_failure = 1;
724 }
725
726 static int ast_rtp_dtls_set_configuration(struct ast_rtp_instance *instance, const struct ast_rtp_dtls_cfg *dtls_cfg)
727 {
728         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
729
730         if (!dtls_cfg->enabled) {
731                 return 0;
732         }
733
734         if (!ast_rtp_engine_srtp_is_registered()) {
735                 return -1;
736         }
737
738         if (!(rtp->ssl_ctx = SSL_CTX_new(DTLSv1_method()))) {
739                 return -1;
740         }
741
742         SSL_CTX_set_verify(rtp->ssl_ctx, dtls_cfg->verify ? SSL_VERIFY_PEER | SSL_VERIFY_FAIL_IF_NO_PEER_CERT : SSL_VERIFY_NONE, NULL);
743
744         if (dtls_cfg->suite == AST_AES_CM_128_HMAC_SHA1_80) {
745                 SSL_CTX_set_tlsext_use_srtp(rtp->ssl_ctx, "SRTP_AES128_CM_SHA1_80");
746         } else if (dtls_cfg->suite == AST_AES_CM_128_HMAC_SHA1_32) {
747                 SSL_CTX_set_tlsext_use_srtp(rtp->ssl_ctx, "SRTP_AES128_CM_SHA1_32");
748         } else {
749                 ast_log(LOG_ERROR, "Unsupported suite specified for DTLS-SRTP on RTP instance '%p'\n", instance);
750                 goto error;
751         }
752
753         if (!ast_strlen_zero(dtls_cfg->certfile)) {
754                 char *private = ast_strlen_zero(dtls_cfg->pvtfile) ? dtls_cfg->certfile : dtls_cfg->pvtfile;
755                 BIO *certbio;
756                 X509 *cert;
757                 unsigned int size, i;
758                 unsigned char fingerprint[EVP_MAX_MD_SIZE];
759                 char *local_fingerprint = rtp->local_fingerprint;
760
761                 if (!SSL_CTX_use_certificate_file(rtp->ssl_ctx, dtls_cfg->certfile, SSL_FILETYPE_PEM)) {
762                         ast_log(LOG_ERROR, "Specified certificate file '%s' for RTP instance '%p' could not be used\n",
763                                 dtls_cfg->certfile, instance);
764                         goto error;
765                 }
766
767                 if (!SSL_CTX_use_PrivateKey_file(rtp->ssl_ctx, private, SSL_FILETYPE_PEM) ||
768                     !SSL_CTX_check_private_key(rtp->ssl_ctx)) {
769                         ast_log(LOG_ERROR, "Specified private key file '%s' for RTP instance '%p' could not be used\n",
770                                 private, instance);
771                         goto error;
772                 }
773
774                 if (!(certbio = BIO_new(BIO_s_file()))) {
775                         ast_log(LOG_ERROR, "Failed to allocate memory for certificate fingerprinting on RTP instance '%p'\n",
776                                 instance);
777                         goto error;
778                 }
779
780                 if (!BIO_read_filename(certbio, dtls_cfg->certfile) ||
781                     !(cert = PEM_read_bio_X509(certbio, NULL, 0, NULL)) ||
782                     !X509_digest(cert, EVP_sha1(), fingerprint, &size) ||
783                     !size) {
784                         ast_log(LOG_ERROR, "Could not produce fingerprint from certificate '%s' for RTP instance '%p'\n",
785                                 dtls_cfg->certfile, instance);
786                         BIO_free_all(certbio);
787                         goto error;
788                 }
789
790                 for (i = 0; i < size; i++) {
791                         sprintf(local_fingerprint, "%.2X:", fingerprint[i]);
792                         local_fingerprint += 3;
793                 }
794
795                 *(local_fingerprint-1) = 0;
796
797                 BIO_free_all(certbio);
798         }
799
800         if (!ast_strlen_zero(dtls_cfg->cipher)) {
801                 if (!SSL_CTX_set_cipher_list(rtp->ssl_ctx, dtls_cfg->cipher)) {
802                         ast_log(LOG_ERROR, "Invalid cipher specified in cipher list '%s' for RTP instance '%p'\n",
803                                 dtls_cfg->cipher, instance);
804                         goto error;
805                 }
806         }
807
808         if (!ast_strlen_zero(dtls_cfg->cafile) || !ast_strlen_zero(dtls_cfg->capath)) {
809                 if (!SSL_CTX_load_verify_locations(rtp->ssl_ctx, S_OR(dtls_cfg->cafile, NULL), S_OR(dtls_cfg->capath, NULL))) {
810                         ast_log(LOG_ERROR, "Invalid certificate authority file '%s' or path '%s' specified for RTP instance '%p'\n",
811                                 S_OR(dtls_cfg->cafile, ""), S_OR(dtls_cfg->capath, ""), instance);
812                         goto error;
813                 }
814         }
815
816         rtp->rekey = dtls_cfg->rekey;
817         rtp->dtls_setup = dtls_cfg->default_setup;
818         rtp->suite = dtls_cfg->suite;
819
820         if (!(rtp->ssl = SSL_new(rtp->ssl_ctx))) {
821                 ast_log(LOG_ERROR, "Failed to allocate memory for SSL context on RTP instance '%p'\n",
822                         instance);
823                 goto error;
824         }
825
826         SSL_set_ex_data(rtp->ssl, 0, rtp);
827         SSL_set_info_callback(rtp->ssl, dtls_info_callback);
828
829         if (!(rtp->read_bio = BIO_new(BIO_s_mem()))) {
830                 ast_log(LOG_ERROR, "Failed to allocate memory for inbound SSL traffic on RTP instance '%p'\n",
831                         instance);
832                 goto error;
833         }
834         BIO_set_mem_eof_return(rtp->read_bio, -1);
835
836         if (!(rtp->write_bio = BIO_new(BIO_s_mem()))) {
837                 ast_log(LOG_ERROR, "Failed to allocate memory for outbound SSL traffic on RTP instance '%p'\n",
838                         instance);
839                 goto error;
840         }
841         BIO_set_mem_eof_return(rtp->write_bio, -1);
842
843         SSL_set_bio(rtp->ssl, rtp->read_bio, rtp->write_bio);
844
845         if (rtp->dtls_setup == AST_RTP_DTLS_SETUP_PASSIVE) {
846                 SSL_set_accept_state(rtp->ssl);
847         } else {
848                 SSL_set_connect_state(rtp->ssl);
849         }
850
851         rtp->connection = AST_RTP_DTLS_CONNECTION_NEW;
852
853         return 0;
854
855 error:
856         if (rtp->read_bio) {
857                 BIO_free(rtp->read_bio);
858                 rtp->read_bio = NULL;
859         }
860
861         if (rtp->write_bio) {
862                 BIO_free(rtp->write_bio);
863                 rtp->write_bio = NULL;
864         }
865
866         if (rtp->ssl) {
867                 SSL_free(rtp->ssl);
868                 rtp->ssl = NULL;
869         }
870
871         SSL_CTX_free(rtp->ssl_ctx);
872         rtp->ssl_ctx = NULL;
873
874         return -1;
875 }
876
877 static int ast_rtp_dtls_active(struct ast_rtp_instance *instance)
878 {
879         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
880
881         return !rtp->ssl_ctx ? 0 : 1;
882 }
883
884 static void ast_rtp_dtls_stop(struct ast_rtp_instance *instance)
885 {
886         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
887
888         if (rtp->ssl_ctx) {
889                 SSL_CTX_free(rtp->ssl_ctx);
890                 rtp->ssl_ctx = NULL;
891         }
892
893         if (rtp->ssl) {
894                 SSL_free(rtp->ssl);
895                 rtp->ssl = NULL;
896         }
897 }
898
899 static void ast_rtp_dtls_reset(struct ast_rtp_instance *instance)
900 {
901         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
902
903         /* If the SSL session is not yet finalized don't bother resetting */
904         if (!SSL_is_init_finished(rtp->ssl)) {
905                 return;
906         }
907
908         SSL_shutdown(rtp->ssl);
909         rtp->connection = AST_RTP_DTLS_CONNECTION_NEW;
910 }
911
912 static enum ast_rtp_dtls_connection ast_rtp_dtls_get_connection(struct ast_rtp_instance *instance)
913 {
914         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
915
916         return rtp->connection;
917 }
918
919 static enum ast_rtp_dtls_setup ast_rtp_dtls_get_setup(struct ast_rtp_instance *instance)
920 {
921         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
922
923         return rtp->dtls_setup;
924 }
925
926 static void ast_rtp_dtls_set_setup(struct ast_rtp_instance *instance, enum ast_rtp_dtls_setup setup)
927 {
928         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
929         enum ast_rtp_dtls_setup old = rtp->dtls_setup;
930
931         switch (setup) {
932         case AST_RTP_DTLS_SETUP_ACTIVE:
933                 rtp->dtls_setup = AST_RTP_DTLS_SETUP_PASSIVE;
934                 break;
935         case AST_RTP_DTLS_SETUP_PASSIVE:
936                 rtp->dtls_setup = AST_RTP_DTLS_SETUP_ACTIVE;
937                 break;
938         case AST_RTP_DTLS_SETUP_ACTPASS:
939                 /* We can't respond to an actpass setup with actpass ourselves... so respond with active, as we can initiate connections */
940                 if (rtp->dtls_setup == AST_RTP_DTLS_SETUP_ACTPASS) {
941                         rtp->dtls_setup = AST_RTP_DTLS_SETUP_ACTIVE;
942                 }
943                 break;
944         case AST_RTP_DTLS_SETUP_HOLDCONN:
945                 rtp->dtls_setup = AST_RTP_DTLS_SETUP_HOLDCONN;
946                 break;
947         default:
948                 /* This should never occur... if it does exit early as we don't know what state things are in */
949                 return;
950         }
951
952         /* If the setup state did not change we go on as if nothing happened */
953         if (old == rtp->dtls_setup) {
954                 return;
955         }
956
957         /* If they don't want us to establish a connection wait until later */
958         if (rtp->dtls_setup == AST_RTP_DTLS_SETUP_HOLDCONN) {
959                 return;
960         }
961
962         if (rtp->dtls_setup == AST_RTP_DTLS_SETUP_ACTIVE) {
963                 SSL_set_connect_state(rtp->ssl);
964         } else if (rtp->dtls_setup == AST_RTP_DTLS_SETUP_PASSIVE) {
965                 SSL_set_accept_state(rtp->ssl);
966         } else {
967                 return;
968         }
969 }
970
971 static void ast_rtp_dtls_set_fingerprint(struct ast_rtp_instance *instance, enum ast_rtp_dtls_hash hash, const char *fingerprint)
972 {
973         char *tmp = ast_strdupa(fingerprint), *value;
974         int pos = 0;
975         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
976
977         if (hash != AST_RTP_DTLS_HASH_SHA1) {
978                 return;
979         }
980
981         while ((value = strsep(&tmp, ":")) && (pos != (EVP_MAX_MD_SIZE - 1))) {
982                 sscanf(value, "%02x", (unsigned int*)&rtp->remote_fingerprint[pos++]);
983         }
984 }
985
986 static const char *ast_rtp_dtls_get_fingerprint(struct ast_rtp_instance *instance, enum ast_rtp_dtls_hash hash)
987 {
988         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
989
990         if (hash != AST_RTP_DTLS_HASH_SHA1) {
991                 return NULL;
992         }
993
994         return rtp->local_fingerprint;
995 }
996
997 /* DTLS RTP Engine interface declaration */
998 static struct ast_rtp_engine_dtls ast_rtp_dtls = {
999         .set_configuration = ast_rtp_dtls_set_configuration,
1000         .active = ast_rtp_dtls_active,
1001         .stop = ast_rtp_dtls_stop,
1002         .reset = ast_rtp_dtls_reset,
1003         .get_connection = ast_rtp_dtls_get_connection,
1004         .get_setup = ast_rtp_dtls_get_setup,
1005         .set_setup = ast_rtp_dtls_set_setup,
1006         .set_fingerprint = ast_rtp_dtls_set_fingerprint,
1007         .get_fingerprint = ast_rtp_dtls_get_fingerprint,
1008 };
1009
1010 #endif
1011
1012 /* RTP Engine Declaration */
1013 static struct ast_rtp_engine asterisk_rtp_engine = {
1014         .name = "asterisk",
1015         .new = ast_rtp_new,
1016         .destroy = ast_rtp_destroy,
1017         .dtmf_begin = ast_rtp_dtmf_begin,
1018         .dtmf_end = ast_rtp_dtmf_end,
1019         .dtmf_end_with_duration = ast_rtp_dtmf_end_with_duration,
1020         .dtmf_mode_set = ast_rtp_dtmf_mode_set,
1021         .dtmf_mode_get = ast_rtp_dtmf_mode_get,
1022         .update_source = ast_rtp_update_source,
1023         .change_source = ast_rtp_change_source,
1024         .write = ast_rtp_write,
1025         .read = ast_rtp_read,
1026         .prop_set = ast_rtp_prop_set,
1027         .fd = ast_rtp_fd,
1028         .remote_address_set = ast_rtp_remote_address_set,
1029         .red_init = rtp_red_init,
1030         .red_buffer = rtp_red_buffer,
1031         .local_bridge = ast_rtp_local_bridge,
1032         .get_stat = ast_rtp_get_stat,
1033         .dtmf_compatible = ast_rtp_dtmf_compatible,
1034         .stun_request = ast_rtp_stun_request,
1035         .stop = ast_rtp_stop,
1036         .qos = ast_rtp_qos_set,
1037         .sendcng = ast_rtp_sendcng,
1038 #ifdef HAVE_PJPROJECT
1039         .ice = &ast_rtp_ice,
1040 #endif
1041 #ifdef HAVE_OPENSSL_SRTP
1042         .dtls = &ast_rtp_dtls,
1043         .activate = ast_rtp_activate,
1044 #endif
1045 };
1046
1047 #ifdef HAVE_PJPROJECT
1048 static void rtp_learning_seq_init(struct rtp_learning_info *info, uint16_t seq);
1049
1050 static void ast_rtp_on_ice_complete(pj_ice_sess *ice, pj_status_t status)
1051 {
1052         struct ast_rtp *rtp = ice->user_data;
1053
1054         if (!strictrtp) {
1055                 return;
1056         }
1057
1058         rtp->strict_rtp_state = STRICT_RTP_LEARN;
1059         rtp_learning_seq_init(&rtp->rtp_source_learn, (uint16_t)rtp->seqno);
1060 }
1061
1062 static void ast_rtp_on_ice_rx_data(pj_ice_sess *ice, unsigned comp_id, unsigned transport_id, void *pkt, pj_size_t size, const pj_sockaddr_t *src_addr, unsigned src_addr_len)
1063 {
1064         struct ast_rtp *rtp = ice->user_data;
1065
1066         /* Instead of handling the packet here (which really doesn't work with our architecture) we set a bit to indicate that it should be handled after pj_ice_sess_on_rx_pkt
1067          * returns */
1068         rtp->passthrough = 1;
1069 }
1070
1071 static pj_status_t ast_rtp_on_ice_tx_pkt(pj_ice_sess *ice, unsigned comp_id, unsigned transport_id, const void *pkt, pj_size_t size, const pj_sockaddr_t *dst_addr, unsigned dst_addr_len)
1072 {
1073         struct ast_rtp *rtp = ice->user_data;
1074         pj_status_t status = PJ_EINVALIDOP;
1075         pj_ssize_t _size = (pj_ssize_t)size;
1076
1077         if (transport_id == TRANSPORT_SOCKET_RTP) {
1078                 /* Traffic is destined to go right out the RTP socket we already have */
1079                 status = pj_sock_sendto(rtp->s, pkt, &_size, 0, dst_addr, dst_addr_len);
1080                 /* sendto on a connectionless socket should send all the data, or none at all */
1081                 ast_assert(_size == size || status != PJ_SUCCESS);
1082         } else if (transport_id == TRANSPORT_SOCKET_RTCP) {
1083                 /* Traffic is destined to go right out the RTCP socket we already have */
1084                 if (rtp->rtcp) {
1085                         status = pj_sock_sendto(rtp->rtcp->s, pkt, &_size, 0, dst_addr, dst_addr_len);
1086                         /* sendto on a connectionless socket should send all the data, or none at all */
1087                         ast_assert(_size == size || status != PJ_SUCCESS);
1088                 } else {
1089                         status = PJ_SUCCESS;
1090                 }
1091         } else if (transport_id == TRANSPORT_TURN_RTP) {
1092                 /* Traffic is going through the RTP TURN relay */
1093                 if (rtp->turn_rtp) {
1094                         status = pj_turn_sock_sendto(rtp->turn_rtp, pkt, size, dst_addr, dst_addr_len);
1095                 }
1096         } else if (transport_id == TRANSPORT_TURN_RTCP) {
1097                 /* Traffic is going through the RTCP TURN relay */
1098                 if (rtp->turn_rtcp) {
1099                         status = pj_turn_sock_sendto(rtp->turn_rtcp, pkt, size, dst_addr, dst_addr_len);
1100                 }
1101         }
1102
1103         return status;
1104 }
1105
1106 /* ICE Session interface declaration */
1107 static pj_ice_sess_cb ast_rtp_ice_sess_cb = {
1108         .on_ice_complete = ast_rtp_on_ice_complete,
1109         .on_rx_data = ast_rtp_on_ice_rx_data,
1110         .on_tx_pkt = ast_rtp_on_ice_tx_pkt,
1111 };
1112
1113 static void ast_rtp_on_turn_rx_rtp_data(pj_turn_sock *turn_sock, void *pkt, unsigned pkt_len, const pj_sockaddr_t *peer_addr, unsigned addr_len)
1114 {
1115         struct ast_rtp_instance *instance = pj_turn_sock_get_user_data(turn_sock);
1116         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
1117         struct ast_sockaddr dest = { { 0, }, };
1118
1119         ast_rtp_instance_get_local_address(instance, &dest);
1120
1121         ast_sendto(rtp->s, pkt, pkt_len, 0, &dest);
1122 }
1123
1124 static void ast_rtp_on_turn_rtp_state(pj_turn_sock *turn_sock, pj_turn_state_t old_state, pj_turn_state_t new_state)
1125 {
1126         struct ast_rtp_instance *instance = pj_turn_sock_get_user_data(turn_sock);
1127         struct ast_rtp *rtp = NULL;
1128
1129         /* If this is a leftover from an already destroyed RTP instance just ignore the state change */
1130         if (!instance) {
1131                 return;
1132         }
1133
1134         rtp = ast_rtp_instance_get_data(instance);
1135
1136         /* If the TURN session is being destroyed we need to remove it from the RTP instance */
1137         if (new_state == PJ_TURN_STATE_DESTROYING) {
1138                 rtp->turn_rtp = NULL;
1139                 return;
1140         }
1141
1142         /* We store the new state so the other thread can actually handle it */
1143         ast_mutex_lock(&rtp->lock);
1144         rtp->turn_state = new_state;
1145
1146         /* If this is a state that the main thread should be notified about do so */
1147         if (new_state == PJ_TURN_STATE_READY || new_state == PJ_TURN_STATE_DEALLOCATING || new_state == PJ_TURN_STATE_DEALLOCATED) {
1148                 ast_cond_signal(&rtp->cond);
1149         }
1150
1151         ast_mutex_unlock(&rtp->lock);
1152 }
1153
1154 /* RTP TURN Socket interface declaration */
1155 static pj_turn_sock_cb ast_rtp_turn_rtp_sock_cb = {
1156         .on_rx_data = ast_rtp_on_turn_rx_rtp_data,
1157         .on_state = ast_rtp_on_turn_rtp_state,
1158 };
1159
1160 static void ast_rtp_on_turn_rx_rtcp_data(pj_turn_sock *turn_sock, void *pkt, unsigned pkt_len, const pj_sockaddr_t *peer_addr, unsigned addr_len)
1161 {
1162         struct ast_rtp_instance *instance = pj_turn_sock_get_user_data(turn_sock);
1163         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
1164
1165         ast_sendto(rtp->rtcp->s, pkt, pkt_len, 0, &rtp->rtcp->us);
1166 }
1167
1168 static void ast_rtp_on_turn_rtcp_state(pj_turn_sock *turn_sock, pj_turn_state_t old_state, pj_turn_state_t new_state)
1169 {
1170         struct ast_rtp_instance *instance = pj_turn_sock_get_user_data(turn_sock);
1171         struct ast_rtp *rtp = NULL;
1172
1173         /* If this is a leftover from an already destroyed RTP instance just ignore the state change */
1174         if (!instance) {
1175                 return;
1176         }
1177
1178         rtp = ast_rtp_instance_get_data(instance);
1179
1180         /* If the TURN session is being destroyed we need to remove it from the RTP instance */
1181         if (new_state == PJ_TURN_STATE_DESTROYING) {
1182                 rtp->turn_rtcp = NULL;
1183                 return;
1184         }
1185
1186         /* We store the new state so the other thread can actually handle it */
1187         ast_mutex_lock(&rtp->lock);
1188         rtp->turn_state = new_state;
1189
1190         /* If this is a state that the main thread should be notified about do so */
1191         if (new_state == PJ_TURN_STATE_READY || new_state == PJ_TURN_STATE_DEALLOCATING || new_state == PJ_TURN_STATE_DEALLOCATED) {
1192                 ast_cond_signal(&rtp->cond);
1193         }
1194
1195        ast_mutex_unlock(&rtp->lock);
1196 }
1197
1198 /* RTCP TURN Socket interface declaration */
1199 static pj_turn_sock_cb ast_rtp_turn_rtcp_sock_cb = {
1200         .on_rx_data = ast_rtp_on_turn_rx_rtcp_data,
1201         .on_state = ast_rtp_on_turn_rtcp_state,
1202 };
1203
1204 /*! \brief Worker thread for I/O queue and timerheap */
1205 static int ice_worker_thread(void *data)
1206 {
1207         while (!worker_terminate) {
1208                 const pj_time_val delay = {0, 10};
1209
1210                 pj_ioqueue_poll(ioqueue, &delay);
1211
1212                 pj_timer_heap_poll(timerheap, NULL);
1213         }
1214
1215         return 0;
1216 }
1217 #endif
1218
1219 static inline int rtp_debug_test_addr(struct ast_sockaddr *addr)
1220 {
1221         if (!rtpdebug) {
1222                 return 0;
1223         }
1224         if (!ast_sockaddr_isnull(&rtpdebugaddr)) {
1225                 if (rtpdebugport) {
1226                         return (ast_sockaddr_cmp(&rtpdebugaddr, addr) == 0); /* look for RTP packets from IP+Port */
1227                 } else {
1228                         return (ast_sockaddr_cmp_addr(&rtpdebugaddr, addr) == 0); /* only look for RTP packets from IP */
1229                 }
1230         }
1231
1232         return 1;
1233 }
1234
1235 static inline int rtcp_debug_test_addr(struct ast_sockaddr *addr)
1236 {
1237         if (!rtcpdebug) {
1238                 return 0;
1239         }
1240         if (!ast_sockaddr_isnull(&rtcpdebugaddr)) {
1241                 if (rtcpdebugport) {
1242                         return (ast_sockaddr_cmp(&rtcpdebugaddr, addr) == 0); /* look for RTCP packets from IP+Port */
1243                 } else {
1244                         return (ast_sockaddr_cmp_addr(&rtcpdebugaddr, addr) == 0); /* only look for RTCP packets from IP */
1245                 }
1246         }
1247
1248         return 1;
1249 }
1250
1251 #ifdef HAVE_OPENSSL_SRTP
1252 static void dtls_srtp_check_pending(struct ast_rtp_instance *instance, struct ast_rtp *rtp)
1253 {
1254         size_t pending = BIO_ctrl_pending(rtp->write_bio);
1255
1256         if (pending > 0) {
1257                 char outgoing[pending];
1258                 size_t out;
1259                 struct ast_sockaddr remote_address = { {0, } };
1260                 int ice;
1261
1262                 ast_rtp_instance_get_remote_address(instance, &remote_address);
1263
1264                 /* If we do not yet know an address to send this to defer it until we do */
1265                 if (ast_sockaddr_isnull(&remote_address)) {
1266                         return;
1267                 }
1268
1269                 out = BIO_read(rtp->write_bio, outgoing, sizeof(outgoing));
1270
1271                 __rtp_sendto(instance, outgoing, out, 0, &remote_address, 0, &ice, 0);
1272         }
1273 }
1274
1275 static int dtls_srtp_renegotiate(const void *data)
1276 {
1277         struct ast_rtp_instance *instance = (struct ast_rtp_instance *)data;
1278         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
1279
1280         SSL_renegotiate(rtp->ssl);
1281         SSL_do_handshake(rtp->ssl);
1282         dtls_srtp_check_pending(instance, rtp);
1283
1284         rtp->rekeyid = -1;
1285         ao2_ref(instance, -1);
1286
1287         return 0;
1288 }
1289
1290 static int dtls_srtp_setup(struct ast_rtp *rtp, struct ast_srtp *srtp, struct ast_rtp_instance *instance)
1291 {
1292         unsigned char material[SRTP_MASTER_LEN * 2];
1293         unsigned char *local_key, *local_salt, *remote_key, *remote_salt;
1294         struct ast_srtp_policy *local_policy, *remote_policy = NULL;
1295         struct ast_rtp_instance_stats stats = { 0, };
1296
1297         /* If a fingerprint is present in the SDP make sure that the peer certificate matches it */
1298         if (SSL_CTX_get_verify_mode(rtp->ssl_ctx) != SSL_VERIFY_NONE) {
1299                 X509 *certificate;
1300
1301                 if (!(certificate = SSL_get_peer_certificate(rtp->ssl))) {
1302                         ast_log(LOG_WARNING, "No certificate was provided by the peer on RTP instance '%p'\n", instance);
1303                         return -1;
1304                 }
1305
1306                 /* If a fingerprint is present in the SDP make sure that the peer certificate matches it */
1307                 if (rtp->remote_fingerprint[0]) {
1308                         unsigned char fingerprint[EVP_MAX_MD_SIZE];
1309                         unsigned int size;
1310
1311                         if (!X509_digest(certificate, EVP_sha1(), fingerprint, &size) ||
1312                             !size ||
1313                             memcmp(fingerprint, rtp->remote_fingerprint, size)) {
1314                                 X509_free(certificate);
1315                                 ast_log(LOG_WARNING, "Fingerprint provided by remote party does not match that of peer certificate on RTP instance '%p'\n",
1316                                         instance);
1317                                 return -1;
1318                         }
1319                 }
1320
1321                 X509_free(certificate);
1322         }
1323
1324         /* Ensure that certificate verification was successful */
1325         if (SSL_get_verify_result(rtp->ssl) != X509_V_OK) {
1326                 ast_log(LOG_WARNING, "Peer certificate on RTP instance '%p' failed verification test\n",
1327                         instance);
1328                 return -1;
1329         }
1330
1331         /* Produce key information and set up SRTP */
1332         if (!SSL_export_keying_material(rtp->ssl, material, SRTP_MASTER_LEN * 2, "EXTRACTOR-dtls_srtp", 19, NULL, 0, 0)) {
1333                 ast_log(LOG_WARNING, "Unable to extract SRTP keying material from DTLS-SRTP negotiation on RTP instance '%p'\n",
1334                         instance);
1335                 return -1;
1336         }
1337
1338         /* Whether we are acting as a server or client determines where the keys/salts are */
1339         if (rtp->dtls_setup == AST_RTP_DTLS_SETUP_ACTIVE) {
1340                 local_key = material;
1341                 remote_key = local_key + SRTP_MASTER_KEY_LEN;
1342                 local_salt = remote_key + SRTP_MASTER_KEY_LEN;
1343                 remote_salt = local_salt + SRTP_MASTER_SALT_LEN;
1344         } else {
1345                 remote_key = material;
1346                 local_key = remote_key + SRTP_MASTER_KEY_LEN;
1347                 remote_salt = local_key + SRTP_MASTER_KEY_LEN;
1348                 local_salt = remote_salt + SRTP_MASTER_SALT_LEN;
1349         }
1350
1351         if (!(local_policy = res_srtp_policy->alloc())) {
1352                 return -1;
1353         }
1354
1355         if (res_srtp_policy->set_master_key(local_policy, local_key, SRTP_MASTER_KEY_LEN, local_salt, SRTP_MASTER_SALT_LEN) < 0) {
1356                 ast_log(LOG_WARNING, "Could not set key/salt information on local policy of '%p' when setting up DTLS-SRTP\n", rtp);
1357                 goto error;
1358         }
1359
1360         if (res_srtp_policy->set_suite(local_policy, rtp->suite)) {
1361                 ast_log(LOG_WARNING, "Could not set suite to '%d' on local policy of '%p' when setting up DTLS-SRTP\n", rtp->suite, rtp);
1362                 goto error;
1363         }
1364
1365         if (ast_rtp_instance_get_stats(instance, &stats, AST_RTP_INSTANCE_STAT_LOCAL_SSRC)) {
1366                 goto error;
1367         }
1368
1369         res_srtp_policy->set_ssrc(local_policy, stats.local_ssrc, 0);
1370
1371         if (!(remote_policy = res_srtp_policy->alloc())) {
1372                 goto error;
1373         }
1374
1375         if (res_srtp_policy->set_master_key(remote_policy, remote_key, SRTP_MASTER_KEY_LEN, remote_salt, SRTP_MASTER_SALT_LEN) < 0) {
1376                 ast_log(LOG_WARNING, "Could not set key/salt information on remote policy of '%p' when setting up DTLS-SRTP\n", rtp);
1377                 goto error;
1378         }
1379
1380         if (res_srtp_policy->set_suite(remote_policy, rtp->suite)) {
1381                 ast_log(LOG_WARNING, "Could not set suite to '%d' on remote policy of '%p' when setting up DTLS-SRTP\n", rtp->suite, rtp);
1382                 goto error;
1383         }
1384
1385         res_srtp_policy->set_ssrc(remote_policy, 0, 1);
1386
1387         if (ast_rtp_instance_add_srtp_policy(instance, remote_policy, local_policy)) {
1388                 ast_log(LOG_WARNING, "Could not set policies when setting up DTLS-SRTP on '%p'\n", rtp);
1389                 goto error;
1390         }
1391
1392         if (rtp->rekey) {
1393                 ao2_ref(instance, +1);
1394                 if ((rtp->rekeyid = ast_sched_add(rtp->sched, rtp->rekey * 1000, dtls_srtp_renegotiate, instance)) < 0) {
1395                         ao2_ref(instance, -1);
1396                         goto error;
1397                 }
1398         }
1399
1400         return 0;
1401
1402 error:
1403         res_srtp_policy->destroy(local_policy);
1404
1405         if (remote_policy) {
1406                 res_srtp_policy->destroy(remote_policy);
1407         }
1408
1409         return -1;
1410 }
1411 #endif
1412
1413 static int __rtp_recvfrom(struct ast_rtp_instance *instance, void *buf, size_t size, int flags, struct ast_sockaddr *sa, int rtcp)
1414 {
1415         int len;
1416         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
1417         struct ast_srtp *srtp = ast_rtp_instance_get_srtp(instance);
1418         char *in = buf;
1419
1420         if ((len = ast_recvfrom(rtcp ? rtp->rtcp->s : rtp->s, buf, size, flags, sa)) < 0) {
1421            return len;
1422         }
1423
1424 #ifdef HAVE_OPENSSL_SRTP
1425         if (!rtcp) {
1426                 dtls_srtp_check_pending(instance, rtp);
1427
1428                 /* If this is an SSL packet pass it to OpenSSL for processing */
1429                 if ((*in >= 20) && (*in <= 64)) {
1430                         int res = 0;
1431
1432                         /* If no SSL session actually exists terminate things */
1433                         if (!rtp->ssl) {
1434                                 ast_log(LOG_ERROR, "Received SSL traffic on RTP instance '%p' without an SSL session\n",
1435                                         instance);
1436                                 return -1;
1437                         }
1438
1439                         /* If we don't yet know if we are active or passive and we receive a packet... we are obviously passive */
1440                         if (rtp->dtls_setup == AST_RTP_DTLS_SETUP_ACTPASS) {
1441                                 rtp->dtls_setup = AST_RTP_DTLS_SETUP_PASSIVE;
1442                                 SSL_set_accept_state(rtp->ssl);
1443                         }
1444
1445                         dtls_srtp_check_pending(instance, rtp);
1446
1447                         BIO_write(rtp->read_bio, buf, len);
1448
1449                         len = SSL_read(rtp->ssl, buf, len);
1450
1451                         dtls_srtp_check_pending(instance, rtp);
1452
1453                         if (rtp->dtls_failure) {
1454                                 ast_log(LOG_ERROR, "DTLS failure occurred on RTP instance '%p', terminating\n",
1455                                         instance);
1456                                 return -1;
1457                         }
1458
1459                         if (SSL_is_init_finished(rtp->ssl)) {
1460                                 /* Any further connections will be existing since this is now established */
1461                                 rtp->connection = AST_RTP_DTLS_CONNECTION_EXISTING;
1462
1463                                 /* Use the keying material to set up key/salt information */
1464                                 res = dtls_srtp_setup(rtp, srtp, instance);
1465                         }
1466
1467                         return res;
1468                 }
1469         }
1470 #endif
1471
1472 #ifdef HAVE_PJPROJECT
1473         if (rtp->ice) {
1474                 pj_str_t combined = pj_str(ast_sockaddr_stringify(sa));
1475                 pj_sockaddr address;
1476                 pj_status_t status;
1477
1478                 pj_thread_register_check();
1479
1480                 pj_sockaddr_parse(pj_AF_UNSPEC(), 0, &combined, &address);
1481
1482                 status = pj_ice_sess_on_rx_pkt(rtp->ice, rtcp ? COMPONENT_RTCP : COMPONENT_RTP,
1483                         rtcp ? TRANSPORT_SOCKET_RTCP : TRANSPORT_SOCKET_RTP, buf, len, &address,
1484                         pj_sockaddr_get_len(&address));
1485                 if (status != PJ_SUCCESS) {
1486                         char buf[100];
1487
1488                         pj_strerror(status, buf, sizeof(buf));
1489                         ast_log(LOG_WARNING, "PJ ICE Rx error status code: %d '%s'.\n",
1490                                 (int) status, buf);
1491                         return -1;
1492                 }
1493                 if (!rtp->passthrough) {
1494                         return 0;
1495                 }
1496                 rtp->passthrough = 0;
1497         }
1498 #endif
1499
1500         if ((*in & 0xC0) && res_srtp && srtp && res_srtp->unprotect(srtp, buf, &len, rtcp) < 0) {
1501            return -1;
1502         }
1503
1504         return len;
1505 }
1506
1507 static int rtcp_recvfrom(struct ast_rtp_instance *instance, void *buf, size_t size, int flags, struct ast_sockaddr *sa)
1508 {
1509         return __rtp_recvfrom(instance, buf, size, flags, sa, 1);
1510 }
1511
1512 static int rtp_recvfrom(struct ast_rtp_instance *instance, void *buf, size_t size, int flags, struct ast_sockaddr *sa)
1513 {
1514         return __rtp_recvfrom(instance, buf, size, flags, sa, 0);
1515 }
1516
1517 static int __rtp_sendto(struct ast_rtp_instance *instance, void *buf, size_t size, int flags, struct ast_sockaddr *sa, int rtcp, int *ice, int use_srtp)
1518 {
1519         int len = size;
1520         void *temp = buf;
1521         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
1522         struct ast_srtp *srtp = ast_rtp_instance_get_srtp(instance);
1523
1524         *ice = 0;
1525
1526         if (use_srtp && res_srtp && srtp && res_srtp->protect(srtp, &temp, &len, rtcp) < 0) {
1527                 return -1;
1528         }
1529
1530 #ifdef HAVE_PJPROJECT
1531         if (rtp->ice) {
1532                 pj_thread_register_check();
1533
1534                 if (pj_ice_sess_send_data(rtp->ice, rtcp ? COMPONENT_RTCP : COMPONENT_RTP, temp, len) == PJ_SUCCESS) {
1535                         *ice = 1;
1536                         return 0;
1537                 }
1538         }
1539 #endif
1540
1541         return ast_sendto(rtcp ? rtp->rtcp->s : rtp->s, temp, len, flags, sa);
1542 }
1543
1544 static int rtcp_sendto(struct ast_rtp_instance *instance, void *buf, size_t size, int flags, struct ast_sockaddr *sa, int *ice)
1545 {
1546         return __rtp_sendto(instance, buf, size, flags, sa, 1, ice, 1);
1547 }
1548
1549 static int rtp_sendto(struct ast_rtp_instance *instance, void *buf, size_t size, int flags, struct ast_sockaddr *sa, int *ice)
1550 {
1551         return __rtp_sendto(instance, buf, size, flags, sa, 0, ice, 1);
1552 }
1553
1554 static int rtp_get_rate(struct ast_format *format)
1555 {
1556         return (format->id == AST_FORMAT_G722) ? 8000 : ast_format_rate(format);
1557 }
1558
1559 static unsigned int ast_rtcp_calc_interval(struct ast_rtp *rtp)
1560 {
1561         unsigned int interval;
1562         /*! \todo XXX Do a more reasonable calculation on this one
1563          * Look in RFC 3550 Section A.7 for an example*/
1564         interval = rtcpinterval;
1565         return interval;
1566 }
1567
1568 /*! \brief Calculate normal deviation */
1569 static double normdev_compute(double normdev, double sample, unsigned int sample_count)
1570 {
1571         normdev = normdev * sample_count + sample;
1572         sample_count++;
1573
1574         return normdev / sample_count;
1575 }
1576
1577 static double stddev_compute(double stddev, double sample, double normdev, double normdev_curent, unsigned int sample_count)
1578 {
1579 /*
1580                 for the formula check http://www.cs.umd.edu/~austinjp/constSD.pdf
1581                 return sqrt( (sample_count*pow(stddev,2) + sample_count*pow((sample-normdev)/(sample_count+1),2) + pow(sample-normdev_curent,2)) / (sample_count+1));
1582                 we can compute the sigma^2 and that way we would have to do the sqrt only 1 time at the end and would save another pow 2 compute
1583                 optimized formula
1584 */
1585 #define SQUARE(x) ((x) * (x))
1586
1587         stddev = sample_count * stddev;
1588         sample_count++;
1589
1590         return stddev +
1591                 ( sample_count * SQUARE( (sample - normdev) / sample_count ) ) +
1592                 ( SQUARE(sample - normdev_curent) / sample_count );
1593
1594 #undef SQUARE
1595 }
1596
1597 static int create_new_socket(const char *type, int af)
1598 {
1599         int sock = socket(af, SOCK_DGRAM, 0);
1600
1601         if (sock < 0) {
1602                 if (!type) {
1603                         type = "RTP/RTCP";
1604                 }
1605                 ast_log(LOG_WARNING, "Unable to allocate %s socket: %s\n", type, strerror(errno));
1606         } else {
1607                 long flags = fcntl(sock, F_GETFL);
1608                 fcntl(sock, F_SETFL, flags | O_NONBLOCK);
1609 #ifdef SO_NO_CHECK
1610                 if (nochecksums) {
1611                         setsockopt(sock, SOL_SOCKET, SO_NO_CHECK, &nochecksums, sizeof(nochecksums));
1612                 }
1613 #endif
1614         }
1615
1616         return sock;
1617 }
1618
1619 /*!
1620  * \internal
1621  * \brief Initializes sequence values and probation for learning mode.
1622  * \note This is an adaptation of pjmedia's pjmedia_rtp_seq_init function.
1623  *
1624  * \param info The learning information to track
1625  * \param seq sequence number read from the rtp header to initialize the information with
1626  */
1627 static void rtp_learning_seq_init(struct rtp_learning_info *info, uint16_t seq)
1628 {
1629         info->max_seq = seq - 1;
1630         info->packets = learning_min_sequential;
1631 }
1632
1633 /*!
1634  * \internal
1635  * \brief Updates sequence information for learning mode and determines if probation/learning mode should remain in effect.
1636  * \note This function was adapted from pjmedia's pjmedia_rtp_seq_update function.
1637  *
1638  * \param info Structure tracking the learning progress of some address
1639  * \param seq sequence number read from the rtp header
1640  * \retval 0 if probation mode should exit for this address
1641  * \retval non-zero if probation mode should continue
1642  */
1643 static int rtp_learning_rtp_seq_update(struct rtp_learning_info *info, uint16_t seq)
1644 {
1645         if (seq == info->max_seq + 1) {
1646                 /* packet is in sequence */
1647                 info->packets--;
1648         } else {
1649                 /* Sequence discontinuity; reset */
1650                 info->packets = learning_min_sequential - 1;
1651         }
1652         info->max_seq = seq;
1653
1654         return (info->packets == 0);
1655 }
1656
1657 #ifdef HAVE_PJPROJECT
1658 static void rtp_add_candidates_to_ice(struct ast_rtp_instance *instance, struct ast_rtp *rtp, struct ast_sockaddr *addr, int port, int component,
1659                                       int transport, const pj_turn_sock_cb *turn_cb, pj_turn_sock **turn_sock)
1660 {
1661         pj_sockaddr address[16];
1662         unsigned int count = PJ_ARRAY_SIZE(address), pos = 0;
1663
1664         /* Add all the local interface IP addresses */
1665         if (ast_sockaddr_is_ipv4(addr)) {
1666                 pj_enum_ip_interface(pj_AF_INET(), &count, address);
1667         } else if (ast_sockaddr_is_any(addr)) {
1668                 pj_enum_ip_interface(pj_AF_UNSPEC(), &count, address);
1669         } else {
1670                 pj_enum_ip_interface(pj_AF_INET6(), &count, address);
1671         }
1672
1673         for (pos = 0; pos < count; pos++) {
1674                 pj_sockaddr_set_port(&address[pos], port);
1675                 ast_rtp_ice_add_cand(rtp, component, transport, PJ_ICE_CAND_TYPE_HOST, 65535, &address[pos], &address[pos], NULL,
1676                                      pj_sockaddr_get_len(&address[pos]));
1677         }
1678
1679         /* If configured to use a STUN server to get our external mapped address do so */
1680         if (stunaddr.sin_addr.s_addr && ast_sockaddr_is_ipv4(addr)) {
1681                 struct sockaddr_in answer;
1682
1683                 if (!ast_stun_request(rtp->s, &stunaddr, NULL, &answer)) {
1684                         pj_str_t mapped = pj_str(ast_strdupa(ast_inet_ntoa(answer.sin_addr)));
1685
1686                         pj_sockaddr_init(pj_AF_INET(), &address[0], &mapped, ntohs(answer.sin_port));
1687
1688                         ast_rtp_ice_add_cand(rtp, component, transport, PJ_ICE_CAND_TYPE_SRFLX, 65535, &address[0], &address[0],
1689                                              NULL, pj_sockaddr_get_len(&address[0]));
1690                 }
1691         }
1692
1693         /* If configured to use a TURN relay create a session and allocate */
1694         if (pj_strlen(&turnaddr) && pj_turn_sock_create(&rtp->ice->stun_cfg, ast_sockaddr_is_ipv4(addr) ? pj_AF_INET() : pj_AF_INET6(), PJ_TURN_TP_TCP,
1695                                                         turn_cb, NULL, instance, turn_sock) == PJ_SUCCESS) {
1696                 pj_stun_auth_cred cred = { 0, };
1697                 struct timeval wait = ast_tvadd(ast_tvnow(), ast_samp2tv(TURN_ALLOCATION_WAIT_TIME, 1000));
1698                 struct timespec ts = { .tv_sec = wait.tv_sec, .tv_nsec = wait.tv_usec * 1000, };
1699
1700                 cred.type = PJ_STUN_AUTH_CRED_STATIC;
1701                 cred.data.static_cred.username = turnusername;
1702                 cred.data.static_cred.data_type = PJ_STUN_PASSWD_PLAIN;
1703                 cred.data.static_cred.data = turnpassword;
1704
1705                 /* Because the TURN socket is asynchronous but we are synchronous we need to wait until it is done */
1706                 ast_mutex_lock(&rtp->lock);
1707                 pj_turn_sock_alloc(*turn_sock, &turnaddr, turnport, NULL, &cred, NULL);
1708                 ast_cond_timedwait(&rtp->cond, &rtp->lock, &ts);
1709                 ast_mutex_unlock(&rtp->lock);
1710
1711                 /* If a TURN session was allocated add it as a candidate */
1712                 if (rtp->turn_state == PJ_TURN_STATE_READY) {
1713                         pj_turn_session_info info;
1714
1715                         pj_turn_sock_get_info(*turn_sock, &info);
1716
1717                         if (transport == TRANSPORT_SOCKET_RTP) {
1718                                 transport = TRANSPORT_TURN_RTP;
1719                         } else if (transport == TRANSPORT_SOCKET_RTCP) {
1720                                 transport = TRANSPORT_TURN_RTCP;
1721                         }
1722
1723                         ast_rtp_ice_add_cand(rtp, component, transport, PJ_ICE_CAND_TYPE_RELAYED, 65535, &info.relay_addr, &info.relay_addr,
1724                                              NULL, pj_sockaddr_get_len(&info.relay_addr));
1725                 }
1726         }
1727 }
1728 #endif
1729
1730 /*!
1731  * \internal
1732  * \brief Calculates the elapsed time from issue of the first tx packet in an
1733  *        rtp session and a specified time
1734  *
1735  * \param rtp pointer to the rtp struct with the transmitted rtp packet
1736  * \param delivery time of delivery - if NULL or zero value, will be ast_tvnow()
1737  *
1738  * \return time elapsed in milliseconds
1739  */
1740 static unsigned int calc_txstamp(struct ast_rtp *rtp, struct timeval *delivery)
1741 {
1742         struct timeval t;
1743         long ms;
1744
1745         if (ast_tvzero(rtp->txcore)) {
1746                 rtp->txcore = ast_tvnow();
1747                 rtp->txcore.tv_usec -= rtp->txcore.tv_usec % 20000;
1748         }
1749
1750         t = (delivery && !ast_tvzero(*delivery)) ? *delivery : ast_tvnow();
1751         if ((ms = ast_tvdiff_ms(t, rtp->txcore)) < 0) {
1752                 ms = 0;
1753         }
1754         rtp->txcore = t;
1755
1756         return (unsigned int) ms;
1757 }
1758
1759 static int ast_rtp_new(struct ast_rtp_instance *instance,
1760                        struct ast_sched_context *sched, struct ast_sockaddr *addr,
1761                        void *data)
1762 {
1763         struct ast_rtp *rtp = NULL;
1764         int x, startplace;
1765 #ifdef HAVE_PJPROJECT
1766         pj_stun_config stun_config;
1767         pj_str_t ufrag, passwd;
1768 #endif
1769
1770         /* Create a new RTP structure to hold all of our data */
1771         if (!(rtp = ast_calloc(1, sizeof(*rtp)))) {
1772                 return -1;
1773         }
1774
1775         /* Initialize synchronization aspects */
1776         ast_mutex_init(&rtp->lock);
1777         ast_cond_init(&rtp->cond, NULL);
1778
1779         /* Set default parameters on the newly created RTP structure */
1780         rtp->ssrc = ast_random();
1781         rtp->seqno = ast_random() & 0xffff;
1782         rtp->strict_rtp_state = (strictrtp ? STRICT_RTP_LEARN : STRICT_RTP_OPEN);
1783         if (strictrtp) {
1784                 rtp_learning_seq_init(&rtp->rtp_source_learn, (uint16_t)rtp->seqno);
1785                 rtp_learning_seq_init(&rtp->alt_source_learn, (uint16_t)rtp->seqno);
1786         }
1787
1788         /* Create a new socket for us to listen on and use */
1789         if ((rtp->s =
1790              create_new_socket("RTP",
1791                                ast_sockaddr_is_ipv4(addr) ? AF_INET  :
1792                                ast_sockaddr_is_ipv6(addr) ? AF_INET6 : -1)) < 0) {
1793                 ast_debug(1, "Failed to create a new socket for RTP instance '%p'\n", instance);
1794                 ast_free(rtp);
1795                 return -1;
1796         }
1797
1798         /* Now actually find a free RTP port to use */
1799         x = (rtpend == rtpstart) ? rtpstart : (ast_random() % (rtpend - rtpstart)) + rtpstart;
1800         x = x & ~1;
1801         startplace = x;
1802
1803         for (;;) {
1804                 ast_sockaddr_set_port(addr, x);
1805                 /* Try to bind, this will tell us whether the port is available or not */
1806                 if (!ast_bind(rtp->s, addr)) {
1807                         ast_debug(1, "Allocated port %d for RTP instance '%p'\n", x, instance);
1808                         ast_rtp_instance_set_local_address(instance, addr);
1809                         break;
1810                 }
1811
1812                 x += 2;
1813                 if (x > rtpend) {
1814                         x = (rtpstart + 1) & ~1;
1815                 }
1816
1817                 /* See if we ran out of ports or if the bind actually failed because of something other than the address being in use */
1818                 if (x == startplace || errno != EADDRINUSE) {
1819                         ast_log(LOG_ERROR, "Oh dear... we couldn't allocate a port for RTP instance '%p'\n", instance);
1820                         close(rtp->s);
1821                         ast_free(rtp);
1822                         return -1;
1823                 }
1824         }
1825
1826 #ifdef HAVE_PJPROJECT
1827         pj_thread_register_check();
1828
1829         pj_stun_config_init(&stun_config, &cachingpool.factory, 0, ioqueue, timerheap);
1830
1831         generate_random_string(rtp->local_ufrag, sizeof(rtp->local_ufrag));
1832         ufrag = pj_str(rtp->local_ufrag);
1833         generate_random_string(rtp->local_passwd, sizeof(rtp->local_passwd));
1834         passwd = pj_str(rtp->local_passwd);
1835 #endif
1836         ast_rtp_instance_set_data(instance, rtp);
1837 #ifdef HAVE_PJPROJECT
1838         /* Create an ICE session for ICE negotiation */
1839         if (icesupport && pj_ice_sess_create(&stun_config, NULL, PJ_ICE_SESS_ROLE_UNKNOWN, 2, &ast_rtp_ice_sess_cb, &ufrag, &passwd, NULL, &rtp->ice) == PJ_SUCCESS) {
1840                 /* Make this available for the callbacks */
1841                 rtp->ice->user_data = rtp;
1842
1843                 /* Add all of the available candidates to the ICE session */
1844                 rtp_add_candidates_to_ice(instance, rtp, addr, x, COMPONENT_RTP, TRANSPORT_SOCKET_RTP, &ast_rtp_turn_rtp_sock_cb, &rtp->turn_rtp);
1845         }
1846 #endif
1847
1848         /* Record any information we may need */
1849         rtp->sched = sched;
1850
1851 #ifdef HAVE_OPENSSL_SRTP
1852         rtp->rekeyid = -1;
1853 #endif
1854
1855         return 0;
1856 }
1857
1858 static int ast_rtp_destroy(struct ast_rtp_instance *instance)
1859 {
1860         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
1861
1862         /* Destroy the smoother that was smoothing out audio if present */
1863         if (rtp->smoother) {
1864                 ast_smoother_free(rtp->smoother);
1865         }
1866
1867         /* Close our own socket so we no longer get packets */
1868         if (rtp->s > -1) {
1869                 close(rtp->s);
1870         }
1871
1872         /* Destroy RTCP if it was being used */
1873         if (rtp->rtcp) {
1874                 /*
1875                  * It is not possible for there to be an active RTCP scheduler
1876                  * entry at this point since it holds a reference to the
1877                  * RTP instance while it's active.
1878                  */
1879                 close(rtp->rtcp->s);
1880                 ast_free(rtp->rtcp);
1881         }
1882
1883         /* Destroy RED if it was being used */
1884         if (rtp->red) {
1885                 AST_SCHED_DEL(rtp->sched, rtp->red->schedid);
1886                 ast_free(rtp->red);
1887         }
1888
1889 #ifdef HAVE_PJPROJECT
1890         pj_thread_register_check();
1891
1892         /* Destroy the ICE session if being used */
1893         if (rtp->ice) {
1894                 pj_ice_sess_destroy(rtp->ice);
1895         }
1896
1897         /* Destroy the RTP TURN relay if being used */
1898         if (rtp->turn_rtp) {
1899                 pj_turn_sock_set_user_data(rtp->turn_rtp, NULL);
1900                 pj_turn_sock_destroy(rtp->turn_rtp);
1901         }
1902
1903         /* Destroy the RTCP TURN relay if being used */
1904         if (rtp->turn_rtcp) {
1905                 pj_turn_sock_set_user_data(rtp->turn_rtcp, NULL);
1906                 pj_turn_sock_destroy(rtp->turn_rtcp);
1907         }
1908
1909         /* Destroy any candidates */
1910         if (rtp->local_candidates) {
1911                 ao2_ref(rtp->local_candidates, -1);
1912         }
1913
1914         if (rtp->remote_candidates) {
1915                 ao2_ref(rtp->remote_candidates, -1);
1916         }
1917 #endif
1918
1919 #ifdef HAVE_OPENSSL_SRTP
1920         /* Destroy the SSL context if present */
1921         if (rtp->ssl_ctx) {
1922                 SSL_CTX_free(rtp->ssl_ctx);
1923         }
1924
1925         /* Destroy the SSL session if present */
1926         if (rtp->ssl) {
1927                 SSL_free(rtp->ssl);
1928         }
1929 #endif
1930
1931         /* Destroy synchronization items */
1932         ast_mutex_destroy(&rtp->lock);
1933         ast_cond_destroy(&rtp->cond);
1934
1935         /* Finally destroy ourselves */
1936         ast_free(rtp);
1937
1938         return 0;
1939 }
1940
1941 static int ast_rtp_dtmf_mode_set(struct ast_rtp_instance *instance, enum ast_rtp_dtmf_mode dtmf_mode)
1942 {
1943         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
1944         rtp->dtmfmode = dtmf_mode;
1945         return 0;
1946 }
1947
1948 static enum ast_rtp_dtmf_mode ast_rtp_dtmf_mode_get(struct ast_rtp_instance *instance)
1949 {
1950         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
1951         return rtp->dtmfmode;
1952 }
1953
1954 static int ast_rtp_dtmf_begin(struct ast_rtp_instance *instance, char digit)
1955 {
1956         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
1957         struct ast_sockaddr remote_address = { {0,} };
1958         int hdrlen = 12, res = 0, i = 0, payload = 101;
1959         char data[256];
1960         unsigned int *rtpheader = (unsigned int*)data;
1961
1962         ast_rtp_instance_get_remote_address(instance, &remote_address);
1963
1964         /* If we have no remote address information bail out now */
1965         if (ast_sockaddr_isnull(&remote_address)) {
1966                 return -1;
1967         }
1968
1969         /* Convert given digit into what we want to transmit */
1970         if ((digit <= '9') && (digit >= '0')) {
1971                 digit -= '0';
1972         } else if (digit == '*') {
1973                 digit = 10;
1974         } else if (digit == '#') {
1975                 digit = 11;
1976         } else if ((digit >= 'A') && (digit <= 'D')) {
1977                 digit = digit - 'A' + 12;
1978         } else if ((digit >= 'a') && (digit <= 'd')) {
1979                 digit = digit - 'a' + 12;
1980         } else {
1981                 ast_log(LOG_WARNING, "Don't know how to represent '%c'\n", digit);
1982                 return -1;
1983         }
1984
1985         /* Grab the payload that they expect the RFC2833 packet to be received in */
1986         payload = ast_rtp_codecs_payload_code(ast_rtp_instance_get_codecs(instance), 0, NULL, AST_RTP_DTMF);
1987
1988         rtp->dtmfmute = ast_tvadd(ast_tvnow(), ast_tv(0, 500000));
1989         rtp->send_duration = 160;
1990         rtp->lastts += calc_txstamp(rtp, NULL) * DTMF_SAMPLE_RATE_MS;
1991         rtp->lastdigitts = rtp->lastts + rtp->send_duration;
1992
1993         /* Create the actual packet that we will be sending */
1994         rtpheader[0] = htonl((2 << 30) | (1 << 23) | (payload << 16) | (rtp->seqno));
1995         rtpheader[1] = htonl(rtp->lastdigitts);
1996         rtpheader[2] = htonl(rtp->ssrc);
1997
1998         /* Actually send the packet */
1999         for (i = 0; i < 2; i++) {
2000                 int ice;
2001
2002                 rtpheader[3] = htonl((digit << 24) | (0xa << 16) | (rtp->send_duration));
2003                 res = rtp_sendto(instance, (void *) rtpheader, hdrlen + 4, 0, &remote_address, &ice);
2004                 if (res < 0) {
2005                         ast_log(LOG_ERROR, "RTP Transmission error to %s: %s\n",
2006                                 ast_sockaddr_stringify(&remote_address),
2007                                 strerror(errno));
2008                 }
2009                 update_address_with_ice_candidate(rtp, COMPONENT_RTP, &remote_address);
2010                 if (rtp_debug_test_addr(&remote_address)) {
2011                         ast_verbose("Sent RTP DTMF packet to %s%s (type %-2.2d, seq %-6.6u, ts %-6.6u, len %-6.6u)\n",
2012                                     ast_sockaddr_stringify(&remote_address),
2013                                     ice ? " (via ICE)" : "",
2014                                     payload, rtp->seqno, rtp->lastdigitts, res - hdrlen);
2015                 }
2016                 rtp->seqno++;
2017                 rtp->send_duration += 160;
2018                 rtpheader[0] = htonl((2 << 30) | (payload << 16) | (rtp->seqno));
2019         }
2020
2021         /* Record that we are in the process of sending a digit and information needed to continue doing so */
2022         rtp->sending_digit = 1;
2023         rtp->send_digit = digit;
2024         rtp->send_payload = payload;
2025
2026         return 0;
2027 }
2028
2029 static int ast_rtp_dtmf_continuation(struct ast_rtp_instance *instance)
2030 {
2031         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
2032         struct ast_sockaddr remote_address = { {0,} };
2033         int hdrlen = 12, res = 0;
2034         char data[256];
2035         unsigned int *rtpheader = (unsigned int*)data;
2036         int ice;
2037
2038         ast_rtp_instance_get_remote_address(instance, &remote_address);
2039
2040         /* Make sure we know where the other side is so we can send them the packet */
2041         if (ast_sockaddr_isnull(&remote_address)) {
2042                 return -1;
2043         }
2044
2045         /* Actually create the packet we will be sending */
2046         rtpheader[0] = htonl((2 << 30) | (rtp->send_payload << 16) | (rtp->seqno));
2047         rtpheader[1] = htonl(rtp->lastdigitts);
2048         rtpheader[2] = htonl(rtp->ssrc);
2049         rtpheader[3] = htonl((rtp->send_digit << 24) | (0xa << 16) | (rtp->send_duration));
2050
2051         /* Boom, send it on out */
2052         res = rtp_sendto(instance, (void *) rtpheader, hdrlen + 4, 0, &remote_address, &ice);
2053         if (res < 0) {
2054                 ast_log(LOG_ERROR, "RTP Transmission error to %s: %s\n",
2055                         ast_sockaddr_stringify(&remote_address),
2056                         strerror(errno));
2057         }
2058
2059         update_address_with_ice_candidate(rtp, COMPONENT_RTP, &remote_address);
2060
2061         if (rtp_debug_test_addr(&remote_address)) {
2062                 ast_verbose("Sent RTP DTMF packet to %s%s (type %-2.2d, seq %-6.6u, ts %-6.6u, len %-6.6u)\n",
2063                             ast_sockaddr_stringify(&remote_address),
2064                             ice ? " (via ICE)" : "",
2065                             rtp->send_payload, rtp->seqno, rtp->lastdigitts, res - hdrlen);
2066         }
2067
2068         /* And now we increment some values for the next time we swing by */
2069         rtp->seqno++;
2070         rtp->send_duration += 160;
2071         rtp->lastts += calc_txstamp(rtp, NULL) * DTMF_SAMPLE_RATE_MS;
2072
2073         return 0;
2074 }
2075
2076 static int ast_rtp_dtmf_end_with_duration(struct ast_rtp_instance *instance, char digit, unsigned int duration)
2077 {
2078         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
2079         struct ast_sockaddr remote_address = { {0,} };
2080         int hdrlen = 12, res = -1, i = 0;
2081         char data[256];
2082         unsigned int *rtpheader = (unsigned int*)data;
2083         unsigned int measured_samples;
2084
2085         ast_rtp_instance_get_remote_address(instance, &remote_address);
2086
2087         /* Make sure we know where the remote side is so we can send them the packet we construct */
2088         if (ast_sockaddr_isnull(&remote_address)) {
2089                 goto cleanup;
2090         }
2091
2092         /* Convert the given digit to the one we are going to send */
2093         if ((digit <= '9') && (digit >= '0')) {
2094                 digit -= '0';
2095         } else if (digit == '*') {
2096                 digit = 10;
2097         } else if (digit == '#') {
2098                 digit = 11;
2099         } else if ((digit >= 'A') && (digit <= 'D')) {
2100                 digit = digit - 'A' + 12;
2101         } else if ((digit >= 'a') && (digit <= 'd')) {
2102                 digit = digit - 'a' + 12;
2103         } else {
2104                 ast_log(LOG_WARNING, "Don't know how to represent '%c'\n", digit);
2105                 goto cleanup;
2106         }
2107
2108         rtp->dtmfmute = ast_tvadd(ast_tvnow(), ast_tv(0, 500000));
2109
2110         if (duration > 0 && (measured_samples = duration * rtp_get_rate(&rtp->f.subclass.format) / 1000) > rtp->send_duration) {
2111                 ast_debug(2, "Adjusting final end duration from %u to %u\n", rtp->send_duration, measured_samples);
2112                 rtp->send_duration = measured_samples;
2113         }
2114
2115         /* Construct the packet we are going to send */
2116         rtpheader[1] = htonl(rtp->lastdigitts);
2117         rtpheader[2] = htonl(rtp->ssrc);
2118         rtpheader[3] = htonl((digit << 24) | (0xa << 16) | (rtp->send_duration));
2119         rtpheader[3] |= htonl((1 << 23));
2120
2121         /* Send it 3 times, that's the magical number */
2122         for (i = 0; i < 3; i++) {
2123                 int ice;
2124
2125                 rtpheader[0] = htonl((2 << 30) | (rtp->send_payload << 16) | (rtp->seqno));
2126
2127                 res = rtp_sendto(instance, (void *) rtpheader, hdrlen + 4, 0, &remote_address, &ice);
2128
2129                 if (res < 0) {
2130                         ast_log(LOG_ERROR, "RTP Transmission error to %s: %s\n",
2131                                 ast_sockaddr_stringify(&remote_address),
2132                                 strerror(errno));
2133                 }
2134
2135                 update_address_with_ice_candidate(rtp, COMPONENT_RTP, &remote_address);
2136
2137                 if (rtp_debug_test_addr(&remote_address)) {
2138                         ast_verbose("Sent RTP DTMF packet to %s%s (type %-2.2d, seq %-6.6u, ts %-6.6u, len %-6.6u)\n",
2139                                     ast_sockaddr_stringify(&remote_address),
2140                                     ice ? " (via ICE)" : "",
2141                                     rtp->send_payload, rtp->seqno, rtp->lastdigitts, res - hdrlen);
2142                 }
2143
2144                 rtp->seqno++;
2145         }
2146         res = 0;
2147
2148         /* Oh and we can't forget to turn off the stuff that says we are sending DTMF */
2149         rtp->lastts += calc_txstamp(rtp, NULL) * DTMF_SAMPLE_RATE_MS;
2150 cleanup:
2151         rtp->sending_digit = 0;
2152         rtp->send_digit = 0;
2153
2154         return res;
2155 }
2156
2157 static int ast_rtp_dtmf_end(struct ast_rtp_instance *instance, char digit)
2158 {
2159         return ast_rtp_dtmf_end_with_duration(instance, digit, 0);
2160 }
2161
2162 static void ast_rtp_update_source(struct ast_rtp_instance *instance)
2163 {
2164         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
2165
2166         /* We simply set this bit so that the next packet sent will have the marker bit turned on */
2167         ast_set_flag(rtp, FLAG_NEED_MARKER_BIT);
2168         ast_debug(3, "Setting the marker bit due to a source update\n");
2169
2170         return;
2171 }
2172
2173 static void ast_rtp_change_source(struct ast_rtp_instance *instance)
2174 {
2175         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
2176         struct ast_srtp *srtp = ast_rtp_instance_get_srtp(instance);
2177         unsigned int ssrc = ast_random();
2178
2179         if (!rtp->lastts) {
2180                 ast_debug(3, "Not changing SSRC since we haven't sent any RTP yet\n");
2181                 return;
2182         }
2183
2184         /* We simply set this bit so that the next packet sent will have the marker bit turned on */
2185         ast_set_flag(rtp, FLAG_NEED_MARKER_BIT);
2186
2187         ast_debug(3, "Changing ssrc from %u to %u due to a source change\n", rtp->ssrc, ssrc);
2188
2189         if (srtp) {
2190                 ast_debug(3, "Changing ssrc for SRTP from %u to %u\n", rtp->ssrc, ssrc);
2191                 res_srtp->change_source(srtp, rtp->ssrc, ssrc);
2192         }
2193
2194         rtp->ssrc = ssrc;
2195
2196         return;
2197 }
2198
2199 static void timeval2ntp(struct timeval tv, unsigned int *msw, unsigned int *lsw)
2200 {
2201         unsigned int sec, usec, frac;
2202         sec = tv.tv_sec + 2208988800u; /* Sec between 1900 and 1970 */
2203         usec = tv.tv_usec;
2204         frac = (usec << 12) + (usec << 8) - ((usec * 3650) >> 6);
2205         *msw = sec;
2206         *lsw = frac;
2207 }
2208
2209 static void ntp2timeval(unsigned int msw, unsigned int lsw, struct timeval *tv)
2210 {
2211         tv->tv_sec = msw - 2208988800u;
2212         tv->tv_usec = ((lsw << 6) / 3650) - (lsw >> 12) - (lsw >> 8);
2213 }
2214
2215 static void calculate_lost_packet_statistics(struct ast_rtp *rtp,
2216                 unsigned int *lost_packets,
2217                 int *fraction_lost)
2218 {
2219         unsigned int extended_seq_no;
2220         unsigned int expected_packets;
2221         unsigned int expected_interval;
2222         unsigned int received_interval;
2223         double rxlost_current;
2224         int lost_interval;
2225
2226         /* Compute statistics */
2227         extended_seq_no = rtp->cycles + rtp->lastrxseqno;
2228         expected_packets = extended_seq_no - rtp->seedrxseqno + 1;
2229         if (rtp->rxcount > expected_packets) {
2230                 expected_packets += rtp->rxcount - expected_packets;
2231         }
2232         *lost_packets = expected_packets - rtp->rxcount;
2233         expected_interval = expected_packets - rtp->rtcp->expected_prior;
2234         received_interval = rtp->rxcount - rtp->rtcp->received_prior;
2235         lost_interval = expected_interval - received_interval;
2236         if (expected_interval == 0 || lost_interval <= 0) {
2237                 *fraction_lost = 0;
2238         } else {
2239                 *fraction_lost = (lost_interval << 8) / expected_interval;
2240         }
2241
2242         /* Update RTCP statistics */
2243         rtp->rtcp->received_prior = rtp->rxcount;
2244         rtp->rtcp->expected_prior = expected_packets;
2245         if (lost_interval <= 0) {
2246                 rtp->rtcp->rxlost = 0;
2247         } else {
2248                 rtp->rtcp->rxlost = lost_interval;
2249         }
2250         if (rtp->rtcp->rxlost_count == 0) {
2251                 rtp->rtcp->minrxlost = rtp->rtcp->rxlost;
2252         }
2253         if (lost_interval < rtp->rtcp->minrxlost) {
2254                 rtp->rtcp->minrxlost = rtp->rtcp->rxlost;
2255         }
2256         if (lost_interval > rtp->rtcp->maxrxlost) {
2257                 rtp->rtcp->maxrxlost = rtp->rtcp->rxlost;
2258         }
2259         rxlost_current = normdev_compute(rtp->rtcp->normdev_rxlost,
2260                         rtp->rtcp->rxlost,
2261                         rtp->rtcp->rxlost_count);
2262         rtp->rtcp->stdev_rxlost = stddev_compute(rtp->rtcp->stdev_rxlost,
2263                         rtp->rtcp->rxlost,
2264                         rtp->rtcp->normdev_rxlost,
2265                         rxlost_current,
2266                         rtp->rtcp->rxlost_count);
2267         rtp->rtcp->normdev_rxlost = rxlost_current;
2268         rtp->rtcp->rxlost_count++;
2269 }
2270
2271 /*! \brief Send RTCP SR or RR report */
2272 static int ast_rtcp_write_report(struct ast_rtp_instance *instance, int sr)
2273 {
2274         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
2275         RAII_VAR(struct ast_json *, message_blob, NULL, ast_json_unref);
2276         int res;
2277         int len = 0;
2278         struct timeval now;
2279         unsigned int now_lsw;
2280         unsigned int now_msw;
2281         unsigned int *rtcpheader;
2282         unsigned int lost_packets;
2283         int fraction_lost;
2284         struct timeval dlsr = { 0, };
2285         char bdata[512];
2286         int rate = rtp_get_rate(&rtp->f.subclass.format);
2287         int ice;
2288         int header_offset = 0;
2289         struct ast_sockaddr remote_address = { {0,} };
2290         struct ast_rtp_rtcp_report_block *report_block;
2291         RAII_VAR(struct ast_rtp_rtcp_report *, rtcp_report,
2292                         ast_rtp_rtcp_report_alloc(1),
2293                         ao2_cleanup);
2294
2295         if (!rtp || !rtp->rtcp) {
2296                 return 0;
2297         }
2298
2299         if (ast_sockaddr_isnull(&rtp->rtcp->them)) {  /* This'll stop rtcp for this rtp session */
2300                 /* RTCP was stopped. */
2301                 return 0;
2302         }
2303
2304         if (!rtcp_report) {
2305                 return 1;
2306         }
2307
2308         report_block = ast_calloc(1, sizeof(*report_block));
2309         if (!report_block) {
2310                 return 1;
2311         }
2312
2313         /* Compute statistics */
2314         calculate_lost_packet_statistics(rtp, &lost_packets, &fraction_lost);
2315
2316         gettimeofday(&now, NULL);
2317         rtcp_report->reception_report_count = 1;
2318         rtcp_report->ssrc = rtp->ssrc;
2319         rtcp_report->type = sr ? RTCP_PT_SR : RTCP_PT_RR;
2320         if (sr) {
2321                 rtcp_report->sender_information.ntp_timestamp = now;
2322                 rtcp_report->sender_information.rtp_timestamp = rtp->lastts;
2323                 rtcp_report->sender_information.packet_count = rtp->txcount;
2324                 rtcp_report->sender_information.octet_count = rtp->txoctetcount;
2325         }
2326         rtcp_report->report_block[0] = report_block;
2327         report_block->source_ssrc = rtp->themssrc;
2328         report_block->lost_count.fraction = (fraction_lost & 0xff);
2329         report_block->lost_count.packets = (lost_packets & 0xffffff);
2330         report_block->highest_seq_no = (rtp->cycles | (rtp->lastrxseqno & 0xffff));
2331         report_block->ia_jitter = (unsigned int)(rtp->rxjitter * rate);
2332         report_block->lsr = rtp->rtcp->themrxlsr;
2333         /* If we haven't received an SR report, DLSR should be 0 */
2334         if (!ast_tvzero(rtp->rtcp->rxlsr)) {
2335                 timersub(&now, &rtp->rtcp->rxlsr, &dlsr);
2336                 report_block->dlsr = (((dlsr.tv_sec * 1000) + (dlsr.tv_usec / 1000)) * 65536) / 1000;
2337         }
2338         timeval2ntp(rtcp_report->sender_information.ntp_timestamp, &now_msw, &now_lsw);
2339         rtcpheader = (unsigned int *)bdata;
2340         rtcpheader[1] = htonl(rtcp_report->ssrc);            /* Our SSRC */
2341         len += 8;
2342         if (sr) {
2343                 header_offset = 5;
2344                 rtcpheader[2] = htonl(now_msw);                 /* now, MSW. gettimeofday() + SEC_BETWEEN_1900_AND_1970*/
2345                 rtcpheader[3] = htonl(now_lsw);                 /* now, LSW */
2346                 rtcpheader[4] = htonl(rtcp_report->sender_information.rtp_timestamp);
2347                 rtcpheader[5] = htonl(rtcp_report->sender_information.packet_count);
2348                 rtcpheader[6] = htonl(rtcp_report->sender_information.octet_count);
2349                 len += 20;
2350         }
2351         rtcpheader[2 + header_offset] = htonl(report_block->source_ssrc);     /* Their SSRC */
2352         rtcpheader[3 + header_offset] = htonl((report_block->lost_count.fraction << 24) | report_block->lost_count.packets);
2353         rtcpheader[4 + header_offset] = htonl(report_block->highest_seq_no);
2354         rtcpheader[5 + header_offset] = htonl(report_block->ia_jitter);
2355         rtcpheader[6 + header_offset] = htonl(report_block->lsr);
2356         rtcpheader[7 + header_offset] = htonl(report_block->dlsr);
2357         len += 24;
2358         rtcpheader[0] = htonl((2 << 30) | (1 << 24) | ((sr ? RTCP_PT_SR : RTCP_PT_RR) << 16) | ((len/4)-1));
2359
2360         /* Insert SDES here. Probably should make SDES text equal to mimetypes[code].type (not subtype 'cos */
2361         /* it can change mid call, and SDES can't) */
2362         rtcpheader[len/4]     = htonl((2 << 30) | (1 << 24) | (RTCP_PT_SDES << 16) | 2);
2363         rtcpheader[(len/4)+1] = htonl(rtcp_report->ssrc);
2364         rtcpheader[(len/4)+2] = htonl(0x01 << 24);
2365         len += 12;
2366
2367         ast_sockaddr_copy(&remote_address, &rtp->rtcp->them);
2368         res = rtcp_sendto(instance, (unsigned int *)rtcpheader, len, 0, &remote_address, &ice);
2369         if (res < 0) {
2370                 ast_log(LOG_ERROR, "RTCP %s transmission error to %s, rtcp halted %s\n",
2371                         sr ? "SR" : "RR",
2372                         ast_sockaddr_stringify(&rtp->rtcp->them),
2373                         strerror(errno));
2374                 return 0;
2375         }
2376
2377         /* Update RTCP SR/RR statistics */
2378         if (sr) {
2379                 rtp->rtcp->txlsr = rtcp_report->sender_information.ntp_timestamp;
2380                 rtp->rtcp->sr_count++;
2381                 rtp->rtcp->lastsrtxcount = rtp->txcount;
2382         } else {
2383                 rtp->rtcp->rr_count++;
2384         }
2385
2386         update_address_with_ice_candidate(rtp, COMPONENT_RTCP, &remote_address);
2387
2388         if (rtcp_debug_test_addr(&rtp->rtcp->them)) {
2389                 ast_verbose("* Sent RTCP %s to %s%s\n", sr ? "SR" : "RR",
2390                                 ast_sockaddr_stringify(&remote_address), ice ? " (via ICE)" : "");
2391                 ast_verbose("  Our SSRC: %u\n", rtcp_report->ssrc);
2392                 if (sr) {
2393                         ast_verbose("  Sent(NTP): %u.%010u\n",
2394                                 (unsigned int)rtcp_report->sender_information.ntp_timestamp.tv_sec,
2395                                 (unsigned int)rtcp_report->sender_information.ntp_timestamp.tv_usec * 4096);
2396                         ast_verbose("  Sent(RTP): %u\n", rtcp_report->sender_information.rtp_timestamp);
2397                         ast_verbose("  Sent packets: %u\n", rtcp_report->sender_information.packet_count);
2398                         ast_verbose("  Sent octets: %u\n", rtcp_report->sender_information.octet_count);
2399                 }
2400                 ast_verbose("  Report block:\n");
2401                 ast_verbose("    Their SSRC: %u\n", report_block->source_ssrc);
2402                 ast_verbose("    Fraction lost: %u\n", report_block->lost_count.fraction);
2403                 ast_verbose("    Cumulative loss: %u\n", report_block->lost_count.packets);
2404                 ast_verbose("    Highest seq no: %u\n", report_block->highest_seq_no);
2405                 ast_verbose("    IA jitter: %.4f\n", (double)report_block->ia_jitter / rate);
2406                 ast_verbose("    Their last SR: %u\n", report_block->lsr);
2407                 ast_verbose("    DLSR: %4.4f (sec)\n\n", (double)(report_block->dlsr / 65536.0));
2408         }
2409
2410         message_blob = ast_json_pack("{s: s}",
2411                         "to", ast_sockaddr_stringify(&remote_address));
2412         ast_rtp_publish_rtcp_message(instance, ast_rtp_rtcp_sent_type(),
2413                         rtcp_report,
2414                         message_blob);
2415         return res;
2416 }
2417
2418 /*! \brief Write and RTCP packet to the far end
2419  * \note Decide if we are going to send an SR (with Reception Block) or RR
2420  * RR is sent if we have not sent any rtp packets in the previous interval */
2421 static int ast_rtcp_write(const void *data)
2422 {
2423         struct ast_rtp_instance *instance = (struct ast_rtp_instance *) data;
2424         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
2425         int res;
2426
2427         if (!rtp || !rtp->rtcp || rtp->rtcp->schedid == -1) {
2428                 ao2_ref(instance, -1);
2429                 return 0;
2430         }
2431
2432         if (rtp->txcount > rtp->rtcp->lastsrtxcount) {
2433                 /* Send an SR */
2434                 res = ast_rtcp_write_report(instance, 1);
2435         } else {
2436                 /* Send an RR */
2437                 res = ast_rtcp_write_report(instance, 0);
2438         }
2439
2440         if (!res) {
2441                 /*
2442                  * Not being rescheduled.
2443                  */
2444                 ao2_ref(instance, -1);
2445                 rtp->rtcp->schedid = -1;
2446         }
2447
2448         return res;
2449 }
2450
2451 static int ast_rtp_raw_write(struct ast_rtp_instance *instance, struct ast_frame *frame, int codec)
2452 {
2453         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
2454         int pred, mark = 0;
2455         unsigned int ms = calc_txstamp(rtp, &frame->delivery);
2456         struct ast_sockaddr remote_address = { {0,} };
2457         int rate = rtp_get_rate(&frame->subclass.format) / 1000;
2458
2459         if (frame->subclass.format.id == AST_FORMAT_G722) {
2460                 frame->samples /= 2;
2461         }
2462
2463         if (rtp->sending_digit) {
2464                 return 0;
2465         }
2466
2467         if (frame->frametype == AST_FRAME_VOICE) {
2468                 pred = rtp->lastts + frame->samples;
2469
2470                 /* Re-calculate last TS */
2471                 rtp->lastts = rtp->lastts + ms * rate;
2472                 if (ast_tvzero(frame->delivery)) {
2473                         /* If this isn't an absolute delivery time, Check if it is close to our prediction,
2474                            and if so, go with our prediction */
2475                         if (abs(rtp->lastts - pred) < MAX_TIMESTAMP_SKEW) {
2476                                 rtp->lastts = pred;
2477                         } else {
2478                                 ast_debug(3, "Difference is %d, ms is %d\n", abs(rtp->lastts - pred), ms);
2479                                 mark = 1;
2480                         }
2481                 }
2482         } else if (frame->frametype == AST_FRAME_VIDEO) {
2483                 mark = ast_format_get_video_mark(&frame->subclass.format);
2484                 pred = rtp->lastovidtimestamp + frame->samples;
2485                 /* Re-calculate last TS */
2486                 rtp->lastts = rtp->lastts + ms * 90;
2487                 /* If it's close to our prediction, go for it */
2488                 if (ast_tvzero(frame->delivery)) {
2489                         if (abs(rtp->lastts - pred) < 7200) {
2490                                 rtp->lastts = pred;
2491                                 rtp->lastovidtimestamp += frame->samples;
2492                         } else {
2493                                 ast_debug(3, "Difference is %d, ms is %d (%d), pred/ts/samples %d/%d/%d\n", abs(rtp->lastts - pred), ms, ms * 90, rtp->lastts, pred, frame->samples);
2494                                 rtp->lastovidtimestamp = rtp->lastts;
2495                         }
2496                 }
2497         } else {
2498                 pred = rtp->lastotexttimestamp + frame->samples;
2499                 /* Re-calculate last TS */
2500                 rtp->lastts = rtp->lastts + ms;
2501                 /* If it's close to our prediction, go for it */
2502                 if (ast_tvzero(frame->delivery)) {
2503                         if (abs(rtp->lastts - pred) < 7200) {
2504                                 rtp->lastts = pred;
2505                                 rtp->lastotexttimestamp += frame->samples;
2506                         } else {
2507                                 ast_debug(3, "Difference is %d, ms is %d, pred/ts/samples %d/%d/%d\n", abs(rtp->lastts - pred), ms, rtp->lastts, pred, frame->samples);
2508                                 rtp->lastotexttimestamp = rtp->lastts;
2509                         }
2510                 }
2511         }
2512
2513         /* If we have been explicitly told to set the marker bit then do so */
2514         if (ast_test_flag(rtp, FLAG_NEED_MARKER_BIT)) {
2515                 mark = 1;
2516                 ast_clear_flag(rtp, FLAG_NEED_MARKER_BIT);
2517         }
2518
2519         /* If the timestamp for non-digt packets has moved beyond the timestamp for digits, update the digit timestamp */
2520         if (rtp->lastts > rtp->lastdigitts) {
2521                 rtp->lastdigitts = rtp->lastts;
2522         }
2523
2524         if (ast_test_flag(frame, AST_FRFLAG_HAS_TIMING_INFO)) {
2525                 rtp->lastts = frame->ts * rate;
2526         }
2527
2528         ast_rtp_instance_get_remote_address(instance, &remote_address);
2529
2530         /* If we know the remote address construct a packet and send it out */
2531         if (!ast_sockaddr_isnull(&remote_address)) {
2532                 int hdrlen = 12, res, ice;
2533                 unsigned char *rtpheader = (unsigned char *)(frame->data.ptr - hdrlen);
2534
2535                 put_unaligned_uint32(rtpheader, htonl((2 << 30) | (codec << 16) | (rtp->seqno) | (mark << 23)));
2536                 put_unaligned_uint32(rtpheader + 4, htonl(rtp->lastts));
2537                 put_unaligned_uint32(rtpheader + 8, htonl(rtp->ssrc));
2538
2539                 if ((res = rtp_sendto(instance, (void *)rtpheader, frame->datalen + hdrlen, 0, &remote_address, &ice)) < 0) {
2540                         if (!ast_rtp_instance_get_prop(instance, AST_RTP_PROPERTY_NAT) || (ast_rtp_instance_get_prop(instance, AST_RTP_PROPERTY_NAT) && (ast_test_flag(rtp, FLAG_NAT_ACTIVE) == FLAG_NAT_ACTIVE))) {
2541                                 ast_debug(1, "RTP Transmission error of packet %d to %s: %s\n",
2542                                           rtp->seqno,
2543                                           ast_sockaddr_stringify(&remote_address),
2544                                           strerror(errno));
2545                         } else if (((ast_test_flag(rtp, FLAG_NAT_ACTIVE) == FLAG_NAT_INACTIVE) || rtpdebug) && !ast_test_flag(rtp, FLAG_NAT_INACTIVE_NOWARN)) {
2546                                 /* Only give this error message once if we are not RTP debugging */
2547                                 if (rtpdebug)
2548                                         ast_debug(0, "RTP NAT: Can't write RTP to private address %s, waiting for other end to send audio...\n",
2549                                                   ast_sockaddr_stringify(&remote_address));
2550                                 ast_set_flag(rtp, FLAG_NAT_INACTIVE_NOWARN);
2551                         }
2552                 } else {
2553                         rtp->txcount++;
2554                         rtp->txoctetcount += (res - hdrlen);
2555
2556                         if (rtp->rtcp && rtp->rtcp->schedid < 1) {
2557                                 ast_debug(1, "Starting RTCP transmission on RTP instance '%p'\n", instance);
2558                                 ao2_ref(instance, +1);
2559                                 rtp->rtcp->schedid = ast_sched_add(rtp->sched, ast_rtcp_calc_interval(rtp), ast_rtcp_write, instance);
2560                                 if (rtp->rtcp->schedid < 0) {
2561                                         ao2_ref(instance, -1);
2562                                         ast_log(LOG_WARNING, "scheduling RTCP transmission failed.\n");
2563                                 }
2564                         }
2565                 }
2566
2567                 update_address_with_ice_candidate(rtp, COMPONENT_RTP, &remote_address);
2568
2569                 if (rtp_debug_test_addr(&remote_address)) {
2570                         ast_verbose("Sent RTP packet to      %s%s (type %-2.2d, seq %-6.6u, ts %-6.6u, len %-6.6u)\n",
2571                                     ast_sockaddr_stringify(&remote_address),
2572                                     ice ? " (via ICE)" : "",
2573                                     codec, rtp->seqno, rtp->lastts, res - hdrlen);
2574                 }
2575         }
2576
2577         rtp->seqno++;
2578
2579         return 0;
2580 }
2581
2582 static struct ast_frame *red_t140_to_red(struct rtp_red *red) {
2583         unsigned char *data = red->t140red.data.ptr;
2584         int len = 0;
2585         int i;
2586
2587         /* replace most aged generation */
2588         if (red->len[0]) {
2589                 for (i = 1; i < red->num_gen+1; i++)
2590                         len += red->len[i];
2591
2592                 memmove(&data[red->hdrlen], &data[red->hdrlen+red->len[0]], len);
2593         }
2594
2595         /* Store length of each generation and primary data length*/
2596         for (i = 0; i < red->num_gen; i++)
2597                 red->len[i] = red->len[i+1];
2598         red->len[i] = red->t140.datalen;
2599
2600         /* write each generation length in red header */
2601         len = red->hdrlen;
2602         for (i = 0; i < red->num_gen; i++) {
2603                 len += data[i*4+3] = red->len[i];
2604         }
2605
2606         /* add primary data to buffer */
2607         memcpy(&data[len], red->t140.data.ptr, red->t140.datalen);
2608         red->t140red.datalen = len + red->t140.datalen;
2609
2610         /* no primary data and no generations to send */
2611         if (len == red->hdrlen && !red->t140.datalen) {
2612                 return NULL;
2613         }
2614
2615         /* reset t.140 buffer */
2616         red->t140.datalen = 0;
2617
2618         return &red->t140red;
2619 }
2620
2621 static int ast_rtp_write(struct ast_rtp_instance *instance, struct ast_frame *frame)
2622 {
2623         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
2624         struct ast_sockaddr remote_address = { {0,} };
2625         struct ast_format subclass;
2626         int codec;
2627
2628         ast_rtp_instance_get_remote_address(instance, &remote_address);
2629
2630         /* If we don't actually know the remote address don't even bother doing anything */
2631         if (ast_sockaddr_isnull(&remote_address)) {
2632                 ast_debug(1, "No remote address on RTP instance '%p' so dropping frame\n", instance);
2633                 return 0;
2634         }
2635
2636         /* VP8: is this a request to send a RTCP FIR? */
2637         if (frame->frametype == AST_FRAME_CONTROL && frame->subclass.integer == AST_CONTROL_VIDUPDATE) {
2638                 struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
2639                 unsigned int *rtcpheader;
2640                 char bdata[1024];
2641                 int len = 20;
2642                 int ice;
2643                 int res;
2644
2645                 if (!rtp || !rtp->rtcp) {
2646                         return 0;
2647                 }
2648
2649                 if (ast_sockaddr_isnull(&rtp->rtcp->them)) {
2650                         /*
2651                          * RTCP was stopped.
2652                          */
2653                         return 0;
2654                 }
2655
2656                 /* Prepare RTCP FIR (PT=206, FMT=4) */
2657                 rtp->rtcp->firseq++;
2658                 if(rtp->rtcp->firseq == 256) {
2659                         rtp->rtcp->firseq = 0;
2660                 }
2661
2662                 rtcpheader = (unsigned int *)bdata;
2663                 rtcpheader[0] = htonl((2 << 30) | (4 << 24) | (RTCP_PT_PSFB << 16) | ((len/4)-1));
2664                 rtcpheader[1] = htonl(rtp->ssrc);
2665                 rtcpheader[2] = htonl(rtp->themssrc);
2666                 rtcpheader[3] = htonl(rtp->themssrc);   /* FCI: SSRC */
2667                 rtcpheader[4] = htonl(rtp->rtcp->firseq << 24);                 /* FCI: Sequence number */
2668                 res = rtcp_sendto(instance, (unsigned int *)rtcpheader, len, 0, &rtp->rtcp->them, &ice);
2669                 if (res < 0) {
2670                         ast_log(LOG_ERROR, "RTCP FIR transmission error: %s\n", strerror(errno));
2671                 }
2672                 return 0;
2673         }
2674
2675         /* If there is no data length we can't very well send the packet */
2676         if (!frame->datalen) {
2677                 ast_debug(1, "Received frame with no data for RTP instance '%p' so dropping frame\n", instance);
2678                 return 0;
2679         }
2680
2681         /* If the packet is not one our RTP stack supports bail out */
2682         if (frame->frametype != AST_FRAME_VOICE && frame->frametype != AST_FRAME_VIDEO && frame->frametype != AST_FRAME_TEXT) {
2683                 ast_log(LOG_WARNING, "RTP can only send voice, video, and text\n");
2684                 return -1;
2685         }
2686
2687         if (rtp->red) {
2688                 /* return 0; */
2689                 /* no primary data or generations to send */
2690                 if ((frame = red_t140_to_red(rtp->red)) == NULL)
2691                         return 0;
2692         }
2693
2694         /* Grab the subclass and look up the payload we are going to use */
2695         ast_format_copy(&subclass, &frame->subclass.format);
2696         if ((codec = ast_rtp_codecs_payload_code(ast_rtp_instance_get_codecs(instance), 1, &subclass, 0)) < 0) {
2697                 ast_log(LOG_WARNING, "Don't know how to send format %s packets with RTP\n", ast_getformatname(&frame->subclass.format));
2698                 return -1;
2699         }
2700
2701         /* Oh dear, if the format changed we will have to set up a new smoother */
2702         if (ast_format_cmp(&rtp->lasttxformat, &subclass) == AST_FORMAT_CMP_NOT_EQUAL) {
2703                 ast_debug(1, "Ooh, format changed from %s to %s\n", ast_getformatname(&rtp->lasttxformat), ast_getformatname(&subclass));
2704                 rtp->lasttxformat = subclass;
2705                 ast_format_copy(&rtp->lasttxformat, &subclass);
2706                 if (rtp->smoother) {
2707                         ast_smoother_free(rtp->smoother);
2708                         rtp->smoother = NULL;
2709                 }
2710         }
2711
2712         /* If no smoother is present see if we have to set one up */
2713         if (!rtp->smoother) {
2714                 struct ast_format_list fmt = ast_codec_pref_getsize(&ast_rtp_instance_get_codecs(instance)->pref, &subclass);
2715
2716                 switch (subclass.id) {
2717                 case AST_FORMAT_SPEEX:
2718                 case AST_FORMAT_SPEEX16:
2719                 case AST_FORMAT_SPEEX32:
2720                 case AST_FORMAT_SILK:
2721                 case AST_FORMAT_CELT:
2722                 case AST_FORMAT_G723_1:
2723                 case AST_FORMAT_SIREN7:
2724                 case AST_FORMAT_SIREN14:
2725                 case AST_FORMAT_G719:
2726                 /* Opus */
2727                 case AST_FORMAT_OPUS:
2728                         /* these are all frame-based codecs and cannot be safely run through
2729                            a smoother */
2730                         break;
2731                 default:
2732                         if (fmt.inc_ms) {
2733                                 if (!(rtp->smoother = ast_smoother_new((fmt.cur_ms * fmt.fr_len) / fmt.inc_ms))) {
2734                                         ast_log(LOG_WARNING, "Unable to create smoother: format %s ms: %d len: %d\n", ast_getformatname(&subclass), fmt.cur_ms, ((fmt.cur_ms * fmt.fr_len) / fmt.inc_ms));
2735                                         return -1;
2736                                 }
2737                                 if (fmt.flags) {
2738                                         ast_smoother_set_flags(rtp->smoother, fmt.flags);
2739                                 }
2740                                 ast_debug(1, "Created smoother: format: %s ms: %d len: %d\n", ast_getformatname(&subclass), fmt.cur_ms, ((fmt.cur_ms * fmt.fr_len) / fmt.inc_ms));
2741                         }
2742                 }
2743         }
2744
2745         /* Feed audio frames into the actual function that will create a frame and send it */
2746         if (rtp->smoother) {
2747                 struct ast_frame *f;
2748
2749                 if (ast_smoother_test_flag(rtp->smoother, AST_SMOOTHER_FLAG_BE)) {
2750                         ast_smoother_feed_be(rtp->smoother, frame);
2751                 } else {
2752                         ast_smoother_feed(rtp->smoother, frame);
2753                 }
2754
2755                 while ((f = ast_smoother_read(rtp->smoother)) && (f->data.ptr)) {
2756                                 ast_rtp_raw_write(instance, f, codec);
2757                 }
2758         } else {
2759                 int hdrlen = 12;
2760                 struct ast_frame *f = NULL;
2761
2762                 if (frame->offset < hdrlen) {
2763                         f = ast_frdup(frame);
2764                 } else {
2765                         f = frame;
2766                 }
2767                 if (f->data.ptr) {
2768                         ast_rtp_raw_write(instance, f, codec);
2769                 }
2770                 if (f != frame) {
2771                         ast_frfree(f);
2772                 }
2773
2774         }
2775
2776         return 0;
2777 }
2778
2779 static void calc_rxstamp(struct timeval *tv, struct ast_rtp *rtp, unsigned int timestamp, int mark)
2780 {
2781         struct timeval now;
2782         struct timeval tmp;
2783         double transit;
2784         double current_time;
2785         double d;
2786         double dtv;
2787         double prog;
2788         int rate = rtp_get_rate(&rtp->f.subclass.format);
2789
2790         double normdev_rxjitter_current;
2791         if ((!rtp->rxcore.tv_sec && !rtp->rxcore.tv_usec) || mark) {
2792                 gettimeofday(&rtp->rxcore, NULL);
2793                 rtp->drxcore = (double) rtp->rxcore.tv_sec + (double) rtp->rxcore.tv_usec / 1000000;
2794                 /* map timestamp to a real time */
2795                 rtp->seedrxts = timestamp; /* Their RTP timestamp started with this */
2796                 tmp = ast_samp2tv(timestamp, rate);
2797                 rtp->rxcore = ast_tvsub(rtp->rxcore, tmp);
2798                 /* Round to 0.1ms for nice, pretty timestamps */
2799                 rtp->rxcore.tv_usec -= rtp->rxcore.tv_usec % 100;
2800         }
2801
2802         gettimeofday(&now,NULL);
2803         /* rxcore is the mapping between the RTP timestamp and _our_ real time from gettimeofday() */
2804         tmp = ast_samp2tv(timestamp, rate);
2805         *tv = ast_tvadd(rtp->rxcore, tmp);
2806
2807         prog = (double)((timestamp-rtp->seedrxts)/(float)(rate));
2808         dtv = (double)rtp->drxcore + (double)(prog);
2809         current_time = (double)now.tv_sec + (double)now.tv_usec/1000000;
2810         transit = current_time - dtv;
2811         d = transit - rtp->rxtransit;
2812         rtp->rxtransit = transit;
2813         if (d<0) {
2814                 d=-d;
2815         }
2816         rtp->rxjitter += (1./16.) * (d - rtp->rxjitter);
2817         if (rtp->rtcp) {
2818                 if (rtp->rxjitter > rtp->rtcp->maxrxjitter)
2819                         rtp->rtcp->maxrxjitter = rtp->rxjitter;
2820                 if (rtp->rtcp->rxjitter_count == 1)
2821                         rtp->rtcp->minrxjitter = rtp->rxjitter;
2822                 if (rtp->rtcp && rtp->rxjitter < rtp->rtcp->minrxjitter)
2823                         rtp->rtcp->minrxjitter = rtp->rxjitter;
2824
2825                 normdev_rxjitter_current = normdev_compute(rtp->rtcp->normdev_rxjitter,rtp->rxjitter,rtp->rtcp->rxjitter_count);
2826                 rtp->rtcp->stdev_rxjitter = stddev_compute(rtp->rtcp->stdev_rxjitter,rtp->rxjitter,rtp->rtcp->normdev_rxjitter,normdev_rxjitter_current,rtp->rtcp->rxjitter_count);
2827
2828                 rtp->rtcp->normdev_rxjitter = normdev_rxjitter_current;
2829                 rtp->rtcp->rxjitter_count++;
2830         }
2831 }
2832
2833 static struct ast_frame *create_dtmf_frame(struct ast_rtp_instance *instance, enum ast_frame_type type, int compensate)
2834 {
2835         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
2836         struct ast_sockaddr remote_address = { {0,} };
2837
2838         ast_rtp_instance_get_remote_address(instance, &remote_address);
2839
2840         if (((compensate && type == AST_FRAME_DTMF_END) || (type == AST_FRAME_DTMF_BEGIN)) && ast_tvcmp(ast_tvnow(), rtp->dtmfmute) < 0) {
2841                 ast_debug(1, "Ignore potential DTMF echo from '%s'\n",
2842                           ast_sockaddr_stringify(&remote_address));
2843                 rtp->resp = 0;
2844                 rtp->dtmfsamples = 0;
2845                 return &ast_null_frame;
2846         }
2847         ast_debug(1, "Creating %s DTMF Frame: %d (%c), at %s\n",
2848                 type == AST_FRAME_DTMF_END ? "END" : "BEGIN",
2849                 rtp->resp, rtp->resp,
2850                 ast_sockaddr_stringify(&remote_address));
2851         if (rtp->resp == 'X') {
2852                 rtp->f.frametype = AST_FRAME_CONTROL;
2853                 rtp->f.subclass.integer = AST_CONTROL_FLASH;
2854         } else {
2855                 rtp->f.frametype = type;
2856                 rtp->f.subclass.integer = rtp->resp;
2857         }
2858         rtp->f.datalen = 0;
2859         rtp->f.samples = 0;
2860         rtp->f.mallocd = 0;
2861         rtp->f.src = "RTP";
2862         AST_LIST_NEXT(&rtp->f, frame_list) = NULL;
2863
2864         return &rtp->f;
2865 }
2866
2867 static void process_dtmf_rfc2833(struct ast_rtp_instance *instance, unsigned char *data, int len, unsigned int seqno, unsigned int timestamp, struct ast_sockaddr *addr, int payloadtype, int mark, struct frame_list *frames)
2868 {
2869         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
2870         struct ast_sockaddr remote_address = { {0,} };
2871         unsigned int event, event_end, samples;
2872         char resp = 0;
2873         struct ast_frame *f = NULL;
2874
2875         ast_rtp_instance_get_remote_address(instance, &remote_address);
2876
2877         /* Figure out event, event end, and samples */
2878         event = ntohl(*((unsigned int *)(data)));
2879         event >>= 24;
2880         event_end = ntohl(*((unsigned int *)(data)));
2881         event_end <<= 8;
2882         event_end >>= 24;
2883         samples = ntohl(*((unsigned int *)(data)));
2884         samples &= 0xFFFF;
2885
2886         if (rtp_debug_test_addr(&remote_address)) {
2887                 ast_verbose("Got  RTP RFC2833 from   %s (type %-2.2d, seq %-6.6u, ts %-6.6u, len %-6.6u, mark %d, event %08x, end %d, duration %-5.5d) \n",
2888                             ast_sockaddr_stringify(&remote_address),
2889                             payloadtype, seqno, timestamp, len, (mark?1:0), event, ((event_end & 0x80)?1:0), samples);
2890         }
2891
2892         /* Print out debug if turned on */
2893         if (rtpdebug)
2894                 ast_debug(0, "- RTP 2833 Event: %08x (len = %d)\n", event, len);
2895
2896         /* Figure out what digit was pressed */
2897         if (event < 10) {
2898                 resp = '0' + event;
2899         } else if (event < 11) {
2900                 resp = '*';
2901         } else if (event < 12) {
2902                 resp = '#';
2903         } else if (event < 16) {
2904                 resp = 'A' + (event - 12);
2905         } else if (event < 17) {        /* Event 16: Hook flash */
2906                 resp = 'X';
2907         } else {
2908                 /* Not a supported event */
2909                 ast_debug(1, "Ignoring RTP 2833 Event: %08x. Not a DTMF Digit.\n", event);
2910                 return;
2911         }
2912
2913         if (ast_rtp_instance_get_prop(instance, AST_RTP_PROPERTY_DTMF_COMPENSATE)) {
2914                 if ((rtp->last_end_timestamp != timestamp) || (rtp->resp && rtp->resp != resp)) {
2915                         rtp->resp = resp;
2916                         rtp->dtmf_timeout = 0;
2917                         f = ast_frdup(create_dtmf_frame(instance, AST_FRAME_DTMF_END, ast_rtp_instance_get_prop(instance, AST_RTP_PROPERTY_DTMF_COMPENSATE)));
2918                         f->len = 0;
2919                         rtp->last_end_timestamp = timestamp;
2920                         AST_LIST_INSERT_TAIL(frames, f, frame_list);
2921                 }
2922         } else {
2923                 /*  The duration parameter measures the complete
2924                     duration of the event (from the beginning) - RFC2833.
2925                     Account for the fact that duration is only 16 bits long
2926                     (about 8 seconds at 8000 Hz) and can wrap is digit
2927                     is hold for too long. */
2928                 unsigned int new_duration = rtp->dtmf_duration;
2929                 unsigned int last_duration = new_duration & 0xFFFF;
2930
2931                 if (last_duration > 64000 && samples < last_duration) {
2932                         new_duration += 0xFFFF + 1;
2933                 }
2934                 new_duration = (new_duration & ~0xFFFF) | samples;
2935
2936                 if (event_end & 0x80) {
2937                         /* End event */
2938                         if ((rtp->last_seqno != seqno) && (timestamp > rtp->last_end_timestamp)) {
2939                                 rtp->last_end_timestamp = timestamp;
2940                                 rtp->dtmf_duration = new_duration;
2941                                 rtp->resp = resp;
2942                                 f = ast_frdup(create_dtmf_frame(instance, AST_FRAME_DTMF_END, 0));
2943                                 f->len = ast_tvdiff_ms(ast_samp2tv(rtp->dtmf_duration, rtp_get_rate(&f->subclass.format)), ast_tv(0, 0));
2944                                 rtp->resp = 0;
2945                                 rtp->dtmf_duration = rtp->dtmf_timeout = 0;
2946                                 AST_LIST_INSERT_TAIL(frames, f, frame_list);
2947                         } else if (rtpdebug) {
2948                                 ast_debug(1, "Dropping duplicate or out of order DTMF END frame (seqno: %d, ts %d, digit %c)\n",
2949                                         seqno, timestamp, resp);
2950                         }
2951                 } else {
2952                         /* Begin/continuation */
2953
2954                         /* The second portion of the seqno check is to not mistakenly
2955                          * stop accepting DTMF if the seqno rolls over beyond
2956                          * 65535.
2957                          */
2958                         if ((rtp->last_seqno > seqno && rtp->last_seqno - seqno < 50)
2959                                 || timestamp <= rtp->last_end_timestamp) {
2960                                 /* Out of order frame. Processing this can cause us to
2961                                  * improperly duplicate incoming DTMF, so just drop
2962                                  * this.
2963                                  */
2964                                 if (rtpdebug) {
2965                                         ast_debug(1, "Dropping out of order DTMF frame (seqno %d, ts %d, digit %c)\n",
2966                                                 seqno, timestamp, resp);
2967                                 }
2968                                 return;
2969                         }
2970
2971                         if (rtp->resp && rtp->resp != resp) {
2972                                 /* Another digit already began. End it */
2973                                 f = ast_frdup(create_dtmf_frame(instance, AST_FRAME_DTMF_END, 0));
2974                                 f->len = ast_tvdiff_ms(ast_samp2tv(rtp->dtmf_duration, rtp_get_rate(&f->subclass.format)), ast_tv(0, 0));
2975                                 rtp->resp = 0;
2976                                 rtp->dtmf_duration = rtp->dtmf_timeout = 0;
2977                                 AST_LIST_INSERT_TAIL(frames, f, frame_list);
2978                         }
2979
2980                         if (rtp->resp) {
2981                                 /* Digit continues */
2982                                 rtp->dtmf_duration = new_duration;
2983                         } else {
2984                                 /* New digit began */
2985                                 rtp->resp = resp;
2986                                 f = ast_frdup(create_dtmf_frame(instance, AST_FRAME_DTMF_BEGIN, 0));
2987                                 rtp->dtmf_duration = samples;
2988                                 AST_LIST_INSERT_TAIL(frames, f, frame_list);
2989                         }
2990
2991                         rtp->dtmf_timeout = timestamp + rtp->dtmf_duration + dtmftimeout;
2992                 }
2993
2994                 rtp->last_seqno = seqno;
2995         }
2996
2997         rtp->dtmfsamples = samples;
2998
2999         return;
3000 }
3001
3002 static struct ast_frame *process_dtmf_cisco(struct ast_rtp_instance *instance, unsigned char *data, int len, unsigned int seqno, unsigned int timestamp, struct ast_sockaddr *addr, int payloadtype, int mark)
3003 {
3004         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
3005         unsigned int event, flags, power;
3006         char resp = 0;
3007         unsigned char seq;
3008         struct ast_frame *f = NULL;
3009
3010         if (len < 4) {
3011                 return NULL;
3012         }
3013
3014         /*      The format of Cisco RTP DTMF packet looks like next:
3015                 +0                              - sequence number of DTMF RTP packet (begins from 1,
3016                                                   wrapped to 0)
3017                 +1                              - set of flags
3018                 +1 (bit 0)              - flaps by different DTMF digits delimited by audio
3019                                                   or repeated digit without audio???
3020                 +2 (+4,+6,...)  - power level? (rises from 0 to 32 at begin of tone
3021                                                   then falls to 0 at its end)
3022                 +3 (+5,+7,...)  - detected DTMF digit (0..9,*,#,A-D,...)
3023                 Repeated DTMF information (bytes 4/5, 6/7) is history shifted right
3024                 by each new packet and thus provides some redudancy.
3025
3026                 Sample of Cisco RTP DTMF packet is (all data in hex):
3027                         19 07 00 02 12 02 20 02
3028                 showing end of DTMF digit '2'.
3029
3030                 The packets
3031                         27 07 00 02 0A 02 20 02
3032                         28 06 20 02 00 02 0A 02
3033                 shows begin of new digit '2' with very short pause (20 ms) after
3034                 previous digit '2'. Bit +1.0 flips at begin of new digit.
3035
3036                 Cisco RTP DTMF packets comes as replacement of audio RTP packets
3037                 so its uses the same sequencing and timestamping rules as replaced
3038                 audio packets. Repeat interval of DTMF packets is 20 ms and not rely
3039                 on audio framing parameters. Marker bit isn't used within stream of
3040                 DTMFs nor audio stream coming immediately after DTMF stream. Timestamps
3041                 are not sequential at borders between DTMF and audio streams,
3042         */
3043
3044         seq = data[0];
3045         flags = data[1];
3046         power = data[2];
3047         event = data[3] & 0x1f;
3048
3049         if (rtpdebug)
3050                 ast_debug(0, "Cisco DTMF Digit: %02x (len=%d, seq=%d, flags=%02x, power=%d, history count=%d)\n", event, len, seq, flags, power, (len - 4) / 2);
3051         if (event < 10) {
3052                 resp = '0' + event;
3053         } else if (event < 11) {
3054                 resp = '*';
3055         } else if (event < 12) {
3056                 resp = '#';
3057         } else if (event < 16) {
3058                 resp = 'A' + (event - 12);
3059         } else if (event < 17) {
3060                 resp = 'X';
3061         }
3062         if ((!rtp->resp && power) || (rtp->resp && (rtp->resp != resp))) {
3063                 rtp->resp = resp;
3064                 /* Why we should care on DTMF compensation at reception? */
3065                 if (ast_rtp_instance_get_prop(instance, AST_RTP_PROPERTY_DTMF_COMPENSATE)) {
3066                         f = create_dtmf_frame(instance, AST_FRAME_DTMF_BEGIN, 0);
3067                         rtp->dtmfsamples = 0;
3068                 }
3069         } else if ((rtp->resp == resp) && !power) {
3070                 f = create_dtmf_frame(instance, AST_FRAME_DTMF_END, ast_rtp_instance_get_prop(instance, AST_RTP_PROPERTY_DTMF_COMPENSATE));
3071                 f->samples = rtp->dtmfsamples * (rtp->lastrxformat.id ? (rtp_get_rate(&rtp->lastrxformat) / 1000) : 8);
3072                 rtp->resp = 0;
3073         } else if (rtp->resp == resp) {
3074                 rtp->dtmfsamples += 20 * (rtp->lastrxformat.id ? (rtp_get_rate(&rtp->lastrxformat) / 1000) : 8);
3075         }
3076
3077         rtp->dtmf_timeout = 0;
3078
3079         return f;
3080 }
3081
3082 static struct ast_frame *process_cn_rfc3389(struct ast_rtp_instance *instance, unsigned char *data, int len, unsigned int seqno, unsigned int timestamp, struct ast_sockaddr *addr, int payloadtype, int mark)
3083 {
3084         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
3085
3086         /* Convert comfort noise into audio with various codecs.  Unfortunately this doesn't
3087            totally help us out becuase we don't have an engine to keep it going and we are not
3088            guaranteed to have it every 20ms or anything */
3089         if (rtpdebug) {
3090                 ast_debug(0, "- RTP 3389 Comfort noise event: Level %d (len = %d)\n", (int) rtp->lastrxformat.id, len);
3091         }
3092
3093         if (ast_test_flag(rtp, FLAG_3389_WARNING)) {
3094                 struct ast_sockaddr remote_address = { {0,} };
3095
3096                 ast_rtp_instance_get_remote_address(instance, &remote_address);
3097
3098                 ast_log(LOG_NOTICE, "Comfort noise support incomplete in Asterisk (RFC 3389). Please turn off on client if possible. Client address: %s\n",
3099                         ast_sockaddr_stringify(&remote_address));
3100                 ast_set_flag(rtp, FLAG_3389_WARNING);
3101         }
3102
3103         /* Must have at least one byte */
3104         if (!len) {
3105                 return NULL;
3106         }
3107         if (len < 24) {
3108                 rtp->f.data.ptr = rtp->rawdata + AST_FRIENDLY_OFFSET;
3109                 rtp->f.datalen = len - 1;
3110                 rtp->f.offset = AST_FRIENDLY_OFFSET;
3111                 memcpy(rtp->f.data.ptr, data + 1, len - 1);
3112         } else {
3113                 rtp->f.data.ptr = NULL;
3114                 rtp->f.offset = 0;
3115                 rtp->f.datalen = 0;
3116         }
3117         rtp->f.frametype = AST_FRAME_CNG;
3118         rtp->f.subclass.integer = data[0] & 0x7f;
3119         rtp->f.samples = 0;
3120         rtp->f.delivery.tv_usec = rtp->f.delivery.tv_sec = 0;
3121
3122         return &rtp->f;
3123 }
3124
3125 static int update_rtt_stats(struct ast_rtp *rtp, unsigned int lsr, unsigned int dlsr)
3126 {
3127         struct timeval now;
3128         struct timeval rtt_tv;
3129         unsigned int msw;
3130         unsigned int lsw;
3131         unsigned int rtt_msw;
3132         unsigned int rtt_lsw;
3133         unsigned int lsr_a;
3134         unsigned int rtt;
3135         double normdevrtt_current;
3136
3137         gettimeofday(&now, NULL);
3138         timeval2ntp(now, &msw, &lsw);
3139
3140         lsr_a = ((msw & 0x0000ffff) << 16) | ((lsw & 0xffff0000) >> 16);
3141         rtt = lsr_a - lsr - dlsr;
3142         rtt_msw = (rtt & 0xffff0000) >> 16;
3143         rtt_lsw = (rtt & 0x0000ffff) << 16;
3144         rtt_tv.tv_sec = rtt_msw;
3145         rtt_tv.tv_usec = ((rtt_lsw << 6) / 3650) - (rtt_lsw >> 12) - (rtt_lsw >> 8);
3146         rtp->rtcp->rtt = (double)rtt_tv.tv_sec + ((double)rtt_tv.tv_usec / 1000000);
3147         if (lsr_a - dlsr < lsr) {
3148                 return 1;
3149         }
3150
3151         rtp->rtcp->accumulated_transit += rtp->rtcp->rtt;
3152         if (rtp->rtcp->rtt_count == 0 || rtp->rtcp->minrtt > rtp->rtcp->rtt) {
3153                 rtp->rtcp->minrtt = rtp->rtcp->rtt;
3154         }
3155         if (rtp->rtcp->maxrtt < rtp->rtcp->rtt) {
3156                 rtp->rtcp->maxrtt = rtp->rtcp->rtt;
3157         }
3158
3159         normdevrtt_current = normdev_compute(rtp->rtcp->normdevrtt,
3160                         rtp->rtcp->rtt,
3161                         rtp->rtcp->rtt_count);
3162         rtp->rtcp->stdevrtt = stddev_compute(rtp->rtcp->stdevrtt,
3163                         rtp->rtcp->rtt,
3164                         rtp->rtcp->normdevrtt,
3165                         normdevrtt_current,
3166                         rtp->rtcp->rtt_count);
3167         rtp->rtcp->normdevrtt = normdevrtt_current;
3168         rtp->rtcp->rtt_count++;
3169
3170         return 0;
3171 }
3172
3173 /*!
3174  * \internal
3175  * \brief Update RTCP interarrival jitter stats
3176  */
3177 static void update_jitter_stats(struct ast_rtp *rtp, unsigned int ia_jitter)
3178 {
3179         double reported_jitter;
3180         double reported_normdev_jitter_current;
3181
3182         rtp->rtcp->reported_jitter = ia_jitter;
3183         reported_jitter = (double) rtp->rtcp->reported_jitter;
3184         if (rtp->rtcp->reported_jitter_count == 0) {
3185                 rtp->rtcp->reported_minjitter = reported_jitter;
3186         }
3187         if (reported_jitter < rtp->rtcp->reported_minjitter) {
3188                 rtp->rtcp->reported_minjitter = reported_jitter;
3189         }
3190         if (reported_jitter > rtp->rtcp->reported_maxjitter) {
3191                 rtp->rtcp->reported_maxjitter = reported_jitter;
3192         }
3193         reported_normdev_jitter_current = normdev_compute(rtp->rtcp->reported_normdev_jitter, reported_jitter, rtp->rtcp->reported_jitter_count);
3194         rtp->rtcp->reported_stdev_jitter = stddev_compute(rtp->rtcp->reported_stdev_jitter, reported_jitter, rtp->rtcp->reported_normdev_jitter, reported_normdev_jitter_current, rtp->rtcp->reported_jitter_count);
3195         rtp->rtcp->reported_normdev_jitter = reported_normdev_jitter_current;
3196 }
3197
3198 /*!
3199  * \internal
3200  * \brief Update RTCP lost packet stats
3201  */
3202 static void update_lost_stats(struct ast_rtp *rtp, unsigned int lost_packets)
3203 {
3204         double reported_lost;
3205         double reported_normdev_lost_current;
3206
3207         rtp->rtcp->reported_lost = lost_packets;
3208         reported_lost = (double)rtp->rtcp->reported_lost;
3209         if (rtp->rtcp->reported_jitter_count == 0) {
3210                 rtp->rtcp->reported_minlost = reported_lost;
3211         }
3212         if (reported_lost < rtp->rtcp->reported_minlost) {
3213                 rtp->rtcp->reported_minlost = reported_lost;
3214         }
3215         if (reported_lost > rtp->rtcp->reported_maxlost) {
3216                 rtp->rtcp->reported_maxlost = reported_lost;
3217         }
3218         reported_normdev_lost_current = normdev_compute(rtp->rtcp->reported_normdev_lost, reported_lost, rtp->rtcp->reported_jitter_count);
3219         rtp->rtcp->reported_stdev_lost = stddev_compute(rtp->rtcp->reported_stdev_lost, reported_lost, rtp->rtcp->reported_normdev_lost, reported_normdev_lost_current, rtp->rtcp->reported_jitter_count);
3220         rtp->rtcp->reported_normdev_lost = reported_normdev_lost_current;
3221 }
3222
3223 static struct ast_frame *ast_rtcp_read(struct ast_rtp_instance *instance)
3224 {
3225         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
3226         struct ast_sockaddr addr;
3227         unsigned char rtcpdata[8192 + AST_FRIENDLY_OFFSET];
3228         unsigned int *rtcpheader = (unsigned int *)(rtcpdata + AST_FRIENDLY_OFFSET);
3229         int res, packetwords, position = 0;
3230         int report_counter = 0;
3231         struct ast_rtp_rtcp_report_block *report_block;
3232         struct ast_frame *f = &ast_null_frame;
3233
3234         /* Read in RTCP data from the socket */
3235         if ((res = rtcp_recvfrom(instance, rtcpdata + AST_FRIENDLY_OFFSET,
3236                                 sizeof(rtcpdata) - AST_FRIENDLY_OFFSET,
3237                                 0, &addr)) < 0) {
3238                 ast_assert(errno != EBADF);
3239                 if (errno != EAGAIN) {
3240                         ast_log(LOG_WARNING, "RTCP Read error: %s.  Hanging up.\n",
3241                                 (errno) ? strerror(errno) : "Unspecified");
3242                         return NULL;
3243                 }
3244                 return &ast_null_frame;
3245         }
3246
3247         /* If this was handled by the ICE session don't do anything further */
3248         if (!res) {
3249                 return &ast_null_frame;
3250         }
3251
3252         if (!*(rtcpdata + AST_FRIENDLY_OFFSET)) {
3253                 struct sockaddr_in addr_tmp;
3254                 struct ast_sockaddr addr_v4;
3255
3256                 if (ast_sockaddr_is_ipv4(&addr)) {
3257                         ast_sockaddr_to_sin(&addr, &addr_tmp);
3258                 } else if (ast_sockaddr_ipv4_mapped(&addr, &addr_v4)) {
3259                         ast_debug(1, "Using IPv6 mapped address %s for STUN\n",
3260                                   ast_sockaddr_stringify(&addr));
3261                         ast_sockaddr_to_sin(&addr_v4, &addr_tmp);
3262                 } else {
3263                         ast_debug(1, "Cannot do STUN for non IPv4 address %s\n",
3264                                   ast_sockaddr_stringify(&addr));
3265                         return &ast_null_frame;
3266                 }
3267                 if ((ast_stun_handle_packet(rtp->rtcp->s, &addr_tmp, rtcpdata + AST_FRIENDLY_OFFSET, res, NULL, NULL) == AST_STUN_ACCEPT)) {
3268                         ast_sockaddr_from_sin(&addr, &addr_tmp);
3269                         ast_sockaddr_copy(&rtp->rtcp->them, &addr);
3270                 }
3271                 return &ast_null_frame;
3272         }
3273
3274         packetwords = res / 4;
3275
3276         if (ast_rtp_instance_get_prop(instance, AST_RTP_PROPERTY_NAT)) {
3277                 /* Send to whoever sent to us */
3278                 if (ast_sockaddr_cmp(&rtp->rtcp->them, &addr)) {
3279                         ast_sockaddr_copy(&rtp->rtcp->them, &addr);
3280                         if (rtpdebug) {
3281                                 ast_debug(0, "RTCP NAT: Got RTCP from other end. Now sending to address %s\n",
3282                                           ast_sockaddr_stringify(&rtp->rtcp->them));
3283                         }
3284                 }
3285         }
3286
3287         ast_debug(1, "Got RTCP report of %d bytes\n", res);
3288
3289         while (position < packetwords) {
3290                 int i, pt, rc;
3291                 unsigned int length;
3292                 struct ast_json *message_blob;
3293                 RAII_VAR(struct ast_rtp_rtcp_report *, rtcp_report, NULL, ao2_cleanup);
3294
3295                 i = position;
3296                 length = ntohl(rtcpheader[i]);
3297                 pt = (length & 0xff0000) >> 16;
3298                 rc = (length & 0x1f000000) >> 24;
3299                 length &= 0xffff;
3300
3301                 rtcp_report = ast_rtp_rtcp_report_alloc(rc);
3302                 if (!rtcp_report) {
3303                         return &ast_null_frame;
3304                 }
3305                 rtcp_report->reception_report_count = rc;
3306                 rtcp_report->ssrc = ntohl(rtcpheader[i + 1]);
3307
3308                 if ((i + length) > packetwords) {
3309                         if (rtpdebug) {
3310                                 ast_debug(1, "RTCP Read too short\n");
3311                         }
3312                         return &ast_null_frame;
3313                 }
3314
3315                 if (rtcp_debug_test_addr(&addr)) {
3316                         ast_verbose("\n\nGot RTCP from %s\n",
3317                                     ast_sockaddr_stringify(&addr));
3318                         ast_verbose("PT: %d(%s)\n", pt, (pt == RTCP_PT_SR) ? "Sender Report" :
3319                                                         (pt == RTCP_PT_RR) ? "Receiver Report" :
3320                                                         (pt == RTCP_PT_FUR) ? "H.261 FUR" : "Unknown");
3321                         ast_verbose("Reception reports: %d\n", rc);
3322                         ast_verbose("SSRC of sender: %u\n", rtcp_report->ssrc);
3323                 }
3324
3325                 i += 2; /* Advance past header and ssrc */
3326                 if (rc == 0 && pt == RTCP_PT_RR) {
3327                         /* We're receiving a receiver report with no reports, which is ok */
3328                         position += (length + 1);
3329                         continue;
3330                 }
3331                 switch (pt) {
3332                 case RTCP_PT_SR:
3333                         gettimeofday(&rtp->rtcp->rxlsr, NULL);
3334                         rtp->rtcp->themrxlsr = ((ntohl(rtcpheader[i]) & 0x0000ffff) << 16) | ((ntohl(rtcpheader[i + 1]) & 0xffff0000) >> 16);
3335                         rtp->rtcp->spc = ntohl(rtcpheader[i + 3]);
3336                         rtp->rtcp->soc = ntohl(rtcpheader[i + 4]);
3337
3338                         rtcp_report->type = RTCP_PT_SR;
3339                         rtcp_report->sender_information.packet_count = rtp->rtcp->spc;
3340                         rtcp_report->sender_information.octet_count = rtp->rtcp->soc;
3341                         ntp2timeval((unsigned int)ntohl(rtcpheader[i]),
3342                                         (unsigned int)ntohl(rtcpheader[i + 1]),
3343                                         &rtcp_report->sender_information.ntp_timestamp);
3344                         rtcp_report->sender_information.rtp_timestamp = ntohl(rtcpheader[i + 2]);
3345                         if (rtcp_debug_test_addr(&addr)) {
3346                                 ast_verbose("NTP timestamp: %u.%010u\n",
3347                                                 (unsigned int)rtcp_report->sender_information.ntp_timestamp.tv_sec,
3348                                                 (unsigned int)rtcp_report->sender_information.ntp_timestamp.tv_usec * 4096);
3349                                 ast_verbose("RTP timestamp: %u\n", rtcp_report->sender_information.rtp_timestamp);
3350                                 ast_verbose("SPC: %u\tSOC: %u\n",
3351                                                 rtcp_report->sender_information.packet_count,
3352                                                 rtcp_report->sender_information.octet_count);
3353                         }
3354                         i += 5;
3355                         if (rc < 1) {
3356                                 break;
3357                         }
3358                         /* Intentional fall through */
3359                 case RTCP_PT_RR:
3360                         if (rtcp_report->type != RTCP_PT_SR) {
3361                                 rtcp_report->type = RTCP_PT_RR;
3362                         }
3363
3364                         /* Don't handle multiple reception reports (rc > 1) yet */
3365                         report_block = ast_calloc(1, sizeof(*report_block));
3366                         if (!report_block) {
3367                                 return &ast_null_frame;
3368                         }
3369                         rtcp_report->report_block[report_counter] = report_block;
3370                         report_block->source_ssrc = ntohl(rtcpheader[i]);
3371                         report_block->lost_count.packets = ntohl(rtcpheader[i + 1]) & 0x00ffffff;
3372                         report_block->lost_count.fraction = ((ntohl(rtcpheader[i + 1]) & 0xff000000) >> 24);
3373                         report_block->highest_seq_no = ntohl(rtcpheader[i + 2]);
3374                         report_block->ia_jitter =  ntohl(rtcpheader[i + 3]);
3375                         report_block->lsr = ntohl(rtcpheader[i + 4]);
3376                         report_block->dlsr = ntohl(rtcpheader[i + 5]);
3377                         if (report_block->lsr
3378                                 && update_rtt_stats(rtp, report_block->lsr, report_block->dlsr)
3379                                 && rtcp_debug_test_addr(&addr)) {
3380                                 struct timeval now;
3381                                 unsigned int lsr_now, lsw, msw;
3382                                 gettimeofday(&now, NULL);
3383                                 timeval2ntp(now, &msw, &lsw);
3384                                 lsr_now = (((msw & 0xffff) << 16) | ((lsw & 0xffff0000) >> 16));
3385                                 ast_verbose("Internal RTCP NTP clock skew detected: "
3386                                                    "lsr=%u, now=%u, dlsr=%u (%d:%03dms), "
3387                                                 "diff=%d\n",
3388                                                 report_block->lsr, lsr_now, report_block->dlsr, report_block->dlsr / 65536,
3389                                                 (report_block->dlsr % 65536) * 1000 / 65536,
3390                                                 report_block->dlsr - (lsr_now - report_block->lsr));
3391                         }
3392                         update_jitter_stats(rtp, report_block->ia_jitter);
3393                         update_lost_stats(rtp, report_block->lost_count.packets);
3394                         rtp->rtcp->reported_jitter_count++;
3395
3396                         if (rtcp_debug_test_addr(&addr)) {
3397                         ast_verbose("  Fraction lost: %u\n", report_block->lost_count.fraction);
3398                                 ast_verbose("  Packets lost so far: %u\n", report_block->lost_count.packets);
3399                                 ast_verbose("  Highest sequence number: %u\n", report_block->highest_seq_no & 0x0000ffff);
3400                                 ast_verbose("  Sequence number cycles: %u\n", report_block->highest_seq_no >> 16);
3401                                 ast_verbose("  Interarrival jitter: %u\n", report_block->ia_jitter);
3402                                 ast_verbose("  Last SR(our NTP): %lu.%010lu\n",(unsigned long)(report_block->lsr) >> 16,((unsigned long)(report_block->lsr) << 16) * 4096);
3403                                 ast_verbose("  DLSR: %4.4f (sec)\n",(double)report_block->dlsr / 65536.0);
3404                                 ast_verbose("  RTT: %4.4f(sec)\n", rtp->rtcp->rtt);
3405                         }
3406                         report_counter++;
3407
3408                         /* If and when we handle more than one report block, this should occur outside
3409                          * this loop.
3410                          */
3411                         message_blob = ast_json_pack("{s: s, s: f}",
3412                                         "from", ast_sockaddr_stringify(&addr),
3413                                         "rtt", rtp->rtcp->rtt);
3414                         ast_rtp_publish_rtcp_message(instance, ast_rtp_rtcp_received_type(),
3415                                         rtcp_report,
3416                                         message_blob);
3417                         ast_json_unref(message_blob);
3418                         break;
3419                 case RTCP_PT_FUR:
3420                 /* Handle RTCP FIR as FUR */
3421                 case RTCP_PT_PSFB:
3422                         if (rtcp_debug_test_addr(&addr)) {
3423                                 ast_verbose("Received an RTCP Fast Update Request\n");
3424                         }
3425                         rtp->f.frametype = AST_FRAME_CONTROL;
3426                         rtp->f.subclass.integer = AST_CONTROL_VIDUPDATE;
3427                         rtp->f.datalen = 0;
3428                         rtp->f.samples = 0;
3429                         rtp->f.mallocd = 0;
3430                         rtp->f.src = "RTP";
3431                         f = &rtp->f;
3432                         break;
3433                 case RTCP_PT_SDES:
3434                         if (rtcp_debug_test_addr(&addr)) {
3435                                 ast_verbose("Received an SDES from %s\n",
3436                                             ast_sockaddr_stringify(&rtp->rtcp->them));
3437                         }
3438                         break;
3439                 case RTCP_PT_BYE:
3440                         if (rtcp_debug_test_addr(&addr)) {
3441                                 ast_verbose("Received a BYE from %s\n",
3442                                             ast_sockaddr_stringify(&rtp->rtcp->them));
3443                         }
3444                         break;
3445                 default:
3446                         ast_debug(1, "Unknown RTCP packet (pt=%d) received from %s\n",
3447                                   pt, ast_sockaddr_stringify(&rtp->rtcp->them));
3448                         break;
3449                 }
3450                 position += (length + 1);
3451         }
3452         rtp->rtcp->rtcp_info = 1;
3453
3454         return f;
3455 }
3456
3457 static int bridge_p2p_rtp_write(struct ast_rtp_instance *instance, unsigned int *rtpheader, int len, int hdrlen)
3458 {
3459         struct ast_rtp_instance *instance1 = ast_rtp_instance_get_bridged(instance);
3460         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance), *bridged = ast_rtp_instance_get_data(instance1);
3461         int res = 0, payload = 0, bridged_payload = 0, mark;
3462         struct ast_rtp_payload_type payload_type;
3463         int reconstruct = ntohl(rtpheader[0]);
3464         struct ast_sockaddr remote_address = { {0,} };
3465         int ice;
3466
3467         /* Get fields from packet */
3468         payload = (reconstruct & 0x7f0000) >> 16;
3469         mark = (((reconstruct & 0x800000) >> 23) != 0);
3470
3471         /* Check what the payload value should be */
3472         payload_type = ast_rtp_codecs_payload_lookup(ast_rtp_instance_get_codecs(instance), payload);
3473
3474         /* Otherwise adjust bridged payload to match */
3475         bridged_payload = ast_rtp_codecs_payload_code(ast_rtp_instance_get_codecs(instance1), payload_type.asterisk_format, &payload_type.format, payload_type.rtp_code);
3476
3477         /* If no codec could be matched between instance and instance1, then somehow things were made incompatible while we were still bridged.  Bail. */
3478         if (bridged_payload < 0) {
3479                 return -1;
3480         }
3481
3482         /* If the payload coming in is not one of the negotiated ones then send it to the core, this will cause formats to change and the bridge to break */
3483         if (ast_rtp_codecs_find_payload_code(ast_rtp_instance_get_codecs(instance1), bridged_payload) == -1) {
3484                 ast_debug(1, "Unsupported payload type received \n");
3485                 return -1;
3486         }
3487
3488         /* If the marker bit has been explicitly set turn it on */
3489         if (ast_test_flag(rtp, FLAG_NEED_MARKER_BIT)) {
3490                 mark = 1;
3491                 ast_clear_flag(rtp, FLAG_NEED_MARKER_BIT);
3492         }
3493
3494         /* Reconstruct part of the packet */
3495         reconstruct &= 0xFF80FFFF;
3496         reconstruct |= (bridged_payload << 16);
3497         reconstruct |= (mark << 23);
3498         rtpheader[0] = htonl(reconstruct);
3499
3500         ast_rtp_instance_get_remote_address(instance1, &remote_address);
3501
3502         if (ast_sockaddr_isnull(&remote_address)) {
3503                 ast_debug(1, "Remote address is null, most likely RTP has been stopped\n");
3504                 return 0;
3505         }
3506
3507         /* Send the packet back out */
3508         res = rtp_sendto(instance1, (void *)rtpheader, len, 0, &remote_address, &ice);
3509         if (res < 0) {
3510                 if (!ast_rtp_instance_get_prop(instance1, AST_RTP_PROPERTY_NAT) || (ast_rtp_instance_get_prop(instance1, AST_RTP_PROPERTY_NAT) && (ast_test_flag(bridged, FLAG_NAT_ACTIVE) == FLAG_NAT_ACTIVE))) {
3511                         ast_log(LOG_WARNING,
3512                                 "RTP Transmission error of packet to %s: %s\n",
3513                                 ast_sockaddr_stringify(&remote_address),
3514                                 strerror(errno));
3515                 } else if (((ast_test_flag(bridged, FLAG_NAT_ACTIVE) == FLAG_NAT_INACTIVE) || rtpdebug) && !ast_test_flag(bridged, FLAG_NAT_INACTIVE_NOWARN)) {
3516                         if (option_debug || rtpdebug) {
3517                                 ast_log(LOG_WARNING,
3518                                         "RTP NAT: Can't write RTP to private "
3519                                         "address %s, waiting for other end to "
3520                                         "send audio...\n",
3521                                         ast_sockaddr_stringify(&remote_address));
3522                         }
3523                         ast_set_flag(bridged, FLAG_NAT_INACTIVE_NOWARN);
3524                 }
3525                 return 0;
3526         }
3527
3528         update_address_with_ice_candidate(rtp, COMPONENT_RTP, &remote_address);
3529
3530         if (rtp_debug_test_addr(&remote_address)) {
3531                 ast_verbose("Sent RTP P2P packet to %s%s (type %-2.2d, len %-6.6u)\n",
3532                             ast_sockaddr_stringify(&remote_address),
3533                             ice ? " (via ICE)" : "",
3534                             bridged_payload, len - hdrlen);
3535         }
3536
3537         return 0;
3538 }
3539
3540 static struct ast_frame *ast_rtp_read(struct ast_rtp_instance *instance, int rtcp)
3541 {
3542         struct ast_rtp *rtp = ast_rtp_instance_get_data(instance);
3543         struct ast_sockaddr addr;
3544         int res, hdrlen = 12, version, payloadtype, padding, mark, ext, cc, prev_seqno;
3545         unsigned int *rtpheader = (unsigned int*)(rtp->rawdata + AST_FRIENDLY_OFFSET), seqno, ssrc, timestamp;
3546         struct ast_rtp_payload_type payload;
3547         struct ast_sockaddr remote_address = { {0,} };
3548         struct frame_list frames;
3549
3550         /* If this is actually RTCP let's hop on over and handle it */
3551         if (rtcp) {
3552                 if (rtp->rtcp) {
3553                         return ast_rtcp_read(instance);
3554                 }
3555                 return &ast_null_frame;
3556         }
3557
3558         /* If we are currently sending DTMF to the remote party send a continuation packet */
3559         if (rtp->sending_digit) {
3560                 ast_rtp_dtmf_continuation(instance);
3561         }
3562
3563         /* Actually read in the data from the socket */
3564         if ((res = rtp_recvfrom(instance, rtp->rawdata + AST_FRIENDLY_OFFSET,
3565                                 sizeof(rtp->rawdata) - AST_FRIENDLY_OFFSET, 0,
3566                                 &addr)) < 0) {
3567                 ast_assert(errno != EBADF);
3568                 if (errno != EAGAIN) {
3569                         ast_log(LOG_WARNING, "RTP Read error: %s.  Hanging up.\n",
3570                                 (errno) ? strerror(errno) : "Unspecified");
3571                         return NULL;
3572                 }
3573                 return &ast_null_frame;
3574         }
3575
3576         /* If this was handled by the ICE session don't do anything */
3577         if (!res) {
3578                 return &ast_null_frame;
3579         }