Fix jitter issues with out-of-order audio (bug #4163)
[asterisk/asterisk.git] / jitterbuf.h
1 /*
2  * jitterbuf: an application-independent jitterbuffer
3  *
4  * Copyrights:
5  * Copyright (C) 2004-2005, Horizon Wimba, Inc.
6  *
7  * Contributors:
8  * Steve Kann <stevek@stevek.com>
9  *
10  * This program is free software, distributed under the terms of
11  * the GNU Lesser (Library) General Public License
12  *
13  * Copyright on this file is disclaimed to Digium for inclusion in Asterisk
14  */
15
16 #ifndef _JITTERBUF_H_
17 #define _JITTERBUF_H_
18
19 #ifdef __cplusplus
20 extern "C" {
21 #endif
22
23 /* configuration constants */
24         /* Number of historical timestamps to use in calculating jitter and drift */
25 #define JB_HISTORY_SZ           500     
26         /* what percentage of timestamps should we drop from the history when we examine it;
27          * this might eventually be something made configurable */
28 #define JB_HISTORY_DROPPCT      3
29         /* the maximum droppct we can handle (say it was configurable). */
30 #define JB_HISTORY_DROPPCT_MAX  4
31         /* the size of the buffer we use to keep the top and botton timestamps for dropping */
32 #define JB_HISTORY_MAXBUF_SZ    JB_HISTORY_SZ * JB_HISTORY_DROPPCT_MAX / 100 
33         /* amount of additional jitterbuffer adjustment  */
34 #define JB_TARGET_EXTRA 40
35         /* ms between growing and shrinking; may not be honored if jitterbuffer runs out of space */
36 #define JB_ADJUST_DELAY 40
37
38
39 /* return codes */
40 #define JB_OK           0
41 #define JB_EMPTY        1
42 #define JB_NOFRAME      2
43 #define JB_INTERP       3
44 #define JB_DROP         4
45
46 /* frame types */
47 #define JB_TYPE_CONTROL 0
48 #define JB_TYPE_VOICE   1
49 #define JB_TYPE_VIDEO   2  /* reserved */
50 #define JB_TYPE_SILENCE 3
51
52 typedef struct jb_info {
53         /* statistics */
54         long frames_in;         /* number of frames input to the jitterbuffer.*/
55         long frames_out;        /* number of frames output from the jitterbuffer.*/
56         long frames_late;       /* number of frames which were too late, and dropped.*/
57         long frames_lost;       /* number of missing frames.*/
58         long frames_dropped;    /* number of frames dropped (shrinkage) */
59         long frames_ooo;        /* number of frames received out-of-order */
60         long frames_cur;        /* number of frames presently in jb, awaiting delivery.*/
61         long jitter;            /* jitter measured within current history interval*/
62         long min;               /* minimum lateness within current history interval */
63         long current;           /* the present jitterbuffer adjustment */
64         long target;            /* the target jitterbuffer adjustment */
65         long losspct;           /* recent lost frame percentage (* 1000) */
66         long last_voice_ts;     /* the last ts that was read from the jb - in receiver's time */
67         long last_voice_ms;     /* the duration of the last voice frame */
68         long silence_begin_ts;  /* the time of the last CNG frame, when in silence */
69         long last_adjustment;   /* the time of the last adjustment */
70
71         /* settings */
72         long max_jitterbuf;     /* defines a hard clamp to use in setting the jitter buffer delay */
73 } jb_info;
74
75 typedef struct jb_frame {
76         void *data;             /* the frame data */
77         long ts;        /* the relative delivery time expected */
78         long ms;        /* the time covered by this frame, in sec/8000 */
79         int  type;      /* the type of frame */
80         struct jb_frame *next, *prev;
81 } jb_frame;
82
83 typedef struct jitterbuf {
84         jb_info info;
85
86         /* history */
87         long history[JB_HISTORY_SZ];            /* history */
88         int  hist_ptr;                          /* points to index in history for next entry */
89         long hist_maxbuf[JB_HISTORY_MAXBUF_SZ]; /* a sorted buffer of the max delays (highest first) */
90         long hist_minbuf[JB_HISTORY_MAXBUF_SZ]; /* a sorted buffer of the min delays (lowest first) */
91         int  hist_maxbuf_valid;                 /* are the "maxbuf"/minbuf valid? */
92
93
94         jb_frame *frames;               /* queued frames */
95         jb_frame *free;                 /* free frames (avoid malloc?) */
96 } jitterbuf;
97
98
99 /* new jitterbuf */
100 jitterbuf *             jb_new(void);
101
102 /* destroy jitterbuf */
103 void                    jb_destroy(jitterbuf *jb);
104
105 /* reset jitterbuf */
106 /* NOTE:  The jitterbuffer should be empty before you call this, otherwise
107  * you will leak queued frames, and some internal structures */
108 void                    jb_reset(jitterbuf *jb);
109
110 /* queue a frame data=frame data, timings (in ms): ms=length of frame (for voice), ts=ts (sender's time) 
111  * now=now (in receiver's time)*/
112 int                     jb_put(jitterbuf *jb, void *data, int type, long ms, long ts, long now);
113
114 /* get a frame for time now (receiver's time)  return value is one of
115  * JB_OK:  You've got frame!
116  * JB_DROP: Here's an audio frame you should just drop.  Ask me again for this time..
117  * JB_NOFRAME: There's no frame scheduled for this time.
118  * JB_INTERP: Please interpolate an audio frame for this time (either we need to grow, or there was a lost frame 
119  * JB_EMPTY: The jb is empty.
120  */
121 int                     jb_get(jitterbuf *jb, jb_frame *frame, long now);
122
123 /* unconditionally get frames from jitterbuf until empty */
124 int jb_getall(jitterbuf *jb, jb_frame *frameout);
125
126 /* when is the next frame due out, in receiver's time (0=EMPTY) 
127  * This value may change as frames are added (esp non-audio frames) */
128 long                    jb_next(jitterbuf *jb);
129
130 /* get jitterbuf info: only "statistics" may be valid */
131 int                     jb_getinfo(jitterbuf *jb, jb_info *stats);
132
133 /* set jitterbuf info: only "settings" may be honored */
134 int                     jb_setinfo(jitterbuf *jb, jb_info *settings);
135
136 typedef                 void (*jb_output_function_t)(const char *fmt, ...);
137 void                    jb_setoutput(jb_output_function_t warn, jb_output_function_t err, jb_output_function_t dbg);
138
139 #ifdef __cplusplus
140 }
141 #endif
142
143
144 #endif