Merged revisions 285530 via svnmerge from
[asterisk/asterisk.git] / include / asterisk / astobj2.h
1 /*
2  * astobj2 - replacement containers for asterisk data structures.
3  *
4  * Copyright (C) 2006 Marta Carbone, Luigi Rizzo - Univ. di Pisa, Italy
5  *
6  * See http://www.asterisk.org for more information about
7  * the Asterisk project. Please do not directly contact
8  * any of the maintainers of this project for assistance;
9  * the project provides a web site, mailing lists and IRC
10  * channels for your use.
11  *
12  * This program is free software, distributed under the terms of
13  * the GNU General Public License Version 2. See the LICENSE file
14  * at the top of the source tree.
15  */
16
17 #ifndef _ASTERISK_ASTOBJ2_H
18 #define _ASTERISK_ASTOBJ2_H
19
20 #include "asterisk/compat.h"
21 #include "asterisk/linkedlists.h"
22
23 /*! \file
24  * \ref AstObj2
25  *
26  * \page AstObj2 Object Model implementing objects and containers.
27
28 This module implements an abstraction for objects (with locks and
29 reference counts), and containers for these user-defined objects,
30 also supporting locking, reference counting and callbacks.
31
32 The internal implementation of objects and containers is opaque to the user,
33 so we can use different data structures as needs arise.
34
35 \section AstObj2_UsageObjects USAGE - OBJECTS
36
37 An ao2 object is a block of memory that the user code can access,
38 and for which the system keeps track (with a bit of help from the
39 programmer) of the number of references around.  When an object has
40 no more references (refcount == 0), it is destroyed, by first
41 invoking whatever 'destructor' function the programmer specifies
42 (it can be NULL if none is necessary), and then freeing the memory.
43 This way objects can be shared without worrying who is in charge
44 of freeing them.
45 As an additional feature, ao2 objects are associated to individual
46 locks.
47
48 Creating an object requires the size of the object and
49 and a pointer to the destructor function:
50
51     struct foo *o;
52
53     o = ao2_alloc(sizeof(struct foo), my_destructor_fn);
54
55 The value returned points to the user-visible portion of the objects
56 (user-data), but is also used as an identifier for all object-related
57 operations such as refcount and lock manipulations.
58
59 On return from ao2_alloc():
60
61  - the object has a refcount = 1;
62  - the memory for the object is allocated dynamically and zeroed;
63  - we cannot realloc() the object itself;
64  - we cannot call free(o) to dispose of the object. Rather, we
65    tell the system that we do not need the reference anymore:
66
67     ao2_ref(o, -1)
68
69   causing the destructor to be called (and then memory freed) when
70   the refcount goes to 0.
71
72 - ao2_ref(o, +1) can be used to modify the refcount on the
73   object in case we want to pass it around.
74
75 - ao2_lock(obj), ao2_unlock(obj), ao2_trylock(obj) can be used
76   to manipulate the lock associated with the object.
77
78
79 \section AstObj2_UsageContainers USAGE - CONTAINERS
80
81 An ao2 container is an abstract data structure where we can store
82 ao2 objects, search them (hopefully in an efficient way), and iterate
83 or apply a callback function to them. A container is just an ao2 object
84 itself.
85
86 A container must first be allocated, specifying the initial
87 parameters. At the moment, this is done as follows:
88
89     <b>Sample Usage:</b>
90     \code
91
92     struct ao2_container *c;
93
94     c = ao2_container_alloc(MAX_BUCKETS, my_hash_fn, my_cmp_fn);
95     \endcode
96
97 where
98
99 - MAX_BUCKETS is the number of buckets in the hash table,
100 - my_hash_fn() is the (user-supplied) function that returns a
101   hash key for the object (further reduced modulo MAX_BUCKETS
102   by the container's code);
103 - my_cmp_fn() is the default comparison function used when doing
104   searches on the container,
105
106 A container knows little or nothing about the objects it stores,
107 other than the fact that they have been created by ao2_alloc().
108 All knowledge of the (user-defined) internals of the objects
109 is left to the (user-supplied) functions passed as arguments
110 to ao2_container_alloc().
111
112 If we want to insert an object in a container, we should
113 initialize its fields -- especially, those used by my_hash_fn() --
114 to compute the bucket to use.
115 Once done, we can link an object to a container with
116
117     ao2_link(c, o);
118
119 The function returns NULL in case of errors (and the object
120 is not inserted in the container). Other values mean success
121 (we are not supposed to use the value as a pointer to anything).
122 Linking an object to a container increases its refcount by 1
123 automatically.
124
125 \note While an object o is in a container, we expect that
126 my_hash_fn(o) will always return the same value. The function
127 does not lock the object to be computed, so modifications of
128 those fields that affect the computation of the hash should
129 be done by extracting the object from the container, and
130 reinserting it after the change (this is not terribly expensive).
131
132 \note A container with a single buckets is effectively a linked
133 list. However there is no ordering among elements.
134
135 - \ref AstObj2_Containers
136 - \ref astobj2.h All documentation for functions and data structures
137
138  */
139
140 /*
141 \note DEBUGGING REF COUNTS BIBLE:
142 An interface to help debug refcounting is provided
143 in this package. It is dependent on the REF_DEBUG macro being
144 defined in a source file, before the #include of astobj2.h,
145 and in using variants of the normal ao2_xxxx functions
146 that are named ao2_t_xxxx instead, with an extra argument, a string,
147 that will be printed out into /tmp/refs when the refcount for an
148 object is changed.
149
150   these ao2_t_xxxx variants are provided:
151
152 ao2_t_alloc(arg1, arg2, arg3)
153 ao2_t_ref(arg1,arg2,arg3)
154 ao2_t_container_alloc(arg1,arg2,arg3,arg4)
155 ao2_t_link(arg1, arg2, arg3)
156 ao2_t_unlink(arg1, arg2, arg3)
157 ao2_t_callback(arg1,arg2,arg3,arg4,arg5)
158 ao2_t_find(arg1,arg2,arg3,arg4)
159 ao2_t_iterator_next(arg1, arg2)
160
161 If you study each argument list, you will see that these functions all have
162 one extra argument that their ao2_xxx counterpart. The last argument in
163 each case is supposed to be a string pointer, a "tag", that should contain
164 enough of an explanation, that you can pair operations that increment the
165 ref count, with operations that are meant to decrement the refcount.
166
167 Each of these calls will generate at least one line of output in /tmp/refs.
168 These lines look like this:
169 ...
170 0x8756f00 =1   chan_sip.c:22240:load_module (allocate users)
171 0x86e3408 =1   chan_sip.c:22241:load_module (allocate peers)
172 0x86dd380 =1   chan_sip.c:22242:load_module (allocate peers_by_ip)
173 0x822d020 =1   chan_sip.c:22243:load_module (allocate dialogs)
174 0x8930fd8 =1   chan_sip.c:20025:build_peer (allocate a peer struct)
175 0x8930fd8 +1   chan_sip.c:21467:reload_config (link peer into peer table) [@1]
176 0x8930fd8 -1   chan_sip.c:2370:unref_peer (unref_peer: from reload_config) [@2]
177 0x89318b0 =1   chan_sip.c:20025:build_peer (allocate a peer struct)
178 0x89318b0 +1   chan_sip.c:21467:reload_config (link peer into peer table) [@1]
179 0x89318b0 -1   chan_sip.c:2370:unref_peer (unref_peer: from reload_config) [@2]
180 0x8930218 =1   chan_sip.c:20025:build_peer (allocate a peer struct)
181 0x8930218 +1   chan_sip.c:21539:reload_config (link peer into peers table) [@1]
182 0x868c040 -1   chan_sip.c:2424:dialog_unlink_all (unset the relatedpeer->call field in tandem with relatedpeer field itself) [@2]
183 0x868c040 -1   chan_sip.c:2443:dialog_unlink_all (Let's unbump the count in the unlink so the poor pvt can disappear if it is time) [@1]
184 0x868c040 **call destructor** chan_sip.c:2443:dialog_unlink_all (Let's unbump the count in the unlink so the poor pvt can disappear if it is time)
185 0x8cc07e8 -1   chan_sip.c:2370:unref_peer (unsetting a dialog relatedpeer field in sip_destroy) [@3]
186 0x8cc07e8 +1   chan_sip.c:3876:find_peer (ao2_find in peers table) [@2]
187 0x8cc07e8 -1   chan_sip.c:2370:unref_peer (unref_peer, from sip_devicestate, release ref from find_peer) [@3]
188 ...
189
190 The first column is the object address.
191 The second column reflects how the operation affected the ref count
192     for that object. Creation sets the ref count to 1 (=1).
193     increment or decrement and amount are specified (-1/+1).
194 The remainder of the line specifies where in the file the call was made,
195     and the function name, and the tag supplied in the function call.
196
197 The **call destructor** is specified when the the destroy routine is
198 run for an object. It does not affect the ref count, but is important
199 in debugging, because it is possible to have the astobj2 system run it
200 multiple times on the same object, commonly fatal to asterisk.
201
202 Sometimes you have some helper functions to do object ref/unref
203 operations. Using these normally hides the place where these
204 functions were called. To get the location where these functions
205 were called to appear in /tmp/refs, you can do this sort of thing:
206
207 #ifdef REF_DEBUG
208 #define dialog_ref(arg1,arg2) dialog_ref_debug((arg1),(arg2), __FILE__, __LINE__, __PRETTY_FUNCTION__)
209 #define dialog_unref(arg1,arg2) dialog_unref_debug((arg1),(arg2), __FILE__, __LINE__, __PRETTY_FUNCTION__)
210 static struct sip_pvt *dialog_ref_debug(struct sip_pvt *p, char *tag, const char *file, int line, const char *func)
211 {
212         if (p)
213                 ao2_ref_debug(p, 1, tag, file, line, func);
214         else
215                 ast_log(LOG_ERROR, "Attempt to Ref a null pointer\n");
216         return p;
217 }
218
219 static struct sip_pvt *dialog_unref_debug(struct sip_pvt *p, char *tag, const char *file, int line, const char *func)
220 {
221         if (p)
222                 ao2_ref_debug(p, -1, tag, file, line, func);
223         return NULL;
224 }
225 #else
226 static struct sip_pvt *dialog_ref(struct sip_pvt *p, char *tag)
227 {
228         if (p)
229                 ao2_ref(p, 1);
230         else
231                 ast_log(LOG_ERROR, "Attempt to Ref a null pointer\n");
232         return p;
233 }
234
235 static struct sip_pvt *dialog_unref(struct sip_pvt *p, char *tag)
236 {
237         if (p)
238                 ao2_ref(p, -1);
239         return NULL;
240 }
241 #endif
242
243 In the above code, note that the "normal" helper funcs call ao2_ref() as
244 normal, and the "helper" functions call ao2_ref_debug directly with the
245 file, function, and line number info provided. You might find this
246 well worth the effort to help track these function calls in the code.
247
248 To find out why objects are not destroyed (a common bug), you can
249 edit the source file to use the ao2_t_* variants, add the #define REF_DEBUG 1
250 before the #include "asterisk/astobj2.h" line, and add a descriptive
251 tag to each call. Recompile, and run Asterisk, exit asterisk with
252 "stop gracefully", which should result in every object being destroyed.
253 Then, you can "sort -k 1 /tmp/refs > x1" to get a sorted list of
254 all the objects, or you can use "util/refcounter" to scan the file
255 for you and output any problems it finds.
256
257 The above may seem astronomically more work than it is worth to debug
258 reference counts, which may be true in "simple" situations, but for
259 more complex situations, it is easily worth 100 times this effort to
260 help find problems.
261
262 To debug, pair all calls so that each call that increments the
263 refcount is paired with a corresponding call that decrements the
264 count for the same reason. Hopefully, you will be left with one
265 or more unpaired calls. This is where you start your search!
266
267 For instance, here is an example of this for a dialog object in
268 chan_sip, that was not getting destroyed, after I moved the lines around
269 to pair operations:
270
271    0x83787a0 =1   chan_sip.c:5733:sip_alloc (allocate a dialog(pvt) struct)
272    0x83787a0 -1   chan_sip.c:19173:sip_poke_peer (unref dialog at end of sip_poke_peer, obtained from sip_alloc, just before it goes out of scope) [@4]
273
274    0x83787a0 +1   chan_sip.c:5854:sip_alloc (link pvt into dialogs table) [@1]
275    0x83787a0 -1   chan_sip.c:19150:sip_poke_peer (About to change the callid -- remove the old name) [@3]
276    0x83787a0 +1   chan_sip.c:19152:sip_poke_peer (Linking in under new name) [@2]
277    0x83787a0 -1   chan_sip.c:2399:dialog_unlink_all (unlinking dialog via ao2_unlink) [@5]
278
279    0x83787a0 +1   chan_sip.c:19130:sip_poke_peer (copy sip alloc from p to peer->call) [@2]
280
281
282    0x83787a0 +1   chan_sip.c:2996:__sip_reliable_xmit (__sip_reliable_xmit: setting pkt->owner) [@3]
283    0x83787a0 -1   chan_sip.c:2425:dialog_unlink_all (remove all current packets in this dialog, and the pointer to the dialog too as part of __sip_destroy) [@4]
284
285    0x83787a0 +1   chan_sip.c:22356:unload_module (iterate thru dialogs) [@4]
286    0x83787a0 -1   chan_sip.c:22359:unload_module (toss dialog ptr from iterator_next) [@5]
287
288
289    0x83787a0 +1   chan_sip.c:22373:unload_module (iterate thru dialogs) [@3]
290    0x83787a0 -1   chan_sip.c:22375:unload_module (throw away iterator result) [@2]
291
292    0x83787a0 +1   chan_sip.c:2397:dialog_unlink_all (Let's bump the count in the unlink so it doesn't accidentally become dead before we are done) [@4]
293    0x83787a0 -1   chan_sip.c:2436:dialog_unlink_all (Let's unbump the count in the unlink so the poor pvt can disappear if it is time) [@3]
294
295 As you can see, only one unbalanced operation is in the list, a ref count increment when
296 the peer->call was set, but no corresponding decrement was made...
297
298 Hopefully this helps you narrow your search and find those bugs.
299
300 THE ART OF REFERENCE COUNTING
301 (by Steve Murphy)
302 SOME TIPS for complicated code, and ref counting:
303
304 1. Theoretically, passing a refcounted object pointer into a function
305 call is an act of copying the reference, and could be refcounted.
306 But, upon examination, this sort of refcounting will explode the amount
307 of code you have to enter, and for no tangible benefit, beyond
308 creating more possible failure points/bugs. It will even
309 complicate your code and make debugging harder, slow down your program
310 doing useless increments and decrements of the ref counts.
311
312 2. It is better to track places where a ref counted pointer
313 is copied into a structure or stored. Make sure to decrement the refcount
314 of any previous pointer that might have been there, if setting
315 this field might erase a previous pointer. ao2_find and iterate_next
316 internally increment the ref count when they return a pointer, so
317 you need to decrement the count before the pointer goes out of scope.
318
319 3. Any time you decrement a ref count, it may be possible that the
320 object will be destroyed (freed) immediately by that call. If you
321 are destroying a series of fields in a refcounted object, and
322 any of the unref calls might possibly result in immediate destruction,
323 you can first increment the count to prevent such behavior, then
324 after the last test, decrement the pointer to allow the object
325 to be destroyed, if the refcount would be zero.
326
327 Example:
328
329         dialog_ref(dialog, "Let's bump the count in the unlink so it doesn't accidentally become dead before we are done");
330
331         ao2_t_unlink(dialogs, dialog, "unlinking dialog via ao2_unlink");
332
333         *//* Unlink us from the owner (channel) if we have one *//*
334         if (dialog->owner) {
335                 if (lockowner)
336                         ast_channel_lock(dialog->owner);
337                 ast_debug(1, "Detaching from channel %s\n", dialog->owner->name);
338                 dialog->owner->tech_pvt = dialog_unref(dialog->owner->tech_pvt, "resetting channel dialog ptr in unlink_all");
339                 if (lockowner)
340                         ast_channel_unlock(dialog->owner);
341         }
342         if (dialog->registry) {
343                 if (dialog->registry->call == dialog)
344                         dialog->registry->call = dialog_unref(dialog->registry->call, "nulling out the registry's call dialog field in unlink_all");
345                 dialog->registry = registry_unref(dialog->registry, "delete dialog->registry");
346         }
347     ...
348         dialog_unref(dialog, "Let's unbump the count in the unlink so the poor pvt can disappear if it is time");
349
350 In the above code, the ao2_t_unlink could end up destroying the dialog
351 object; if this happens, then the subsequent usages of the dialog
352 pointer could result in a core dump. So, we 'bump' the
353 count upwards before beginning, and then decrementing the count when
354 we are finished. This is analogous to 'locking' or 'protecting' operations
355 for a short while.
356
357 4. One of the most insidious problems I've run into when converting
358 code to do ref counted automatic destruction, is in the destruction
359 routines. Where a "destroy" routine had previously been called to
360 get rid of an object in non-refcounted code, the new regime demands
361 that you tear that "destroy" routine into two pieces, one that will
362 tear down the links and 'unref' them, and the other to actually free
363 and reset fields. A destroy routine that does any reference deletion
364 for its own object, will never be called. Another insidious problem
365 occurs in mutually referenced structures. As an example, a dialog contains
366 a pointer to a peer, and a peer contains a pointer to a dialog. Watch
367 out that the destruction of one doesn't depend on the destruction of the
368 other, as in this case a dependency loop will result in neither being
369 destroyed!
370
371 Given the above, you should be ready to do a good job!
372
373 murf
374
375 */
376
377
378
379 /*! \brief
380  * Typedef for an object destructor. This is called just before freeing
381  * the memory for the object. It is passed a pointer to the user-defined
382  * data of the object.
383  */
384 typedef void (*ao2_destructor_fn)(void *);
385
386
387 /*! \brief
388  * Allocate and initialize an object.
389  *
390  * \param data_size The sizeof() of the user-defined structure.
391  * \param destructor_fn The destructor function (can be NULL)
392  * \param debug_msg
393  * \return A pointer to user-data.
394  *
395  * Allocates a struct astobj2 with sufficient space for the
396  * user-defined structure.
397  * \note
398  * - storage is zeroed; XXX maybe we want a flag to enable/disable this.
399  * - the refcount of the object just created is 1
400  * - the returned pointer cannot be free()'d or realloc()'ed;
401  *   rather, we just call ao2_ref(o, -1);
402  *
403  * @{
404  */
405
406 #if defined(REF_DEBUG)
407
408 #define ao2_t_alloc(data_size, destructor_fn, debug_msg) __ao2_alloc_debug((data_size), (destructor_fn), (debug_msg),  __FILE__, __LINE__, __PRETTY_FUNCTION__, 1)
409 #define ao2_alloc(data_size, destructor_fn)              __ao2_alloc_debug((data_size), (destructor_fn), "",  __FILE__, __LINE__, __PRETTY_FUNCTION__, 1)
410
411 #elif defined(__AST_DEBUG_MALLOC)
412
413 #define ao2_t_alloc(data_size, destructor_fn, debug_msg) __ao2_alloc_debug((data_size), (destructor_fn), (debug_msg),  __FILE__, __LINE__, __PRETTY_FUNCTION__, 0)
414 #define ao2_alloc(data_size, destructor_fn)              __ao2_alloc_debug((data_size), (destructor_fn), "",  __FILE__, __LINE__, __PRETTY_FUNCTION__, 0)
415
416 #else
417
418 #define ao2_t_alloc(data_size, destructor_fn, debug_msg) __ao2_alloc((data_size), (destructor_fn))
419 #define ao2_alloc(data_size, destructor_fn)              __ao2_alloc((data_size), (destructor_fn))
420
421 #endif
422
423 void *__ao2_alloc_debug(const size_t data_size, ao2_destructor_fn destructor_fn, char *tag,
424                         const char *file, int line, const char *funcname, int ref_debug);
425 void *__ao2_alloc(const size_t data_size, ao2_destructor_fn destructor_fn);
426
427 /*! @} */
428
429 /*! \brief
430  * Reference/unreference an object and return the old refcount.
431  *
432  * \param o A pointer to the object
433  * \param delta Value to add to the reference counter.
434  * \param tag used for debugging
435  * \return The value of the reference counter before the operation.
436  *
437  * Increase/decrease the reference counter according
438  * the value of delta.
439  *
440  * If the refcount goes to zero, the object is destroyed.
441  *
442  * \note The object must not be locked by the caller of this function, as
443  *       it is invalid to try to unlock it after releasing the reference.
444  *
445  * \note if we know the pointer to an object, it is because we
446  * have a reference count to it, so the only case when the object
447  * can go away is when we release our reference, and it is
448  * the last one in existence.
449  *
450  * @{
451  */
452
453 #ifdef REF_DEBUG
454
455 #define ao2_t_ref(o,delta,tag) __ao2_ref_debug((o), (delta), (tag),  __FILE__, __LINE__, __PRETTY_FUNCTION__)
456 #define ao2_ref(o,delta)       __ao2_ref_debug((o), (delta), "",  __FILE__, __LINE__, __PRETTY_FUNCTION__)
457
458 #else
459
460 #define ao2_t_ref(o,delta,tag) __ao2_ref((o), (delta))
461 #define ao2_ref(o,delta)       __ao2_ref((o), (delta))
462
463 #endif
464
465 int __ao2_ref_debug(void *o, int delta, char *tag, char *file, int line, const char *funcname);
466 int __ao2_ref(void *o, int delta);
467
468 /*! @} */
469
470 /*! \brief
471  * Lock an object.
472  *
473  * \param a A pointer to the object we want to lock.
474  * \return 0 on success, other values on error.
475  */
476 int __ao2_lock(void *a, const char *file, const char *func, int line, const char *var);
477 #define ao2_lock(a) __ao2_lock(a, __FILE__, __PRETTY_FUNCTION__, __LINE__, #a)
478
479 /*! \brief
480  * Unlock an object.
481  *
482  * \param a A pointer to the object we want unlock.
483  * \return 0 on success, other values on error.
484  */
485 int __ao2_unlock(void *a, const char *file, const char *func, int line, const char *var);
486 #define ao2_unlock(a) __ao2_unlock(a, __FILE__, __PRETTY_FUNCTION__, __LINE__, #a)
487
488 /*! \brief
489  * Try locking-- (don't block if fail)
490  *
491  * \param a A pointer to the object we want to lock.
492  * \return 0 on success, other values on error.
493  */
494 int __ao2_trylock(void *a, const char *file, const char *func, int line, const char *var);
495 #define ao2_trylock(a) __ao2_trylock(a, __FILE__, __PRETTY_FUNCTION__, __LINE__, #a)
496
497 /*!
498  * \brief Return the lock address of an object
499  *
500  * \param[in] obj A pointer to the object we want.
501  * \return the address of the lock, else NULL.
502  *
503  * This function comes in handy mainly for debugging locking
504  * situations, where the locking trace code reports the
505  * lock address, this allows you to correlate against
506  * object address, to match objects to reported locks.
507  *
508  * \since 1.6.1
509  */
510 void *ao2_object_get_lockaddr(void *obj);
511
512 /*!
513  \page AstObj2_Containers AstObj2 Containers
514
515 Containers are data structures meant to store several objects,
516 and perform various operations on them.
517 Internally, objects are stored in lists, hash tables or other
518 data structures depending on the needs.
519
520 \note NOTA BENE: at the moment the only container we support is the
521         hash table and its degenerate form, the list.
522
523 Operations on container include:
524
525   -  c = \b ao2_container_alloc(size, hash_fn, cmp_fn)
526         allocate a container with desired size and default compare
527         and hash function
528          -The compare function returns an int, which
529          can be 0 for not found, CMP_STOP to stop end a traversal,
530          or CMP_MATCH if they are equal
531          -The hash function returns an int. The hash function
532          takes two argument, the object pointer and a flags field,
533
534   -  \b ao2_find(c, arg, flags)
535         returns zero or more element matching a given criteria
536         (specified as arg). 'c' is the container pointer. Flags
537     can be:
538         OBJ_UNLINK - to remove the object, once found, from the container.
539         OBJ_NODATA - don't return the object if found (no ref count change)
540         OBJ_MULTIPLE - don't stop at first match
541         OBJ_POINTER     - if set, 'arg' is an object pointer, and a hashtable
542                   search will be done. If not, a traversal is done.
543
544   -  \b ao2_callback(c, flags, fn, arg)
545         apply fn(obj, arg) to all objects in the container.
546         Similar to find. fn() can tell when to stop, and
547         do anything with the object including unlinking it.
548           - c is the container;
549       - flags can be
550              OBJ_UNLINK   - to remove the object, once found, from the container.
551              OBJ_NODATA   - don't return the object if found (no ref count change)
552              OBJ_MULTIPLE - don't stop at first match
553              OBJ_POINTER  - if set, 'arg' is an object pointer, and a hashtable
554                         search will be done. If not, a traversal is done through
555                         all the hashtable 'buckets'..
556       - fn is a func that returns int, and takes 3 args:
557         (void *obj, void *arg, int flags);
558           obj is an object
559           arg is the same as arg passed into ao2_callback
560           flags is the same as flags passed into ao2_callback
561          fn returns:
562            0: no match, keep going
563            CMP_STOP: stop search, no match
564            CMP_MATCH: This object is matched.
565
566         Note that the entire operation is run with the container
567         locked, so noone else can change its content while we work on it.
568         However, we pay this with the fact that doing
569         anything blocking in the callback keeps the container
570         blocked.
571         The mechanism is very flexible because the callback function fn()
572         can do basically anything e.g. counting, deleting records, etc.
573         possibly using arg to store the results.
574
575   -  \b iterate on a container
576         this is done with the following sequence
577
578 \code
579
580             struct ao2_container *c = ... // our container
581             struct ao2_iterator i;
582             void *o;
583
584             i = ao2_iterator_init(c, flags);
585
586             while ((o = ao2_iterator_next(&i))) {
587                 ... do something on o ...
588                 ao2_ref(o, -1);
589             }
590
591             ao2_iterator_destroy(&i);
592 \endcode
593
594         The difference with the callback is that the control
595         on how to iterate is left to us.
596
597     - \b ao2_ref(c, -1)
598         dropping a reference to a container destroys it, very simple!
599
600 Containers are ao2 objects themselves, and this is why their
601 implementation is simple too.
602
603 Before declaring containers, we need to declare the types of the
604 arguments passed to the constructor - in turn, this requires
605 to define callback and hash functions and their arguments.
606
607 - \ref AstObj2
608 - \ref astobj2.h
609  */
610
611 /*! \brief
612  * Type of a generic callback function
613  * \param obj  pointer to the (user-defined part) of an object.
614  * \param arg callback argument from ao2_callback()
615  * \param flags flags from ao2_callback()
616  *
617  * The return values are a combination of enum _cb_results.
618  * Callback functions are used to search or manipulate objects in a container.
619  */
620 typedef int (ao2_callback_fn)(void *obj, void *arg, int flags);
621
622 /*! \brief
623  * Type of a generic callback function
624  * \param obj pointer to the (user-defined part) of an object.
625  * \param arg callback argument from ao2_callback()
626  * \param data arbitrary data from ao2_callback()
627  * \param flags flags from ao2_callback()
628  *
629  * The return values are a combination of enum _cb_results.
630  * Callback functions are used to search or manipulate objects in a container.
631  */
632 typedef int (ao2_callback_data_fn)(void *obj, void *arg, void *data, int flags);
633
634 /*! \brief a very common callback is one that matches by address. */
635 ao2_callback_fn ao2_match_by_addr;
636
637 /*! \brief
638  * A callback function will return a combination of CMP_MATCH and CMP_STOP.
639  * The latter will terminate the search in a container.
640  */
641 enum _cb_results {
642         CMP_MATCH       = 0x1,  /*!< the object matches the request */
643         CMP_STOP        = 0x2,  /*!< stop the search now */
644 };
645
646 /*! \brief
647  * Flags passed to ao2_callback() and ao2_hash_fn() to modify its behaviour.
648  */
649 enum search_flags {
650         /*! Unlink the object for which the callback function
651          *  returned CMP_MATCH.
652          */
653         OBJ_UNLINK       = (1 << 0),
654         /*! On match, don't return the object hence do not increase
655          *  its refcount.
656          */
657         OBJ_NODATA       = (1 << 1),
658         /*! Don't stop at the first match in ao2_callback() unless the result of
659          *  of the callback function == (CMP_STOP | CMP_MATCH).
660          */
661         OBJ_MULTIPLE = (1 << 2),
662         /*! obj is an object of the same type as the one being searched for,
663          *  so use the object's hash function for optimized searching.
664          *  The search function is unaffected (i.e. use the one passed as
665          *  argument, or match_by_addr if none specified).
666          */
667         OBJ_POINTER      = (1 << 3),
668         /*! 
669          * \brief Continue if a match is not found in the hashed out bucket
670          *
671          * This flag is to be used in combination with OBJ_POINTER.  This tells
672          * the ao2_callback() core to keep searching through the rest of the
673          * buckets if a match is not found in the starting bucket defined by
674          * the hash value on the argument.
675          */
676         OBJ_CONTINUE     = (1 << 4),
677 };
678
679 /*!
680  * Type of a generic function to generate a hash value from an object.
681  * flags is ignored at the moment. Eventually, it will include the
682  * value of OBJ_POINTER passed to ao2_callback().
683  */
684 typedef int (ao2_hash_fn)(const void *obj, const int flags);
685
686 /*! \name Object Containers
687  * Here start declarations of containers.
688  */
689 /*@{ */
690 struct ao2_container;
691
692 /*! \brief
693  * Allocate and initialize a container
694  * with the desired number of buckets.
695  *
696  * We allocate space for a struct astobj_container, struct container
697  * and the buckets[] array.
698  *
699  * \param arg1 Number of buckets for hash
700  * \param arg2 Pointer to a function computing a hash value.
701  * \param arg3 Pointer to a function comparating key-value
702  *                      with a string. (can be NULL)
703  * \param arg4
704  *
705  * \return A pointer to a struct container.
706  *
707  * \note Destructor is set implicitly.
708  */
709
710 #if defined(REF_DEBUG)
711
712 #define ao2_t_container_alloc(arg1,arg2,arg3,arg4) __ao2_container_alloc_debug((arg1), (arg2), (arg3), (arg4),  __FILE__, __LINE__, __PRETTY_FUNCTION__, 1)
713 #define ao2_container_alloc(arg1,arg2,arg3)        __ao2_container_alloc_debug((arg1), (arg2), (arg3), "",  __FILE__, __LINE__, __PRETTY_FUNCTION__, 1)
714
715 #elif defined(__AST_DEBUG_MALLOC)
716
717 #define ao2_t_container_alloc(arg1,arg2,arg3,arg4) __ao2_container_alloc_debug((arg1), (arg2), (arg3), (arg4),  __FILE__, __LINE__, __PRETTY_FUNCTION__, 0)
718 #define ao2_container_alloc(arg1,arg2,arg3)        __ao2_container_alloc_debug((arg1), (arg2), (arg3), "",  __FILE__, __LINE__, __PRETTY_FUNCTION__, 0)
719
720 #else
721
722 #define ao2_t_container_alloc(arg1,arg2,arg3,arg4) __ao2_container_alloc((arg1), (arg2), (arg3))
723 #define ao2_container_alloc(arg1,arg2,arg3)        __ao2_container_alloc((arg1), (arg2), (arg3))
724
725 #endif
726
727 struct ao2_container *__ao2_container_alloc(const unsigned int n_buckets,
728                                             ao2_hash_fn *hash_fn, ao2_callback_fn *cmp_fn);
729 struct ao2_container *__ao2_container_alloc_debug(const unsigned int n_buckets,
730                                                   ao2_hash_fn *hash_fn, ao2_callback_fn *cmp_fn,
731                                                   char *tag, char *file, int line, const char *funcname,
732                                                   int ref_debug);
733
734 /*! \brief
735  * Returns the number of elements in a container.
736  */
737 int ao2_container_count(struct ao2_container *c);
738
739 /*@} */
740
741 /*! \name Object Management
742  * Here we have functions to manage objects.
743  *
744  * We can use the functions below on any kind of
745  * object defined by the user.
746  */
747 /*@{ */
748
749 /*!
750  * \brief Add an object to a container.
751  *
752  * \param arg1 the container to operate on.
753  * \param arg2 the object to be added.
754  * \param arg3 used for debuging.
755  *
756  * \retval NULL on errors.
757  * \retval newobj on success.
758  *
759  * This function inserts an object in a container according its key.
760  *
761  * \note Remember to set the key before calling this function.
762  *
763  * \note This function automatically increases the reference count to account
764  *       for the reference that the container now holds to the object.
765  */
766 #ifdef REF_DEBUG
767
768 #define ao2_t_link(arg1, arg2, arg3) __ao2_link_debug((arg1), (arg2), (arg3),  __FILE__, __LINE__, __PRETTY_FUNCTION__)
769 #define ao2_link(arg1, arg2)         __ao2_link_debug((arg1), (arg2), "",  __FILE__, __LINE__, __PRETTY_FUNCTION__)
770
771 #else
772
773 #define ao2_t_link(arg1, arg2, arg3) __ao2_link((arg1), (arg2))
774 #define ao2_link(arg1, arg2)         __ao2_link((arg1), (arg2))
775
776 #endif
777
778 void *__ao2_link_debug(struct ao2_container *c, void *new_obj, char *tag, char *file, int line, const char *funcname);
779 void *__ao2_link(struct ao2_container *c, void *newobj);
780
781 /*!
782  * \brief Remove an object from a container
783  *
784  * \param arg1 the container
785  * \param arg2 the object to unlink
786  * \param arg3 tag for debugging
787  *
788  * \retval NULL, always
789  *
790  * \note The object requested to be unlinked must be valid.  However, if it turns
791  *       out that it is not in the container, this function is still safe to
792  *       be called.
793  *
794  * \note If the object gets unlinked from the container, the container's
795  *       reference to the object will be automatically released. (The
796  *       refcount will be decremented).
797  */
798 #ifdef REF_DEBUG
799
800 #define ao2_t_unlink(arg1, arg2, arg3) __ao2_unlink_debug((arg1), (arg2), (arg3),  __FILE__, __LINE__, __PRETTY_FUNCTION__)
801 #define ao2_unlink(arg1, arg2)         __ao2_unlink_debug((arg1), (arg2), "",  __FILE__, __LINE__, __PRETTY_FUNCTION__)
802
803 #else
804
805 #define ao2_t_unlink(arg1, arg2, arg3) __ao2_unlink((arg1), (arg2))
806 #define ao2_unlink(arg1, arg2)         __ao2_unlink((arg1), (arg2))
807
808 #endif
809
810 void *__ao2_unlink_debug(struct ao2_container *c, void *obj, char *tag, char *file, int line, const char *funcname);
811 void *__ao2_unlink(struct ao2_container *c, void *obj);
812
813
814 /*@} */
815
816 /*! \brief
817  * ao2_callback() is a generic function that applies cb_fn() to all objects
818  * in a container, as described below.
819  *
820  * \param c A pointer to the container to operate on.
821  * \param flags A set of flags specifying the operation to perform,
822         partially used by the container code, but also passed to
823         the callback.
824      - If OBJ_NODATA is set, ao2_callback will return NULL. No refcounts
825        of any of the traversed objects will be incremented.
826        On the converse, if it is NOT set (the default), The ref count
827        of each object for which CMP_MATCH was set will be incremented,
828        and you will have no way of knowing which those are, until
829        the multiple-object-return functionality is implemented.
830      - If OBJ_POINTER is set, the traversed items will be restricted
831        to the objects in the bucket that the object key hashes to.
832  * \param cb_fn A function pointer, that will be called on all
833     objects, to see if they match. This function returns CMP_MATCH
834     if the object is matches the criteria; CMP_STOP if the traversal
835     should immediately stop, or both (via bitwise ORing), if you find a
836     match and want to end the traversal, and 0 if the object is not a match,
837     but the traversal should continue. This is the function that is applied
838     to each object traversed. Its arguments are:
839         (void *obj, void *arg, int flags), where:
840           obj is an object
841           arg is the same as arg passed into ao2_callback
842           flags is the same as flags passed into ao2_callback (flags are
843            also used by ao2_callback).
844  * \param arg passed to the callback.
845  * \param tag used for debuging.
846  * \return when OBJ_MULTIPLE is not included in the flags parameter,
847  *         the return value will be either the object found or NULL if no
848  *         no matching object was found. if OBJ_MULTIPLE is included,
849  *         the return value will be a pointer to an ao2_iterator object,
850  *         which must be destroyed with ao2_iterator_destroy() when the
851  *         caller no longer needs it.
852  *
853  * If the function returns any objects, their refcount is incremented,
854  * and the caller is in charge of decrementing them once done.
855  *
856  * Typically, ao2_callback() is used for two purposes:
857  * - to perform some action (including removal from the container) on one
858  *   or more objects; in this case, cb_fn() can modify the object itself,
859  *   and to perform deletion should set CMP_MATCH on the matching objects,
860  *   and have OBJ_UNLINK set in flags.
861  * - to look for a specific object in a container; in this case, cb_fn()
862  *   should not modify the object, but just return a combination of
863  *   CMP_MATCH and CMP_STOP on the desired object.
864  * Other usages are also possible, of course.
865
866  * This function searches through a container and performs operations
867  * on objects according on flags passed.
868  * XXX describe better
869  * The comparison is done calling the compare function set implicitly.
870  * The p pointer can be a pointer to an object or to a key,
871  * we can say this looking at flags value.
872  * If p points to an object we will search for the object pointed
873  * by this value, otherwise we serch for a key value.
874  * If the key is not unique we only find the first matching valued.
875  *
876  * The use of flags argument is the follow:
877  *
878  *      OBJ_UNLINK              unlinks the object found
879  *      OBJ_NODATA              on match, do return an object
880  *                              Callbacks use OBJ_NODATA as a default
881  *                              functions such as find() do
882  *      OBJ_MULTIPLE            return multiple matches
883  *                              Default is no.
884  *      OBJ_POINTER             the pointer is an object pointer
885  *
886  * \note When the returned object is no longer in use, ao2_ref() should
887  * be used to free the additional reference possibly created by this function.
888  *
889  * @{
890  */
891 #ifdef REF_DEBUG
892
893 #define ao2_t_callback(c,flags,cb_fn,arg,tag) __ao2_callback_debug((c), (flags), (cb_fn), (arg), (tag), __FILE__, __LINE__, __PRETTY_FUNCTION__)
894 #define ao2_callback(c,flags,cb_fn,arg)       __ao2_callback_debug((c), (flags), (cb_fn), (arg), "", __FILE__, __LINE__, __PRETTY_FUNCTION__)
895
896 #else
897
898 #define ao2_t_callback(c,flags,cb_fn,arg,tag) __ao2_callback((c), (flags), (cb_fn), (arg))
899 #define ao2_callback(c,flags,cb_fn,arg)       __ao2_callback((c), (flags), (cb_fn), (arg))
900
901 #endif
902
903 void *__ao2_callback_debug(struct ao2_container *c, enum search_flags flags, ao2_callback_fn *cb_fn,
904                            void *arg, char *tag, char *file, int line, const char *funcname);
905 void *__ao2_callback(struct ao2_container *c, enum search_flags flags, ao2_callback_fn *cb_fn, void *arg);
906
907 /*! @} */
908
909 /*! \brief
910  * ao2_callback_data() is a generic function that applies cb_fn() to all objects
911  * in a container.  It is functionally identical to ao2_callback() except that
912  * instead of taking an ao2_callback_fn *, it takes an ao2_callback_data_fn *, and
913  * allows the caller to pass in arbitrary data.
914  *
915  * This call would be used instead of ao2_callback() when the caller needs to pass
916  * OBJ_POINTER as part of the flags argument (which in turn requires passing in a
917  * prototype ao2 object for 'arg') and also needs access to other non-global data
918  * to complete it's comparison or task.
919  *
920  * See the documentation for ao2_callback() for argument descriptions.
921  *
922  * \see ao2_callback()
923  */
924 #ifdef REF_DEBUG
925
926 #define ao2_t_callback_data(arg1,arg2,arg3,arg4,arg5,arg6) __ao2_callback_data_debug((arg1), (arg2), (arg3), (arg4), (arg5), (arg6), __FILE__, __LINE__, __PRETTY_FUNCTION__)
927 #define ao2_callback_data(arg1,arg2,arg3,arg4,arg5)        __ao2_callback_data_debug((arg1), (arg2), (arg3), (arg4), (arg5), "", __FILE__, __LINE__, __PRETTY_FUNCTION__)
928
929 #else
930
931 #define ao2_t_callback_data(arg1,arg2,arg3,arg4,arg5,arg6) __ao2_callback_data((arg1), (arg2), (arg3), (arg4), (arg5))
932 #define ao2_callback_data(arg1,arg2,arg3,arg4,arg5)        __ao2_callback_data((arg1), (arg2), (arg3), (arg4), (arg5))
933
934 #endif
935
936 void *__ao2_callback_data_debug(struct ao2_container *c, enum search_flags flags,
937                                 ao2_callback_data_fn *cb_fn, void *arg, void *data, char *tag,
938                                 char *file, int line, const char *funcname);
939 void *__ao2_callback_data(struct ao2_container *c, enum search_flags flags,
940                           ao2_callback_data_fn *cb_fn, void *arg, void *data);
941
942 /*! ao2_find() is a short hand for ao2_callback(c, flags, c->cmp_fn, arg)
943  * XXX possibly change order of arguments ?
944  */
945 #ifdef REF_DEBUG
946
947 #define ao2_t_find(arg1,arg2,arg3,arg4) __ao2_find_debug((arg1), (arg2), (arg3), (arg4), __FILE__, __LINE__, __PRETTY_FUNCTION__)
948 #define ao2_find(arg1,arg2,arg3)        __ao2_find_debug((arg1), (arg2), (arg3), "", __FILE__, __LINE__, __PRETTY_FUNCTION__)
949
950 #else
951
952 #define ao2_t_find(arg1,arg2,arg3,arg4) __ao2_find((arg1), (arg2), (arg3))
953 #define ao2_find(arg1,arg2,arg3)        __ao2_find((arg1), (arg2), (arg3))
954
955 #endif
956
957 void *__ao2_find_debug(struct ao2_container *c, void *arg, enum search_flags flags, char *tag,
958                        char *file, int line, const char *funcname);
959 void *__ao2_find(struct ao2_container *c, void *arg, enum search_flags flags);
960
961 /*! \brief
962  *
963  *
964  * When we need to walk through a container, we use an
965  * ao2_iterator to keep track of the current position.
966  *
967  * Because the navigation is typically done without holding the
968  * lock on the container across the loop, objects can be inserted or deleted
969  * or moved while we work. As a consequence, there is no guarantee that
970  * we manage to touch all the elements in the container, and it is possible
971  * that we touch the same object multiple times.
972  *
973  * However, within the current hash table container, the following is true:
974  *  - It is not possible to miss an object in the container while iterating
975  *    unless it gets added after the iteration begins and is added to a bucket
976  *    that is before the one the current object is in.  In this case, even if
977  *    you locked the container around the entire iteration loop, you still would
978  *    not see this object, because it would still be waiting on the container
979  *    lock so that it can be added.
980  *  - It would be extremely rare to see an object twice.  The only way this can
981  *    happen is if an object got unlinked from the container and added again
982  *    during the same iteration.  Furthermore, when the object gets added back,
983  *    it has to be in the current or later bucket for it to be seen again.
984  *
985  * An iterator must be first initialized with ao2_iterator_init(),
986  * then we can use o = ao2_iterator_next() to move from one
987  * element to the next. Remember that the object returned by
988  * ao2_iterator_next() has its refcount incremented,
989  * and the reference must be explicitly released when done with it.
990  *
991  * In addition, ao2_iterator_init() will hold a reference to the container
992  * being iterated, which will be freed when ao2_iterator_destroy() is called
993  * to free up the resources used by the iterator (if any).
994  *
995  * Example:
996  *
997  *  \code
998  *
999  *  struct ao2_container *c = ... // the container we want to iterate on
1000  *  struct ao2_iterator i;
1001  *  struct my_obj *o;
1002  *
1003  *  i = ao2_iterator_init(c, flags);
1004  *
1005  *  while ((o = ao2_iterator_next(&i))) {
1006  *     ... do something on o ...
1007  *     ao2_ref(o, -1);
1008  *  }
1009  *
1010  *  ao2_iterator_destroy(&i);
1011  *
1012  *  \endcode
1013  *
1014  */
1015
1016 /*! \brief
1017  * The astobj2 iterator
1018  *
1019  * \note You are not supposed to know the internals of an iterator!
1020  * We would like the iterator to be opaque, unfortunately
1021  * its size needs to be known if we want to store it around
1022  * without too much trouble.
1023  * Anyways...
1024  * The iterator has a pointer to the container, and a flags
1025  * field specifying various things e.g. whether the container
1026  * should be locked or not while navigating on it.
1027  * The iterator "points" to the current object, which is identified
1028  * by three values:
1029  *
1030  * - a bucket number;
1031  * - the object_id, which is also the container version number
1032  *   when the object was inserted. This identifies the object
1033  *   uniquely, however reaching the desired object requires
1034  *   scanning a list.
1035  * - a pointer, and a container version when we saved the pointer.
1036  *   If the container has not changed its version number, then we
1037  *   can safely follow the pointer to reach the object in constant time.
1038  *
1039  * Details are in the implementation of ao2_iterator_next()
1040  * A freshly-initialized iterator has bucket=0, version=0.
1041  */
1042 struct ao2_iterator {
1043         /*! the container */
1044         struct ao2_container *c;
1045         /*! operation flags */
1046         int flags;
1047         /*! current bucket */
1048         int bucket;
1049         /*! container version */
1050         unsigned int c_version;
1051         /*! pointer to the current object */
1052         void *obj;
1053         /*! container version when the object was created */
1054         unsigned int version;
1055 };
1056
1057 /*! Flags that can be passed to ao2_iterator_init() to modify the behavior
1058  * of the iterator.
1059  */
1060 enum ao2_iterator_flags {
1061         /*! Prevents ao2_iterator_next() from locking the container
1062          * while retrieving the next object from it.
1063          */
1064         AO2_ITERATOR_DONTLOCK = (1 << 0),
1065         /*! Indicates that the iterator was dynamically allocated by
1066          * astobj2 API and should be freed by ao2_iterator_destroy().
1067          */
1068         AO2_ITERATOR_MALLOCD = (1 << 1),
1069         /*! Indicates that before the iterator returns an object from
1070          * the container being iterated, the object should be unlinked
1071          * from the container.
1072          */
1073         AO2_ITERATOR_UNLINK = (1 << 2),
1074 };
1075
1076 /*!
1077  * \brief Create an iterator for a container
1078  *
1079  * \param c the container
1080  * \param flags one or more flags from ao2_iterator_flags
1081  *
1082  * \retval the constructed iterator
1083  *
1084  * \note This function does \b not take a pointer to an iterator;
1085  *       rather, it returns an iterator structure that should be
1086  *       assigned to (overwriting) an existing iterator structure
1087  *       allocated on the stack or on the heap.
1088  *
1089  * This function will take a reference on the container being iterated.
1090  *
1091  */
1092 struct ao2_iterator ao2_iterator_init(struct ao2_container *c, int flags);
1093
1094 /*!
1095  * \brief Destroy a container iterator
1096  *
1097  * \param i the iterator to destroy
1098  *
1099  * \retval none
1100  *
1101  * This function will release the container reference held by the iterator
1102  * and any other resources it may be holding.
1103  *
1104  */
1105 void ao2_iterator_destroy(struct ao2_iterator *i);
1106
1107 #ifdef REF_DEBUG
1108
1109 #define ao2_t_iterator_next(arg1, arg2) __ao2_iterator_next_debug((arg1), (arg2),  __FILE__, __LINE__, __PRETTY_FUNCTION__)
1110 #define ao2_iterator_next(arg1)         __ao2_iterator_next_debug((arg1), "",  __FILE__, __LINE__, __PRETTY_FUNCTION__)
1111
1112 #else
1113
1114 #define ao2_t_iterator_next(arg1, arg2) __ao2_iterator_next((arg1))
1115 #define ao2_iterator_next(arg1)         __ao2_iterator_next((arg1))
1116
1117 #endif
1118
1119 void *__ao2_iterator_next_debug(struct ao2_iterator *a, char *tag, char *file, int line, const char *funcname);
1120 void *__ao2_iterator_next(struct ao2_iterator *a);
1121
1122 /* extra functions */
1123 void ao2_bt(void);      /* backtrace */
1124
1125 #endif /* _ASTERISK_ASTOBJ2_H */