Add Doxygen documentation for API changes from 1.6.0 to 1.6.1
[asterisk/asterisk.git] / include / asterisk / astobj2.h
1 /*
2  * astobj2 - replacement containers for asterisk data structures.
3  *
4  * Copyright (C) 2006 Marta Carbone, Luigi Rizzo - Univ. di Pisa, Italy
5  *
6  * See http://www.asterisk.org for more information about
7  * the Asterisk project. Please do not directly contact
8  * any of the maintainers of this project for assistance;
9  * the project provides a web site, mailing lists and IRC
10  * channels for your use.
11  *
12  * This program is free software, distributed under the terms of
13  * the GNU General Public License Version 2. See the LICENSE file
14  * at the top of the source tree.
15  */
16
17 #ifndef _ASTERISK_ASTOBJ2_H
18 #define _ASTERISK_ASTOBJ2_H
19
20 #include "asterisk/compat.h"
21
22 /*! \file
23  * \ref AstObj2
24  *
25  * \page AstObj2 Object Model implementing objects and containers.
26
27 This module implements an abstraction for objects (with locks and
28 reference counts), and containers for these user-defined objects,
29 also supporting locking, reference counting and callbacks.
30
31 The internal implementation of objects and containers is opaque to the user,
32 so we can use different data structures as needs arise.
33
34 \section AstObj2_UsageObjects USAGE - OBJECTS
35
36 An ao2 object is a block of memory that the user code can access,
37 and for which the system keeps track (with a bit of help from the
38 programmer) of the number of references around.  When an object has
39 no more references (refcount == 0), it is destroyed, by first
40 invoking whatever 'destructor' function the programmer specifies
41 (it can be NULL if none is necessary), and then freeing the memory.
42 This way objects can be shared without worrying who is in charge
43 of freeing them.
44 As an additional feature, ao2 objects are associated to individual
45 locks.
46
47 Creating an object requires the size of the object and
48 and a pointer to the destructor function:
49
50     struct foo *o;
51
52     o = ao2_alloc(sizeof(struct foo), my_destructor_fn);
53
54 The value returned points to the user-visible portion of the objects
55 (user-data), but is also used as an identifier for all object-related
56 operations such as refcount and lock manipulations.
57
58 On return from ao2_alloc():
59
60  - the object has a refcount = 1;
61  - the memory for the object is allocated dynamically and zeroed;
62  - we cannot realloc() the object itself;
63  - we cannot call free(o) to dispose of the object. Rather, we
64    tell the system that we do not need the reference anymore:
65
66     ao2_ref(o, -1)
67
68   causing the destructor to be called (and then memory freed) when
69   the refcount goes to 0.
70
71 - ao2_ref(o, +1) can be used to modify the refcount on the
72   object in case we want to pass it around.
73
74 - ao2_lock(obj), ao2_unlock(obj), ao2_trylock(obj) can be used
75   to manipulate the lock associated with the object.
76
77
78 \section AstObj2_UsageContainers USAGE - CONTAINERS
79
80 An ao2 container is an abstract data structure where we can store
81 ao2 objects, search them (hopefully in an efficient way), and iterate
82 or apply a callback function to them. A container is just an ao2 object
83 itself.
84
85 A container must first be allocated, specifying the initial
86 parameters. At the moment, this is done as follows:
87
88     <b>Sample Usage:</b>
89     \code
90
91     struct ao2_container *c;
92
93     c = ao2_container_alloc(MAX_BUCKETS, my_hash_fn, my_cmp_fn);
94     \endcode
95
96 where
97
98 - MAX_BUCKETS is the number of buckets in the hash table,
99 - my_hash_fn() is the (user-supplied) function that returns a
100   hash key for the object (further reduced modulo MAX_BUCKETS
101   by the container's code);
102 - my_cmp_fn() is the default comparison function used when doing
103   searches on the container,
104
105 A container knows little or nothing about the objects it stores,
106 other than the fact that they have been created by ao2_alloc().
107 All knowledge of the (user-defined) internals of the objects
108 is left to the (user-supplied) functions passed as arguments
109 to ao2_container_alloc().
110
111 If we want to insert an object in a container, we should
112 initialize its fields -- especially, those used by my_hash_fn() --
113 to compute the bucket to use.
114 Once done, we can link an object to a container with
115
116     ao2_link(c, o);
117
118 The function returns NULL in case of errors (and the object
119 is not inserted in the container). Other values mean success
120 (we are not supposed to use the value as a pointer to anything).
121 Linking an object to a container increases its refcount by 1
122 automatically.
123
124 \note While an object o is in a container, we expect that
125 my_hash_fn(o) will always return the same value. The function
126 does not lock the object to be computed, so modifications of
127 those fields that affect the computation of the hash should
128 be done by extracting the object from the container, and
129 reinserting it after the change (this is not terribly expensive).
130
131 \note A container with a single buckets is effectively a linked
132 list. However there is no ordering among elements.
133
134 - \ref AstObj2_Containers
135 - \ref astobj2.h All documentation for functions and data structures
136
137  */
138
139 /*
140 \note DEBUGGING REF COUNTS BIBLE:
141 An interface to help debug refcounting is provided
142 in this package. It is dependent on the REF_DEBUG macro being
143 defined in a source file, before the #include of astobj2.h,
144 and in using variants of the normal ao2_xxxx functions
145 that are named ao2_t_xxxx instead, with an extra argument, a string,
146 that will be printed out into /tmp/refs when the refcount for an
147 object is changed.
148
149   these ao2_t_xxxx variants are provided:
150
151 ao2_t_alloc(arg1, arg2, arg3)
152 ao2_t_ref(arg1,arg2,arg3)
153 ao2_t_container_alloc(arg1,arg2,arg3,arg4)
154 ao2_t_link(arg1, arg2, arg3)
155 ao2_t_unlink(arg1, arg2, arg3)
156 ao2_t_callback(arg1,arg2,arg3,arg4,arg5)
157 ao2_t_find(arg1,arg2,arg3,arg4)
158 ao2_t_iterator_next(arg1, arg2)
159
160 If you study each argument list, you will see that these functions all have
161 one extra argument that their ao2_xxx counterpart. The last argument in
162 each case is supposed to be a string pointer, a "tag", that should contain
163 enough of an explanation, that you can pair operations that increment the
164 ref count, with operations that are meant to decrement the refcount.
165
166 Each of these calls will generate at least one line of output in /tmp/refs.
167 These lines look like this:
168 ...
169 0x8756f00 =1   chan_sip.c:22240:load_module (allocate users)
170 0x86e3408 =1   chan_sip.c:22241:load_module (allocate peers)
171 0x86dd380 =1   chan_sip.c:22242:load_module (allocate peers_by_ip)
172 0x822d020 =1   chan_sip.c:22243:load_module (allocate dialogs)
173 0x8930fd8 =1   chan_sip.c:20025:build_peer (allocate a peer struct)
174 0x8930fd8 +1   chan_sip.c:21467:reload_config (link peer into peer table) [@1]
175 0x8930fd8 -1   chan_sip.c:2370:unref_peer (unref_peer: from reload_config) [@2]
176 0x89318b0 =1   chan_sip.c:20025:build_peer (allocate a peer struct)
177 0x89318b0 +1   chan_sip.c:21467:reload_config (link peer into peer table) [@1]
178 0x89318b0 -1   chan_sip.c:2370:unref_peer (unref_peer: from reload_config) [@2]
179 0x8930218 =1   chan_sip.c:20025:build_peer (allocate a peer struct)
180 0x8930218 +1   chan_sip.c:21539:reload_config (link peer into peers table) [@1]
181 0x868c040 -1   chan_sip.c:2424:dialog_unlink_all (unset the relatedpeer->call field in tandem with relatedpeer field itself) [@2]
182 0x868c040 -1   chan_sip.c:2443:dialog_unlink_all (Let's unbump the count in the unlink so the poor pvt can disappear if it is time) [@1]
183 0x868c040 **call destructor** chan_sip.c:2443:dialog_unlink_all (Let's unbump the count in the unlink so the poor pvt can disappear if it is time)
184 0x8cc07e8 -1   chan_sip.c:2370:unref_peer (unsetting a dialog relatedpeer field in sip_destroy) [@3]
185 0x8cc07e8 +1   chan_sip.c:3876:find_peer (ao2_find in peers table) [@2]
186 0x8cc07e8 -1   chan_sip.c:2370:unref_peer (unref_peer, from sip_devicestate, release ref from find_peer) [@3]
187 ...
188
189 The first column is the object address.
190 The second column reflects how the operation affected the ref count
191     for that object. Creation sets the ref count to 1 (=1).
192     increment or decrement and amount are specified (-1/+1).
193 The remainder of the line specifies where in the file the call was made,
194     and the function name, and the tag supplied in the function call.
195
196 The **call destructor** is specified when the the destroy routine is
197 run for an object. It does not affect the ref count, but is important
198 in debugging, because it is possible to have the astobj2 system run it
199 multiple times on the same object, commonly fatal to asterisk.
200
201 Sometimes you have some helper functions to do object ref/unref
202 operations. Using these normally hides the place where these
203 functions were called. To get the location where these functions
204 were called to appear in /tmp/refs, you can do this sort of thing:
205
206 #ifdef REF_DEBUG
207 #define dialog_ref(arg1,arg2) dialog_ref_debug((arg1),(arg2), __FILE__, __LINE__, __PRETTY_FUNCTION__)
208 #define dialog_unref(arg1,arg2) dialog_unref_debug((arg1),(arg2), __FILE__, __LINE__, __PRETTY_FUNCTION__)
209 static struct sip_pvt *dialog_ref_debug(struct sip_pvt *p, char *tag, char *file, int line, const char *func)
210 {
211         if (p)
212                 ao2_ref_debug(p, 1, tag, file, line, func);
213         else
214                 ast_log(LOG_ERROR, "Attempt to Ref a null pointer\n");
215         return p;
216 }
217
218 static struct sip_pvt *dialog_unref_debug(struct sip_pvt *p, char *tag, char *file, int line, const char *func)
219 {
220         if (p)
221                 ao2_ref_debug(p, -1, tag, file, line, func);
222         return NULL;
223 }
224 #else
225 static struct sip_pvt *dialog_ref(struct sip_pvt *p, char *tag)
226 {
227         if (p)
228                 ao2_ref(p, 1);
229         else
230                 ast_log(LOG_ERROR, "Attempt to Ref a null pointer\n");
231         return p;
232 }
233
234 static struct sip_pvt *dialog_unref(struct sip_pvt *p, char *tag)
235 {
236         if (p)
237                 ao2_ref(p, -1);
238         return NULL;
239 }
240 #endif
241
242 In the above code, note that the "normal" helper funcs call ao2_ref() as
243 normal, and the "helper" functions call ao2_ref_debug directly with the
244 file, function, and line number info provided. You might find this
245 well worth the effort to help track these function calls in the code.
246
247 To find out why objects are not destroyed (a common bug), you can
248 edit the source file to use the ao2_t_* variants, add the #define REF_DEBUG 1
249 before the #include "asterisk/astobj2.h" line, and add a descriptive
250 tag to each call. Recompile, and run Asterisk, exit asterisk with
251 "stop gracefully", which should result in every object being destroyed.
252 Then, you can "sort -k 1 /tmp/refs > x1" to get a sorted list of
253 all the objects, or you can use "util/refcounter" to scan the file
254 for you and output any problems it finds.
255
256 The above may seem astronomically more work than it is worth to debug
257 reference counts, which may be true in "simple" situations, but for
258 more complex situations, it is easily worth 100 times this effort to
259 help find problems.
260
261 To debug, pair all calls so that each call that increments the
262 refcount is paired with a corresponding call that decrements the
263 count for the same reason. Hopefully, you will be left with one
264 or more unpaired calls. This is where you start your search!
265
266 For instance, here is an example of this for a dialog object in
267 chan_sip, that was not getting destroyed, after I moved the lines around
268 to pair operations:
269
270    0x83787a0 =1   chan_sip.c:5733:sip_alloc (allocate a dialog(pvt) struct)
271    0x83787a0 -1   chan_sip.c:19173:sip_poke_peer (unref dialog at end of sip_poke_peer, obtained from sip_alloc, just before it goes out of scope) [@4]
272
273    0x83787a0 +1   chan_sip.c:5854:sip_alloc (link pvt into dialogs table) [@1]
274    0x83787a0 -1   chan_sip.c:19150:sip_poke_peer (About to change the callid -- remove the old name) [@3]
275    0x83787a0 +1   chan_sip.c:19152:sip_poke_peer (Linking in under new name) [@2]
276    0x83787a0 -1   chan_sip.c:2399:dialog_unlink_all (unlinking dialog via ao2_unlink) [@5]
277
278    0x83787a0 +1   chan_sip.c:19130:sip_poke_peer (copy sip alloc from p to peer->call) [@2]
279
280
281    0x83787a0 +1   chan_sip.c:2996:__sip_reliable_xmit (__sip_reliable_xmit: setting pkt->owner) [@3]
282    0x83787a0 -1   chan_sip.c:2425:dialog_unlink_all (remove all current packets in this dialog, and the pointer to the dialog too as part of __sip_destroy) [@4]
283
284    0x83787a0 +1   chan_sip.c:22356:unload_module (iterate thru dialogs) [@4]
285    0x83787a0 -1   chan_sip.c:22359:unload_module (toss dialog ptr from iterator_next) [@5]
286
287
288    0x83787a0 +1   chan_sip.c:22373:unload_module (iterate thru dialogs) [@3]
289    0x83787a0 -1   chan_sip.c:22375:unload_module (throw away iterator result) [@2]
290
291    0x83787a0 +1   chan_sip.c:2397:dialog_unlink_all (Let's bump the count in the unlink so it doesn't accidentally become dead before we are done) [@4]
292    0x83787a0 -1   chan_sip.c:2436:dialog_unlink_all (Let's unbump the count in the unlink so the poor pvt can disappear if it is time) [@3]
293
294 As you can see, only one unbalanced operation is in the list, a ref count increment when
295 the peer->call was set, but no corresponding decrement was made...
296
297 Hopefully this helps you narrow your search and find those bugs.
298
299 THE ART OF REFERENCE COUNTING
300 (by Steve Murphy)
301 SOME TIPS for complicated code, and ref counting:
302
303 1. Theoretically, passing a refcounted object pointer into a function
304 call is an act of copying the reference, and could be refcounted.
305 But, upon examination, this sort of refcounting will explode the amount
306 of code you have to enter, and for no tangible benefit, beyond
307 creating more possible failure points/bugs. It will even
308 complicate your code and make debugging harder, slow down your program
309 doing useless increments and decrements of the ref counts.
310
311 2. It is better to track places where a ref counted pointer
312 is copied into a structure or stored. Make sure to decrement the refcount
313 of any previous pointer that might have been there, if setting
314 this field might erase a previous pointer. ao2_find and iterate_next
315 internally increment the ref count when they return a pointer, so
316 you need to decrement the count before the pointer goes out of scope.
317
318 3. Any time you decrement a ref count, it may be possible that the
319 object will be destroyed (freed) immediately by that call. If you
320 are destroying a series of fields in a refcounted object, and
321 any of the unref calls might possibly result in immediate destruction,
322 you can first increment the count to prevent such behavior, then
323 after the last test, decrement the pointer to allow the object
324 to be destroyed, if the refcount would be zero.
325
326 Example:
327
328         dialog_ref(dialog, "Let's bump the count in the unlink so it doesn't accidentally become dead before we are done");
329
330         ao2_t_unlink(dialogs, dialog, "unlinking dialog via ao2_unlink");
331
332         *//* Unlink us from the owner (channel) if we have one *//*
333         if (dialog->owner) {
334                 if (lockowner)
335                         ast_channel_lock(dialog->owner);
336                 ast_debug(1, "Detaching from channel %s\n", dialog->owner->name);
337                 dialog->owner->tech_pvt = dialog_unref(dialog->owner->tech_pvt, "resetting channel dialog ptr in unlink_all");
338                 if (lockowner)
339                         ast_channel_unlock(dialog->owner);
340         }
341         if (dialog->registry) {
342                 if (dialog->registry->call == dialog)
343                         dialog->registry->call = dialog_unref(dialog->registry->call, "nulling out the registry's call dialog field in unlink_all");
344                 dialog->registry = registry_unref(dialog->registry, "delete dialog->registry");
345         }
346     ...
347         dialog_unref(dialog, "Let's unbump the count in the unlink so the poor pvt can disappear if it is time");
348
349 In the above code, the ao2_t_unlink could end up destroying the dialog
350 object; if this happens, then the subsequent usages of the dialog
351 pointer could result in a core dump. So, we 'bump' the
352 count upwards before beginning, and then decrementing the count when
353 we are finished. This is analogous to 'locking' or 'protecting' operations
354 for a short while.
355
356 4. One of the most insidious problems I've run into when converting
357 code to do ref counted automatic destruction, is in the destruction
358 routines. Where a "destroy" routine had previously been called to
359 get rid of an object in non-refcounted code, the new regime demands
360 that you tear that "destroy" routine into two pieces, one that will
361 tear down the links and 'unref' them, and the other to actually free
362 and reset fields. A destroy routine that does any reference deletion
363 for its own object, will never be called. Another insidious problem
364 occurs in mutually referenced structures. As an example, a dialog contains
365 a pointer to a peer, and a peer contains a pointer to a dialog. Watch
366 out that the destruction of one doesn't depend on the destruction of the
367 other, as in this case a dependency loop will result in neither being
368 destroyed!
369
370 Given the above, you should be ready to do a good job!
371
372 murf
373
374 */
375
376
377
378 /*! \brief
379  * Typedef for an object destructor. This is called just before freeing
380  * the memory for the object. It is passed a pointer to the user-defined
381  * data of the object.
382  */
383 typedef void (*ao2_destructor_fn)(void *);
384
385
386 /*! \brief
387  * Allocate and initialize an object.
388  *
389  * \param data_size The sizeof() of the user-defined structure.
390  * \param destructor_fn The destructor function (can be NULL)
391  * \return A pointer to user-data.
392  *
393  * Allocates a struct astobj2 with sufficient space for the
394  * user-defined structure.
395  * \note
396  * - storage is zeroed; XXX maybe we want a flag to enable/disable this.
397  * - the refcount of the object just created is 1
398  * - the returned pointer cannot be free()'d or realloc()'ed;
399  *   rather, we just call ao2_ref(o, -1);
400  */
401
402 #ifdef REF_DEBUG
403
404
405 #define ao2_t_alloc(arg1, arg2, arg3) _ao2_alloc_debug((arg1), (arg2), (arg3),  __FILE__, __LINE__, __PRETTY_FUNCTION__)
406 #define ao2_alloc(arg1, arg2)         _ao2_alloc_debug((arg1), (arg2), "",  __FILE__, __LINE__, __PRETTY_FUNCTION__)
407
408 #else
409
410 #define ao2_t_alloc(arg1,arg2,arg3) _ao2_alloc((arg1), (arg2))
411 #define ao2_alloc(arg1,arg2)        _ao2_alloc((arg1), (arg2))
412
413 #endif
414 void *_ao2_alloc_debug(const size_t data_size, ao2_destructor_fn destructor_fn, char *tag, char *file, int line, const char *funcname);
415 void *_ao2_alloc(const size_t data_size, ao2_destructor_fn destructor_fn);
416
417
418 /*! \brief
419  * Reference/unreference an object and return the old refcount.
420  *
421  * \param o A pointer to the object
422  * \param delta Value to add to the reference counter.
423  * \return The value of the reference counter before the operation.
424  *
425  * Increase/decrease the reference counter according
426  * the value of delta.
427  *
428  * If the refcount goes to zero, the object is destroyed.
429  *
430  * \note The object must not be locked by the caller of this function, as
431  *       it is invalid to try to unlock it after releasing the reference.
432  *
433  * \note if we know the pointer to an object, it is because we
434  * have a reference count to it, so the only case when the object
435  * can go away is when we release our reference, and it is
436  * the last one in existence.
437  */
438
439 #ifdef REF_DEBUG
440 #define ao2_t_ref(arg1,arg2,arg3) _ao2_ref_debug((arg1), (arg2), (arg3),  __FILE__, __LINE__, __PRETTY_FUNCTION__)
441 #define ao2_ref(arg1,arg2)        _ao2_ref_debug((arg1), (arg2), "",  __FILE__, __LINE__, __PRETTY_FUNCTION__)
442 #else
443 #define ao2_t_ref(arg1,arg2,arg3) _ao2_ref((arg1), (arg2))
444 #define ao2_ref(arg1,arg2)        _ao2_ref((arg1), (arg2))
445 #endif
446 int _ao2_ref_debug(void *o, int delta, char *tag, char *file, int line, const char *funcname);
447 int _ao2_ref(void *o, int delta);
448
449 /*! \brief
450  * Lock an object.
451  *
452  * \param a A pointer to the object we want to lock.
453  * \return 0 on success, other values on error.
454  */
455 #ifndef DEBUG_THREADS
456 int ao2_lock(void *a);
457 #else
458 #define ao2_lock(a) _ao2_lock(a, __FILE__, __PRETTY_FUNCTION__, __LINE__, #a)
459 int _ao2_lock(void *a, const char *file, const char *func, int line, const char *var);
460 #endif
461
462 /*! \brief
463  * Unlock an object.
464  *
465  * \param a A pointer to the object we want unlock.
466  * \return 0 on success, other values on error.
467  */
468 #ifndef DEBUG_THREADS
469 int ao2_unlock(void *a);
470 #else
471 #define ao2_unlock(a) _ao2_unlock(a, __FILE__, __PRETTY_FUNCTION__, __LINE__, #a)
472 int _ao2_unlock(void *a, const char *file, const char *func, int line, const char *var);
473 #endif
474
475 /*! \brief
476  * Try locking-- (don't block if fail)
477  *
478  * \param a A pointer to the object we want to lock.
479  * \return 0 on success, other values on error.
480  */
481 #ifndef DEBUG_THREADS
482 int ao2_trylock(void *a);
483 #else
484 #define ao2_trylock(a) _ao2_trylock(a, __FILE__, __PRETTY_FUNCTION__, __LINE__, #a)
485 int _ao2_trylock(void *a, const char *file, const char *func, int line, const char *var);
486 #endif
487
488 /*!
489  * \brief Return the lock address of an object
490  *
491  * \param[in] obj A pointer to the object we want.
492  * \return the address of the lock, else NULL.
493  *
494  * This function comes in handy mainly for debugging locking
495  * situations, where the locking trace code reports the
496  * lock address, this allows you to correlate against
497  * object address, to match objects to reported locks.
498  *
499  * \since 1.6.1
500  */
501 void *ao2_object_get_lockaddr(void *obj);
502
503 /*!
504  \page AstObj2_Containers AstObj2 Containers
505
506 Containers are data structures meant to store several objects,
507 and perform various operations on them.
508 Internally, objects are stored in lists, hash tables or other
509 data structures depending on the needs.
510
511 \note NOTA BENE: at the moment the only container we support is the
512         hash table and its degenerate form, the list.
513
514 Operations on container include:
515
516   -  c = \b ao2_container_alloc(size, hash_fn, cmp_fn)
517         allocate a container with desired size and default compare
518         and hash function
519          -The compare function returns an int, which
520          can be 0 for not found, CMP_STOP to stop end a traversal,
521          or CMP_MATCH if they are equal
522          -The hash function returns an int. The hash function
523          takes two argument, the object pointer and a flags field,
524
525   -  \b ao2_find(c, arg, flags)
526         returns zero or more element matching a given criteria
527         (specified as arg). 'c' is the container pointer. Flags
528     can be:
529         OBJ_UNLINK - to remove the object, once found, from the container.
530         OBJ_NODATA - don't return the object if found (no ref count change)
531         OBJ_MULTIPLE - don't stop at first match (not fully implemented)
532         OBJ_POINTER     - if set, 'arg' is an object pointer, and a hashtable
533                   search will be done. If not, a traversal is done.
534
535   -  \b ao2_callback(c, flags, fn, arg)
536         apply fn(obj, arg) to all objects in the container.
537         Similar to find. fn() can tell when to stop, and
538         do anything with the object including unlinking it.
539           - c is the container;
540       - flags can be
541              OBJ_UNLINK   - to remove the object, once found, from the container.
542              OBJ_NODATA   - don't return the object if found (no ref count change)
543              OBJ_MULTIPLE - don't stop at first match (not fully implemented)
544              OBJ_POINTER  - if set, 'arg' is an object pointer, and a hashtable
545                         search will be done. If not, a traversal is done through
546                         all the hashtable 'buckets'..
547       - fn is a func that returns int, and takes 3 args:
548         (void *obj, void *arg, int flags);
549           obj is an object
550           arg is the same as arg passed into ao2_callback
551           flags is the same as flags passed into ao2_callback
552          fn returns:
553            0: no match, keep going
554            CMP_STOP: stop search, no match
555            CMP_MATCH: This object is matched.
556
557         Note that the entire operation is run with the container
558         locked, so noone else can change its content while we work on it.
559         However, we pay this with the fact that doing
560         anything blocking in the callback keeps the container
561         blocked.
562         The mechanism is very flexible because the callback function fn()
563         can do basically anything e.g. counting, deleting records, etc.
564         possibly using arg to store the results.
565
566   -  \b iterate on a container
567         this is done with the following sequence
568
569 \code
570
571             struct ao2_container *c = ... // our container
572             struct ao2_iterator i;
573             void *o;
574
575             i = ao2_iterator_init(c, flags);
576
577             while ( (o = ao2_iterator_next(&i)) ) {
578                 ... do something on o ...
579                 ao2_ref(o, -1);
580             }
581 \endcode
582
583         The difference with the callback is that the control
584         on how to iterate is left to us.
585
586     - \b ao2_ref(c, -1)
587         dropping a reference to a container destroys it, very simple!
588
589 Containers are ao2 objects themselves, and this is why their
590 implementation is simple too.
591
592 Before declaring containers, we need to declare the types of the
593 arguments passed to the constructor - in turn, this requires
594 to define callback and hash functions and their arguments.
595
596 - \ref AstObj2
597 - \ref astobj2.h
598  */
599
600 /*! \brief
601  * Type of a generic callback function
602  * \param obj  pointer to the (user-defined part) of an object.
603  * \param arg callback argument from ao2_callback()
604  * \param flags flags from ao2_callback()
605  *
606  * The return values are a combination of enum _cb_results.
607  * Callback functions are used to search or manipulate objects in a container.
608  */
609 typedef int (ao2_callback_fn)(void *obj, void *arg, int flags);
610
611 /*! \brief
612  * Type of a generic callback function
613  * \param obj pointer to the (user-defined part) of an object.
614  * \param arg callback argument from ao2_callback()
615  * \param data arbitrary data from ao2_callback()
616  * \param flags flags from ao2_callback()
617  *
618  * The return values are a combination of enum _cb_results.
619  * Callback functions are used to search or manipulate objects in a container.
620  */
621 typedef int (ao2_callback_data_fn)(void *obj, void *arg, void *data, int flags);
622
623 /*! \brief a very common callback is one that matches by address. */
624 ao2_callback_fn ao2_match_by_addr;
625
626 /*! \brief
627  * A callback function will return a combination of CMP_MATCH and CMP_STOP.
628  * The latter will terminate the search in a container.
629  */
630 enum _cb_results {
631         CMP_MATCH       = 0x1,  /*!< the object matches the request */
632         CMP_STOP        = 0x2,  /*!< stop the search now */
633 };
634
635 /*! \brief
636  * Flags passed to ao2_callback() and ao2_hash_fn() to modify its behaviour.
637  */
638 enum search_flags {
639         /*! Unlink the object for which the callback function
640          *  returned CMP_MATCH . This is the only way to extract
641          *  objects from a container. */
642         OBJ_UNLINK       = (1 << 0),
643         /*! On match, don't return the object hence do not increase
644          *  its refcount. */
645         OBJ_NODATA       = (1 << 1),
646         /*! Don't stop at the first match in ao2_callback()
647          *  \note This is not fully implemented.   Using OBJ_MULTIME with OBJ_NODATA
648          *  is perfectly fine.  The part that is not implemented is the case where
649          *  multiple objects should be returned by ao2_callback().
650          */
651         OBJ_MULTIPLE = (1 << 2),
652         /*! obj is an object of the same type as the one being searched for,
653          *  so use the object's hash function for optimized searching.
654          *  The search function is unaffected (i.e. use the one passed as
655          *  argument, or match_by_addr if none specified). */
656         OBJ_POINTER      = (1 << 3),
657 };
658
659 /*!
660  * Type of a generic function to generate a hash value from an object.
661  * flags is ignored at the moment. Eventually, it will include the
662  * value of OBJ_POINTER passed to ao2_callback().
663  */
664 typedef int (ao2_hash_fn)(const void *obj, const int flags);
665
666 /*! \name Object Containers
667  * Here start declarations of containers.
668  */
669 /*@{ */
670 struct ao2_container;
671
672 /*! \brief
673  * Allocate and initialize a container
674  * with the desired number of buckets.
675  *
676  * We allocate space for a struct astobj_container, struct container
677  * and the buckets[] array.
678  *
679  * \param n_buckets Number of buckets for hash
680  * \param hash_fn Pointer to a function computing a hash value.
681  * \param cmp_fn Pointer to a function comparating key-value
682  *                      with a string. (can be NULL)
683  * \return A pointer to a struct container.
684  *
685  * destructor is set implicitly.
686  */
687
688 #ifdef REF_DEBUG
689 #define ao2_t_container_alloc(arg1,arg2,arg3,arg4) _ao2_container_alloc_debug((arg1), (arg2), (arg3), (arg4),  __FILE__, __LINE__, __PRETTY_FUNCTION__)
690 #define ao2_container_alloc(arg1,arg2,arg3)        _ao2_container_alloc_debug((arg1), (arg2), (arg3), "",  __FILE__, __LINE__, __PRETTY_FUNCTION__)
691 #else
692 #define ao2_t_container_alloc(arg1,arg2,arg3,arg4) _ao2_container_alloc((arg1), (arg2), (arg3))
693 #define ao2_container_alloc(arg1,arg2,arg3)        _ao2_container_alloc((arg1), (arg2), (arg3))
694 #endif
695 struct ao2_container *_ao2_container_alloc(const unsigned int n_buckets,
696                                                                                   ao2_hash_fn *hash_fn, ao2_callback_fn *cmp_fn);
697 struct ao2_container *_ao2_container_alloc_debug(const unsigned int n_buckets,
698                                                                                                 ao2_hash_fn *hash_fn, ao2_callback_fn *cmp_fn,
699                                                                                                 char *tag, char *file, int line, const char *funcname);
700
701 /*! \brief
702  * Returns the number of elements in a container.
703  */
704 int ao2_container_count(struct ao2_container *c);
705 /*@} */
706
707 /*! \name Object Management
708  * Here we have functions to manage objects.
709  *
710  * We can use the functions below on any kind of
711  * object defined by the user.
712  */
713 /*@{ */
714
715 /*!
716  * \brief Add an object to a container.
717  *
718  * \param c the container to operate on.
719  * \param newobj the object to be added.
720  *
721  * \retval NULL on errors
722  * \retval newobj on success.
723  *
724  * This function inserts an object in a container according its key.
725  *
726  * \note Remember to set the key before calling this function.
727  *
728  * \note This function automatically increases the reference count to account
729  *       for the reference that the container now holds to the object.
730  */
731 #ifdef REF_DEBUG
732
733 #define ao2_t_link(arg1, arg2, arg3) _ao2_link_debug((arg1), (arg2), (arg3),  __FILE__, __LINE__, __PRETTY_FUNCTION__)
734 #define ao2_link(arg1, arg2)         _ao2_link_debug((arg1), (arg2), "",  __FILE__, __LINE__, __PRETTY_FUNCTION__)
735 #else
736 #define ao2_t_link(arg1, arg2, arg3) _ao2_link((arg1), (arg2))
737 #define ao2_link(arg1, arg2)         _ao2_link((arg1), (arg2))
738 #endif
739 void *_ao2_link_debug(struct ao2_container *c, void *new_obj, char *tag, char *file, int line, const char *funcname);
740 void *_ao2_link(struct ao2_container *c, void *newobj);
741
742 /*!
743  * \brief Remove an object from the container
744  *
745  * \param c the container
746  * \param obj the object to unlink
747  *
748  * \retval NULL, always
749  *
750  * \note The object requested to be unlinked must be valid.  However, if it turns
751  *       out that it is not in the container, this function is still safe to
752  *       be called.
753  *
754  * \note If the object gets unlinked from the container, the container's
755  *       reference to the object will be automatically released. (The
756  *       refcount will be decremented).
757  */
758 #ifdef REF_DEBUG
759 #define ao2_t_unlink(arg1, arg2, arg3) _ao2_unlink_debug((arg1), (arg2), (arg3),  __FILE__, __LINE__, __PRETTY_FUNCTION__)
760 #define ao2_unlink(arg1, arg2)         _ao2_unlink_debug((arg1), (arg2), "",  __FILE__, __LINE__, __PRETTY_FUNCTION__)
761 #else
762 #define ao2_t_unlink(arg1, arg2, arg3) _ao2_unlink((arg1), (arg2))
763 #define ao2_unlink(arg1, arg2)         _ao2_unlink((arg1), (arg2))
764 #endif
765 void *_ao2_unlink_debug(struct ao2_container *c, void *obj, char *tag, char *file, int line, const char *funcname);
766 void *_ao2_unlink(struct ao2_container *c, void *obj);
767
768
769 /*! \brief Used as return value if the flag OBJ_MULTIPLE is set */
770 struct ao2_list {
771         struct ao2_list *next;
772         void *obj;      /* pointer to the user portion of the object */
773 };
774 /*@} */
775
776 /*! \brief
777  * ao2_callback() is a generic function that applies cb_fn() to all objects
778  * in a container, as described below.
779  *
780  * \param c A pointer to the container to operate on.
781  * \param flags A set of flags specifying the operation to perform,
782         partially used by the container code, but also passed to
783         the callback.
784      - If OBJ_NODATA is set, ao2_callback will return NULL. No refcounts
785        of any of the traversed objects will be incremented.
786        On the converse, if it is NOT set (the default), The ref count
787        of each object for which CMP_MATCH was set will be incremented,
788        and you will have no way of knowing which those are, until
789        the multiple-object-return functionality is implemented.
790      - If OBJ_POINTER is set, the traversed items will be restricted
791        to the objects in the bucket that the object key hashes to.
792  * \param cb_fn A function pointer, that will be called on all
793     objects, to see if they match. This function returns CMP_MATCH
794     if the object is matches the criteria; CMP_STOP if the traversal
795     should immediately stop, or both (via bitwise ORing), if you find a
796     match and want to end the traversal, and 0 if the object is not a match,
797     but the traversal should continue. This is the function that is applied
798     to each object traversed. It's arguments are:
799         (void *obj, void *arg, int flags), where:
800           obj is an object
801           arg is the same as arg passed into ao2_callback
802           flags is the same as flags passed into ao2_callback (flags are
803            also used by ao2_callback).
804  * \param arg passed to the callback.
805  * \return      A pointer to the object found/marked,
806  *              a pointer to a list of objects matching comparison function,
807  *              NULL if not found.
808  *
809  * If the function returns any objects, their refcount is incremented,
810  * and the caller is in charge of decrementing them once done.
811  * Also, in case of multiple values returned, the list used
812  * to store the objects must be freed by the caller.
813  *
814  * Typically, ao2_callback() is used for two purposes:
815  * - to perform some action (including removal from the container) on one
816  *   or more objects; in this case, cb_fn() can modify the object itself,
817  *   and to perform deletion should set CMP_MATCH on the matching objects,
818  *   and have OBJ_UNLINK set in flags.
819  * - to look for a specific object in a container; in this case, cb_fn()
820  *   should not modify the object, but just return a combination of
821  *   CMP_MATCH and CMP_STOP on the desired object.
822  * Other usages are also possible, of course.
823
824  * This function searches through a container and performs operations
825  * on objects according on flags passed.
826  * XXX describe better
827  * The comparison is done calling the compare function set implicitly.
828  * The p pointer can be a pointer to an object or to a key,
829  * we can say this looking at flags value.
830  * If p points to an object we will search for the object pointed
831  * by this value, otherwise we serch for a key value.
832  * If the key is not uniq we only find the first matching valued.
833  * If we use the OBJ_MARK flags, we mark all the objects matching
834  * the condition.
835  *
836  * The use of flags argument is the follow:
837  *
838  *      OBJ_UNLINK              unlinks the object found
839  *      OBJ_NODATA              on match, do return an object
840  *                              Callbacks use OBJ_NODATA as a default
841  *                              functions such as find() do
842  *      OBJ_MULTIPLE            return multiple matches
843  *                              Default for _find() is no.
844  *                              to a key (not yet supported)
845  *      OBJ_POINTER             the pointer is an object pointer
846  *
847  * In case we return a list, the callee must take care to destroy
848  * that list when no longer used.
849  *
850  * \note When the returned object is no longer in use, ao2_ref() should
851  * be used to free the additional reference possibly created by this function.
852  */
853 #ifdef REF_DEBUG
854 #define ao2_t_callback(arg1,arg2,arg3,arg4,arg5) _ao2_callback_debug((arg1), (arg2), (arg3), (arg4), (arg5), __FILE__, __LINE__, __PRETTY_FUNCTION__)
855 #define ao2_callback(arg1,arg2,arg3,arg4)        _ao2_callback_debug((arg1), (arg2), (arg3), (arg4), "", __FILE__, __LINE__, __PRETTY_FUNCTION__)
856 #else
857 #define ao2_t_callback(arg1,arg2,arg3,arg4,arg5) _ao2_callback((arg1), (arg2), (arg3), (arg4))
858 #define ao2_callback(arg1,arg2,arg3,arg4)        _ao2_callback((arg1), (arg2), (arg3), (arg4))
859 #endif
860 void *_ao2_callback_debug(struct ao2_container *c, enum search_flags flags,
861                                                   ao2_callback_fn *cb_fn, void *arg, char *tag,
862                                                   char *file, int line, const char *funcname);
863 void *_ao2_callback(struct ao2_container *c,
864                                         enum search_flags flags,
865                                         ao2_callback_fn *cb_fn, void *arg);
866
867 /*! \brief
868  * ao2_callback_data() is a generic function that applies cb_fn() to all objects
869  * in a container.  It is functionally identical to ao2_callback() except that
870  * instead of taking an ao2_callback_fn *, it takes an ao2_callback_data_fn *, and
871  * allows the caller to pass in arbitrary data.
872  *
873  * This call would be used instead of ao2_callback() when the caller needs to pass
874  * OBJ_POINTER as part of the flags argument (which in turn requires passing in a
875  * prototype ao2 object for 'arg') and also needs access to other non-global data
876  * to complete it's comparison or task.
877  *
878  * See the documentation for ao2_callback() for argument descriptions.
879  *
880  * \see ao2_callback()
881  */
882 #ifdef REF_DEBUG
883 #define ao2_t_callback_data(arg1,arg2,arg3,arg4,arg5,arg6) _ao2_callback_data_debug((arg1), (arg2), (arg3), (arg4), (arg5), (arg6), __FILE__, __LINE__, __PRETTY_FUNCTION__)
884 #define ao2_callback_data(arg1,arg2,arg3,arg4,arg5)        _ao2_callback_data_debug((arg1), (arg2), (arg3), (arg4), (arg5), "", __FILE__, __LINE__, __PRETTY_FUNCTION__)
885 #else
886 #define ao2_t_callback_data(arg1,arg2,arg3,arg4,arg5,arg6) _ao2_callback_data((arg1), (arg2), (arg3), (arg4), (arg5))
887 #define ao2_callback_data(arg1,arg2,arg3,arg4,arg5)        _ao2_callback_data((arg1), (arg2), (arg3), (arg4), (arg5))
888 #endif
889 void *_ao2_callback_data_debug(struct ao2_container *c, enum search_flags flags,
890                                                   ao2_callback_data_fn *cb_fn, void *arg, void *data, char *tag,
891                                                   char *file, int line, const char *funcname);
892 void *_ao2_callback_data(struct ao2_container *c,
893                                         enum search_flags flags,
894                                         ao2_callback_data_fn *cb_fn, void *arg, void *data);
895
896 /*! ao2_find() is a short hand for ao2_callback(c, flags, c->cmp_fn, arg)
897  * XXX possibly change order of arguments ?
898  */
899 #ifdef REF_DEBUG
900 #define ao2_t_find(arg1,arg2,arg3,arg4) _ao2_find_debug((arg1), (arg2), (arg3), (arg4), __FILE__, __LINE__, __PRETTY_FUNCTION__)
901 #define ao2_find(arg1,arg2,arg3)        _ao2_find_debug((arg1), (arg2), (arg3), "", __FILE__, __LINE__, __PRETTY_FUNCTION__)
902 #else
903 #define ao2_t_find(arg1,arg2,arg3,arg4) _ao2_find((arg1), (arg2), (arg3))
904 #define ao2_find(arg1,arg2,arg3)        _ao2_find((arg1), (arg2), (arg3))
905 #endif
906 void *_ao2_find_debug(struct ao2_container *c, void *arg, enum search_flags flags, char *tag, char *file, int line, const char *funcname);
907 void *_ao2_find(struct ao2_container *c, void *arg, enum search_flags flags);
908
909 /*! \brief
910  *
911  *
912  * When we need to walk through a container, we use
913  * ao2_iterator to keep track of the current position.
914  *
915  * Because the navigation is typically done without holding the
916  * lock on the container across the loop,
917  * objects can be inserted or deleted or moved
918  * while we work. As a consequence, there is no guarantee that
919  * the we manage to touch all the elements on the list, or it
920  * is possible that we touch the same object multiple times.
921  * However, within the current hash table container, the following is true:
922  *  - It is not possible to miss an object in the container while iterating
923  *    unless it gets added after the iteration begins and is added to a bucket
924  *    that is before the one the current object is in.  In this case, even if
925  *    you locked the container around the entire iteration loop, you still would
926  *    not see this object, because it would still be waiting on the container
927  *    lock so that it can be added.
928  *  - It would be extremely rare to see an object twice.  The only way this can
929  *    happen is if an object got unlinked from the container and added again
930  *    during the same iteration.  Furthermore, when the object gets added back,
931  *    it has to be in the current or later bucket for it to be seen again.
932  *
933  * An iterator must be first initialized with ao2_iterator_init(),
934  * then we can use o = ao2_iterator_next() to move from one
935  * element to the next. Remember that the object returned by
936  * ao2_iterator_next() has its refcount incremented,
937  * and the reference must be explicitly released when done with it.
938  *
939  * Example:
940  *
941  *  \code
942  *
943  *  struct ao2_container *c = ... // the container we want to iterate on
944  *  struct ao2_iterator i;
945  *  struct my_obj *o;
946  *
947  *  i = ao2_iterator_init(c, flags);
948  *
949  *  while ( (o = ao2_iterator_next(&i)) ) {
950  *     ... do something on o ...
951  *     ao2_ref(o, -1);
952  *  }
953  *
954  *  \endcode
955  *
956  */
957
958 /*! \brief
959  * The Astobj2 iterator
960  *
961  * \note You are not supposed to know the internals of an iterator!
962  * We would like the iterator to be opaque, unfortunately
963  * its size needs to be known if we want to store it around
964  * without too much trouble.
965  * Anyways...
966  * The iterator has a pointer to the container, and a flags
967  * field specifying various things e.g. whether the container
968  * should be locked or not while navigating on it.
969  * The iterator "points" to the current object, which is identified
970  * by three values:
971  *
972  * - a bucket number;
973  * - the object_id, which is also the container version number
974  *   when the object was inserted. This identifies the object
975  *   univoquely, however reaching the desired object requires
976  *   scanning a list.
977  * - a pointer, and a container version when we saved the pointer.
978  *   If the container has not changed its version number, then we
979  *   can safely follow the pointer to reach the object in constant time.
980  *
981  * Details are in the implementation of ao2_iterator_next()
982  * A freshly-initialized iterator has bucket=0, version = 0.
983  */
984 struct ao2_iterator {
985         /*! the container */
986         struct ao2_container *c;
987         /*! operation flags */
988         int flags;
989 #define F_AO2I_DONTLOCK 1       /*!< don't lock when iterating */
990         /*! current bucket */
991         int bucket;
992         /*! container version */
993         unsigned int c_version;
994         /*! pointer to the current object */
995         void *obj;
996         /*! container version when the object was created */
997         unsigned int version;
998 };
999
1000 /* the flags field can contain F_AO2I_DONTLOCK, which will prevent
1001    ao2_iterator_next calls from locking the container while it
1002    searches for the next pointer */
1003
1004 struct ao2_iterator ao2_iterator_init(struct ao2_container *c, int flags);
1005 #ifdef REF_DEBUG
1006 #define ao2_t_iterator_next(arg1, arg2) _ao2_iterator_next_debug((arg1), (arg2),  __FILE__, __LINE__, __PRETTY_FUNCTION__)
1007 #define ao2_iterator_next(arg1)         _ao2_iterator_next_debug((arg1), "",  __FILE__, __LINE__, __PRETTY_FUNCTION__)
1008 #else
1009 #define ao2_t_iterator_next(arg1, arg2) _ao2_iterator_next((arg1))
1010 #define ao2_iterator_next(arg1)         _ao2_iterator_next((arg1))
1011 #endif
1012 void *_ao2_iterator_next_debug(struct ao2_iterator *a, char *tag, char *file, int line, const char *funcname);
1013 void *_ao2_iterator_next(struct ao2_iterator *a);
1014
1015 /* extra functions */
1016 void ao2_bt(void);      /* backtrace */
1017 #endif /* _ASTERISK_ASTOBJ2_H */