CI: Various updates to buildAsterisk.sh
[asterisk/asterisk.git] / main / astobj2.c
1 /*
2  * astobj2 - replacement containers for asterisk data structures.
3  *
4  * Copyright (C) 2006 Marta Carbone, Luigi Rizzo - Univ. di Pisa, Italy
5  *
6  * See http://www.asterisk.org for more information about
7  * the Asterisk project. Please do not directly contact
8  * any of the maintainers of this project for assistance;
9  * the project provides a web site, mailing lists and IRC
10  * channels for your use.
11  *
12  * This program is free software, distributed under the terms of
13  * the GNU General Public License Version 2. See the LICENSE file
14  * at the top of the source tree.
15  */
16
17 /*! \file
18  *
19  * \brief Functions implementing astobj2 objects.
20  *
21  * \author Richard Mudgett <rmudgett@digium.com>
22  */
23
24 /*** MODULEINFO
25         <support_level>core</support_level>
26  ***/
27
28 /* This reduces the size of lock structures within astobj2 objects when
29  * DEBUG_THREADS is not defined. */
30 #define DEBUG_THREADS_LOOSE_ABI
31
32 #include "asterisk.h"
33
34 #include "asterisk/_private.h"
35 #include "asterisk/astobj2.h"
36 #include "astobj2_private.h"
37 #include "astobj2_container_private.h"
38 #include "asterisk/cli.h"
39 #include "asterisk/paths.h"
40
41 /* Use ast_log_safe in place of ast_log. */
42 #define ast_log ast_log_safe
43
44 static FILE *ref_log;
45
46 /*!
47  * astobj2 objects are always preceded by this data structure,
48  * which contains a reference counter,
49  * option flags and a pointer to a destructor.
50  * The refcount is used to decide when it is time to
51  * invoke the destructor.
52  * The magic number is used for consistency check.
53  */
54 struct __priv_data {
55         ao2_destructor_fn destructor_fn;
56         /*! This field is used for astobj2 and ao2_weakproxy objects to reference each other */
57         void *weakptr;
58 #if defined(AO2_DEBUG)
59         /*! User data size for stats */
60         size_t data_size;
61 #endif
62         /*! Number of references held for this object */
63         int32_t ref_counter;
64         /*!
65          * \brief The ao2 object option flags.
66          *
67          * \note This field is constant after object creation.  It shares
68          *       a uint32_t with \ref lockused and \ref magic.
69          */
70         uint32_t options:2;
71         /*!
72          * \brief Set to 1 when the lock is used if refdebug is enabled.
73          *
74          * \note This bit-field may be modified after object creation.  It
75          *       shares a uint32_t with \ref options and \ref magic.
76          */
77         uint32_t lockused:1;
78         /*!
79          * \brief Magic number.
80          *
81          * This is used to verify that a pointer is a valid astobj2 or ao2_weak
82          * reference.
83          *
84          * \note This field is constant after object creation.  It shares
85          *       a uint32_t with \ref options and \ref lockused.
86          *
87          * \warning Stealing bits for any additional writable fields would cause
88          *          reentrancy issues if using bitfields.  If any additional
89          *          writable bits are required in the future we will need to put
90          *          all bitfields into a single 'uint32_t flags' field and use
91          *          atomic operations from \file lock.h to perform writes.
92          */
93         uint32_t magic:29;
94 };
95
96 #define AO2_MAGIC       0x1a70b123
97 #define AO2_WEAK        0x1a70b122
98 #define IS_AO2_MAGIC_BAD(p) (AO2_MAGIC != (p->priv_data.magic | 1))
99
100 /*!
101  * What an astobj2 object looks like: fixed-size private data
102  * followed by variable-size user data.
103  */
104 struct astobj2 {
105         struct __priv_data priv_data;
106         void *user_data[0];
107 };
108
109 struct ao2_weakproxy_notification {
110         ao2_weakproxy_notification_cb cb;
111         void *data;
112         AST_LIST_ENTRY(ao2_weakproxy_notification) list;
113 };
114
115 struct ao2_lock_priv {
116         ast_mutex_t lock;
117 };
118
119 /* AstObj2 with recursive lock. */
120 struct astobj2_lock {
121         struct ao2_lock_priv mutex;
122         struct __priv_data priv_data;
123         void *user_data[0];
124 };
125
126 struct ao2_rwlock_priv {
127         ast_rwlock_t lock;
128         /*! Count of the number of threads holding a lock on this object. -1 if it is the write lock. */
129         int num_lockers;
130 };
131
132 /* AstObj2 with RW lock. */
133 struct astobj2_rwlock {
134         struct ao2_rwlock_priv rwlock;
135         struct __priv_data priv_data;
136         void *user_data[0];
137 };
138
139 struct ao2_lockobj_priv {
140         void *lock;
141 };
142
143 /* AstObj2 with locking provided by a separate object. */
144 struct astobj2_lockobj {
145         struct ao2_lockobj_priv lockobj;
146         struct __priv_data priv_data;
147         void *user_data[0];
148 };
149
150 #ifdef AO2_DEBUG
151 struct ao2_stats ao2;
152 #endif
153
154 #define INTERNAL_OBJ_MUTEX(user_data) \
155         ((struct astobj2_lock *) (((char *) (user_data)) - sizeof(struct astobj2_lock)))
156
157 #define INTERNAL_OBJ_RWLOCK(user_data) \
158         ((struct astobj2_rwlock *) (((char *) (user_data)) - sizeof(struct astobj2_rwlock)))
159
160 #define INTERNAL_OBJ_LOCKOBJ(user_data) \
161         ((struct astobj2_lockobj *) (((char *) (user_data)) - sizeof(struct astobj2_lockobj)))
162
163 #define INTERNAL_OBJ(user_data) \
164         (struct astobj2 *) ((char *) user_data - sizeof(struct astobj2))
165
166 /*!
167  * \brief convert from a pointer _p to a user-defined object
168  *
169  * \return the pointer to the astobj2 structure
170  */
171 #define __INTERNAL_OBJ_CHECK(user_data, file, line, func) \
172         ({ \
173                 struct astobj2 *p ## __LINE__; \
174                 if (!user_data \
175                         || !(p ## __LINE__ = INTERNAL_OBJ(user_data)) \
176                         || IS_AO2_MAGIC_BAD(p ## __LINE__)) { \
177                         log_bad_ao2(user_data, file, line, func); \
178                         p ## __LINE__ = NULL; \
179                 } \
180                 (p ## __LINE__); \
181         })
182
183 #define INTERNAL_OBJ_CHECK(user_data) \
184         __INTERNAL_OBJ_CHECK(user_data, __FILE__, __LINE__, __PRETTY_FUNCTION__)
185
186 /*!
187  * \brief convert from a pointer _p to an astobj2 object
188  *
189  * \return the pointer to the user-defined portion.
190  */
191 #define EXTERNAL_OBJ(_p)        ((_p) == NULL ? NULL : (_p)->user_data)
192
193 int internal_is_ao2_object(void *user_data)
194 {
195         struct astobj2 *p;
196
197         if (!user_data) {
198                 return 0;
199         }
200
201         p = INTERNAL_OBJ(user_data);
202
203         return !p || IS_AO2_MAGIC_BAD(p) ? 0 : 1;
204 }
205
206 void log_bad_ao2(void *user_data, const char *file, int line, const char *func)
207 {
208         struct astobj2 *p;
209         char bad_magic[100];
210
211         if (!user_data) {
212                 __ast_assert_failed(0, "user_data is NULL", file, line, func);
213                 return;
214         }
215
216         p = INTERNAL_OBJ(user_data);
217         snprintf(bad_magic, sizeof(bad_magic), "bad magic number 0x%x for object %p",
218                 p->priv_data.magic, user_data);
219         __ast_assert_failed(0, bad_magic, file, line, func);
220 }
221
222 int __ao2_lock(void *user_data, enum ao2_lock_req lock_how, const char *file, const char *func, int line, const char *var)
223 {
224         struct astobj2 *obj = __INTERNAL_OBJ_CHECK(user_data, file, line, func);
225         struct astobj2_lock *obj_mutex;
226         struct astobj2_rwlock *obj_rwlock;
227         struct astobj2_lockobj *obj_lockobj;
228         int res = 0;
229
230         if (obj == NULL) {
231                 return -1;
232         }
233
234         if (ref_log) {
235                 obj->priv_data.lockused  = 1;
236         }
237
238         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
239         case AO2_ALLOC_OPT_LOCK_MUTEX:
240                 obj_mutex = INTERNAL_OBJ_MUTEX(user_data);
241                 res = __ast_pthread_mutex_lock(file, line, func, var, &obj_mutex->mutex.lock);
242 #ifdef AO2_DEBUG
243                 if (!res) {
244                         ast_atomic_fetchadd_int(&ao2.total_locked, 1);
245                 }
246 #endif
247                 break;
248         case AO2_ALLOC_OPT_LOCK_RWLOCK:
249                 obj_rwlock = INTERNAL_OBJ_RWLOCK(user_data);
250                 switch (lock_how) {
251                 case AO2_LOCK_REQ_MUTEX:
252                 case AO2_LOCK_REQ_WRLOCK:
253                         res = __ast_rwlock_wrlock(file, line, func, &obj_rwlock->rwlock.lock, var);
254                         if (!res) {
255                                 ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, -1);
256 #ifdef AO2_DEBUG
257                                 ast_atomic_fetchadd_int(&ao2.total_locked, 1);
258 #endif
259                         }
260                         break;
261                 case AO2_LOCK_REQ_RDLOCK:
262                         res = __ast_rwlock_rdlock(file, line, func, &obj_rwlock->rwlock.lock, var);
263                         if (!res) {
264                                 ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, +1);
265 #ifdef AO2_DEBUG
266                                 ast_atomic_fetchadd_int(&ao2.total_locked, 1);
267 #endif
268                         }
269                         break;
270                 }
271                 break;
272         case AO2_ALLOC_OPT_LOCK_NOLOCK:
273                 /* The ao2 object has no lock. */
274                 break;
275         case AO2_ALLOC_OPT_LOCK_OBJ:
276                 obj_lockobj = INTERNAL_OBJ_LOCKOBJ(user_data);
277                 res = __ao2_lock(obj_lockobj->lockobj.lock, lock_how, file, func, line, var);
278                 break;
279         default:
280                 ast_log(__LOG_ERROR, file, line, func, "Invalid lock option on ao2 object %p\n",
281                         user_data);
282                 return -1;
283         }
284
285         return res;
286 }
287
288 int __ao2_unlock(void *user_data, const char *file, const char *func, int line, const char *var)
289 {
290         struct astobj2 *obj = __INTERNAL_OBJ_CHECK(user_data, file, line, func);
291         struct astobj2_lock *obj_mutex;
292         struct astobj2_rwlock *obj_rwlock;
293         struct astobj2_lockobj *obj_lockobj;
294         int res = 0;
295         int current_value;
296
297         if (obj == NULL) {
298                 return -1;
299         }
300
301         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
302         case AO2_ALLOC_OPT_LOCK_MUTEX:
303                 obj_mutex = INTERNAL_OBJ_MUTEX(user_data);
304                 res = __ast_pthread_mutex_unlock(file, line, func, var, &obj_mutex->mutex.lock);
305 #ifdef AO2_DEBUG
306                 if (!res) {
307                         ast_atomic_fetchadd_int(&ao2.total_locked, -1);
308                 }
309 #endif
310                 break;
311         case AO2_ALLOC_OPT_LOCK_RWLOCK:
312                 obj_rwlock = INTERNAL_OBJ_RWLOCK(user_data);
313
314                 current_value = ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, -1) - 1;
315                 if (current_value < 0) {
316                         /* It was a WRLOCK that we are unlocking.  Fix the count. */
317                         ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, -current_value);
318                 }
319                 res = __ast_rwlock_unlock(file, line, func, &obj_rwlock->rwlock.lock, var);
320 #ifdef AO2_DEBUG
321                 if (!res) {
322                         ast_atomic_fetchadd_int(&ao2.total_locked, -1);
323                 }
324 #endif
325                 break;
326         case AO2_ALLOC_OPT_LOCK_NOLOCK:
327                 /* The ao2 object has no lock. */
328                 break;
329         case AO2_ALLOC_OPT_LOCK_OBJ:
330                 obj_lockobj = INTERNAL_OBJ_LOCKOBJ(user_data);
331                 res = __ao2_unlock(obj_lockobj->lockobj.lock, file, func, line, var);
332                 break;
333         default:
334                 ast_log(__LOG_ERROR, file, line, func, "Invalid lock option on ao2 object %p\n",
335                         user_data);
336                 res = -1;
337                 break;
338         }
339         return res;
340 }
341
342 int __ao2_trylock(void *user_data, enum ao2_lock_req lock_how, const char *file, const char *func, int line, const char *var)
343 {
344         struct astobj2 *obj = __INTERNAL_OBJ_CHECK(user_data, file, line, func);
345         struct astobj2_lock *obj_mutex;
346         struct astobj2_rwlock *obj_rwlock;
347         struct astobj2_lockobj *obj_lockobj;
348         int res = 0;
349
350         if (obj == NULL) {
351                 return -1;
352         }
353
354         if (ref_log) {
355                 obj->priv_data.lockused  = 1;
356         }
357
358         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
359         case AO2_ALLOC_OPT_LOCK_MUTEX:
360                 obj_mutex = INTERNAL_OBJ_MUTEX(user_data);
361                 res = __ast_pthread_mutex_trylock(file, line, func, var, &obj_mutex->mutex.lock);
362 #ifdef AO2_DEBUG
363                 if (!res) {
364                         ast_atomic_fetchadd_int(&ao2.total_locked, 1);
365                 }
366 #endif
367                 break;
368         case AO2_ALLOC_OPT_LOCK_RWLOCK:
369                 obj_rwlock = INTERNAL_OBJ_RWLOCK(user_data);
370                 switch (lock_how) {
371                 case AO2_LOCK_REQ_MUTEX:
372                 case AO2_LOCK_REQ_WRLOCK:
373                         res = __ast_rwlock_trywrlock(file, line, func, &obj_rwlock->rwlock.lock, var);
374                         if (!res) {
375                                 ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, -1);
376 #ifdef AO2_DEBUG
377                                 ast_atomic_fetchadd_int(&ao2.total_locked, 1);
378 #endif
379                         }
380                         break;
381                 case AO2_LOCK_REQ_RDLOCK:
382                         res = __ast_rwlock_tryrdlock(file, line, func, &obj_rwlock->rwlock.lock, var);
383                         if (!res) {
384                                 ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, +1);
385 #ifdef AO2_DEBUG
386                                 ast_atomic_fetchadd_int(&ao2.total_locked, 1);
387 #endif
388                         }
389                         break;
390                 }
391                 break;
392         case AO2_ALLOC_OPT_LOCK_NOLOCK:
393                 /* The ao2 object has no lock. */
394                 return 0;
395         case AO2_ALLOC_OPT_LOCK_OBJ:
396                 obj_lockobj = INTERNAL_OBJ_LOCKOBJ(user_data);
397                 res = __ao2_trylock(obj_lockobj->lockobj.lock, lock_how, file, func, line, var);
398                 break;
399         default:
400                 ast_log(__LOG_ERROR, file, line, func, "Invalid lock option on ao2 object %p\n",
401                         user_data);
402                 return -1;
403         }
404
405         return res;
406 }
407
408 /*!
409  * \internal
410  * \brief Adjust an object's lock to the requested level.
411  *
412  * \param user_data An ao2 object to adjust lock level.
413  * \param lock_how What level to adjust lock.
414  * \param keep_stronger TRUE if keep original lock level if it is stronger.
415  *
416  * \pre The ao2 object is already locked.
417  *
418  * \details
419  * An ao2 object with a RWLOCK will have its lock level adjusted
420  * to the specified level if it is not already there.  An ao2
421  * object with a different type of lock is not affected.
422  *
423  * \return Original lock level.
424  */
425 enum ao2_lock_req __adjust_lock(void *user_data, enum ao2_lock_req lock_how, int keep_stronger)
426 {
427         struct astobj2 *obj = INTERNAL_OBJ(user_data);
428         struct astobj2_rwlock *obj_rwlock;
429         struct astobj2_lockobj *obj_lockobj;
430         enum ao2_lock_req orig_lock;
431
432         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
433         case AO2_ALLOC_OPT_LOCK_RWLOCK:
434                 obj_rwlock = INTERNAL_OBJ_RWLOCK(user_data);
435                 if (obj_rwlock->rwlock.num_lockers < 0) {
436                         orig_lock = AO2_LOCK_REQ_WRLOCK;
437                 } else {
438                         orig_lock = AO2_LOCK_REQ_RDLOCK;
439                 }
440                 switch (lock_how) {
441                 case AO2_LOCK_REQ_MUTEX:
442                         lock_how = AO2_LOCK_REQ_WRLOCK;
443                         /* Fall through */
444                 case AO2_LOCK_REQ_WRLOCK:
445                         if (lock_how != orig_lock) {
446                                 /* Switch from read lock to write lock. */
447                                 ao2_unlock(user_data);
448                                 ao2_wrlock(user_data);
449                         }
450                         break;
451                 case AO2_LOCK_REQ_RDLOCK:
452                         if (!keep_stronger && lock_how != orig_lock) {
453                                 /* Switch from write lock to read lock. */
454                                 ao2_unlock(user_data);
455                                 ao2_rdlock(user_data);
456                         }
457                         break;
458                 }
459                 break;
460         case AO2_ALLOC_OPT_LOCK_OBJ:
461                 obj_lockobj = INTERNAL_OBJ_LOCKOBJ(user_data);
462                 orig_lock = __adjust_lock(obj_lockobj->lockobj.lock, lock_how, keep_stronger);
463                 break;
464         default:
465                 ast_log(LOG_ERROR, "Invalid lock option on ao2 object %p\n", user_data);
466                 /* Fall through */
467         case AO2_ALLOC_OPT_LOCK_NOLOCK:
468         case AO2_ALLOC_OPT_LOCK_MUTEX:
469                 orig_lock = AO2_LOCK_REQ_MUTEX;
470                 break;
471         }
472
473         return orig_lock;
474 }
475
476 void *ao2_object_get_lockaddr(void *user_data)
477 {
478         struct astobj2 *obj;
479         struct astobj2_lock *obj_mutex;
480
481         obj = INTERNAL_OBJ_CHECK(user_data);
482
483         if (obj == NULL) {
484                 return NULL;
485         }
486
487         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
488         case AO2_ALLOC_OPT_LOCK_MUTEX:
489                 obj_mutex = INTERNAL_OBJ_MUTEX(user_data);
490                 return &obj_mutex->mutex.lock;
491         default:
492                 break;
493         }
494
495         return NULL;
496 }
497
498 int __ao2_ref(void *user_data, int delta,
499         const char *tag, const char *file, int line, const char *func)
500 {
501         struct astobj2 *obj = __INTERNAL_OBJ_CHECK(user_data, file, line, func);
502         struct astobj2_lock *obj_mutex;
503         struct astobj2_rwlock *obj_rwlock;
504         struct astobj2_lockobj *obj_lockobj;
505         int32_t current_value;
506         int32_t ret;
507         struct ao2_weakproxy *weakproxy = NULL;
508         const char *lock_state;
509
510         if (obj == NULL) {
511                 if (ref_log && user_data) {
512                         fprintf(ref_log, "%p,%d,%d,%s,%d,%s,**invalid**,%s\n",
513                                 user_data, delta, ast_get_tid(), file, line, func, tag ?: "");
514                         fflush(ref_log);
515                 }
516                 return -1;
517         }
518
519         /* if delta is 0, just return the refcount */
520         if (delta == 0) {
521                 return obj->priv_data.ref_counter;
522         }
523
524         if (delta < 0 && obj->priv_data.magic == AO2_MAGIC && (weakproxy = obj->priv_data.weakptr)) {
525                 ao2_lock(weakproxy);
526         }
527
528         /* we modify with an atomic operation the reference counter */
529         ret = ast_atomic_fetch_add(&obj->priv_data.ref_counter, delta, __ATOMIC_RELAXED);
530         current_value = ret + delta;
531
532 #ifdef AO2_DEBUG
533         ast_atomic_fetchadd_int(&ao2.total_refs, delta);
534 #endif
535
536         if (weakproxy) {
537                 struct ao2_weakproxy cbs;
538
539                 if (current_value == 1) {
540                         /* The only remaining reference is the one owned by the weak object */
541                         struct astobj2 *internal_weakproxy;
542
543                         internal_weakproxy = INTERNAL_OBJ_CHECK(weakproxy);
544
545                         /* Unlink the obj from the weak proxy */
546                         internal_weakproxy->priv_data.weakptr = NULL;
547                         obj->priv_data.weakptr = NULL;
548
549                         /* transfer list to local copy so callbacks are run with weakproxy unlocked. */
550                         cbs.destroyed_cb = weakproxy->destroyed_cb;
551                         AST_LIST_HEAD_INIT_NOLOCK(&weakproxy->destroyed_cb);
552
553                         /* weak is already unlinked from obj so this won't recurse */
554                         ao2_ref(user_data, -1);
555                 }
556
557                 ao2_unlock(weakproxy);
558
559                 if (current_value == 1) {
560                         struct ao2_weakproxy_notification *destroyed_cb;
561
562                         /* Notify the subscribers that weakproxy now points to NULL. */
563                         while ((destroyed_cb = AST_LIST_REMOVE_HEAD(&cbs.destroyed_cb, list))) {
564                                 destroyed_cb->cb(weakproxy, destroyed_cb->data);
565                                 ast_free(destroyed_cb);
566                         }
567
568                         ao2_ref(weakproxy, -1);
569                 }
570         }
571
572         if (0 < current_value) {
573                 /* The object still lives. */
574 #define EXCESSIVE_REF_COUNT             100000
575
576                 if (EXCESSIVE_REF_COUNT <= current_value && ret < EXCESSIVE_REF_COUNT) {
577                         char excessive_ref_buf[100];
578
579                         /* We just reached or went over the excessive ref count trigger */
580                         snprintf(excessive_ref_buf, sizeof(excessive_ref_buf),
581                                 "Excessive refcount %d reached on ao2 object %p",
582                                 (int)current_value, user_data);
583                         ast_log(__LOG_ERROR, file, line, func, "%s\n", excessive_ref_buf);
584
585                         __ast_assert_failed(0, excessive_ref_buf, file, line, func);
586                 }
587
588                 if (ref_log && tag) {
589                         fprintf(ref_log, "%p,%s%d,%d,%s,%d,%s,%d,%s\n", user_data,
590                                 (delta < 0 ? "" : "+"), delta, ast_get_tid(),
591                                 file, line, func, (int)ret, tag);
592                         fflush(ref_log);
593                 }
594                 return ret;
595         }
596
597         /* this case must never happen */
598         if (current_value < 0) {
599                 ast_log(__LOG_ERROR, file, line, func,
600                         "Invalid refcount %d on ao2 object %p\n", (int)current_value, user_data);
601                 if (ref_log) {
602                         /* Log to ref_log invalid even if (tag == NULL) */
603                         fprintf(ref_log, "%p,%d,%d,%s,%d,%s,**invalid**,%s\n",
604                                 user_data, delta, ast_get_tid(), file, line, func, tag ?: "");
605                         fflush(ref_log);
606                 }
607                 ast_assert(0);
608                 /* stop here even if assert doesn't DO_CRASH */
609                 return -1;
610         }
611
612         /* last reference, destroy the object */
613         if (obj->priv_data.destructor_fn != NULL) {
614                 obj->priv_data.destructor_fn(user_data);
615         }
616
617 #ifdef AO2_DEBUG
618         ast_atomic_fetchadd_int(&ao2.total_mem, - obj->priv_data.data_size);
619         ast_atomic_fetchadd_int(&ao2.total_objects, -1);
620 #endif
621
622         /* In case someone uses an object after it's been freed */
623         obj->priv_data.magic = 0;
624
625         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
626         case AO2_ALLOC_OPT_LOCK_MUTEX:
627                 obj_mutex = INTERNAL_OBJ_MUTEX(user_data);
628                 lock_state = obj->priv_data.lockused ? "used" : "unused";
629                 ast_mutex_destroy(&obj_mutex->mutex.lock);
630
631                 ast_free(obj_mutex);
632                 break;
633         case AO2_ALLOC_OPT_LOCK_RWLOCK:
634                 obj_rwlock = INTERNAL_OBJ_RWLOCK(user_data);
635                 lock_state = obj->priv_data.lockused ? "used" : "unused";
636                 ast_rwlock_destroy(&obj_rwlock->rwlock.lock);
637
638                 ast_free(obj_rwlock);
639                 break;
640         case AO2_ALLOC_OPT_LOCK_NOLOCK:
641                 lock_state = "none";
642                 ast_free(obj);
643                 break;
644         case AO2_ALLOC_OPT_LOCK_OBJ:
645                 obj_lockobj = INTERNAL_OBJ_LOCKOBJ(user_data);
646                 lock_state = obj->priv_data.lockused ? "used" : "unused";
647                 ao2_t_ref(obj_lockobj->lockobj.lock, -1, "release lockobj");
648
649                 ast_free(obj_lockobj);
650                 break;
651         default:
652                 ast_log(__LOG_ERROR, file, line, func,
653                         "Invalid lock option on ao2 object %p\n", user_data);
654                 lock_state = "invalid";
655                 break;
656         }
657
658         if (ref_log && tag) {
659                 fprintf(ref_log, "%p,%d,%d,%s,%d,%s,**destructor**lock-state:%s**,%s\n",
660                         user_data, delta, ast_get_tid(), file, line, func, lock_state, tag);
661                 fflush(ref_log);
662         }
663
664         return ret;
665 }
666
667 void __ao2_cleanup_debug(void *obj, const char *tag, const char *file, int line, const char *function)
668 {
669         if (obj) {
670                 __ao2_ref(obj, -1, tag, file, line, function);
671         }
672 }
673
674 void __ao2_cleanup(void *obj)
675 {
676         if (obj) {
677                 ao2_ref(obj, -1);
678         }
679 }
680
681 static void *internal_ao2_alloc(size_t data_size, ao2_destructor_fn destructor_fn, unsigned int options,
682         void *lockobj, const char *tag, const char *file, int line, const char *func)
683 {
684         /* allocation */
685         struct astobj2 *obj;
686         struct astobj2_lock *obj_mutex;
687         struct astobj2_rwlock *obj_rwlock;
688         struct astobj2_lockobj *obj_lockobj;
689         size_t overhead;
690
691         switch (options & AO2_ALLOC_OPT_LOCK_MASK) {
692         case AO2_ALLOC_OPT_LOCK_MUTEX:
693                 overhead = sizeof(*obj_mutex);
694                 obj_mutex = __ast_calloc(1, overhead + data_size, file, line, func);
695                 if (obj_mutex == NULL) {
696                         return NULL;
697                 }
698
699                 ast_mutex_init(&obj_mutex->mutex.lock);
700                 obj = (struct astobj2 *) &obj_mutex->priv_data;
701                 break;
702         case AO2_ALLOC_OPT_LOCK_RWLOCK:
703                 overhead = sizeof(*obj_rwlock);
704                 obj_rwlock = __ast_calloc(1, overhead + data_size, file, line, func);
705                 if (obj_rwlock == NULL) {
706                         return NULL;
707                 }
708
709                 ast_rwlock_init(&obj_rwlock->rwlock.lock);
710                 obj = (struct astobj2 *) &obj_rwlock->priv_data;
711                 break;
712         case AO2_ALLOC_OPT_LOCK_NOLOCK:
713                 overhead = sizeof(*obj);
714                 obj = __ast_calloc(1, overhead + data_size, file, line, func);
715                 if (obj == NULL) {
716                         return NULL;
717                 }
718                 break;
719         case AO2_ALLOC_OPT_LOCK_OBJ:
720                 lockobj = ao2_t_bump(lockobj, "set lockobj");
721                 if (!lockobj) {
722                         ast_log(__LOG_ERROR, file, line, func, "AO2_ALLOC_OPT_LOCK_OBJ requires a non-NULL lockobj.\n");
723                         return NULL;
724                 }
725
726                 overhead = sizeof(*obj_lockobj);
727                 obj_lockobj = __ast_calloc(1, overhead + data_size, file, line, func);
728                 if (obj_lockobj == NULL) {
729                         ao2_t_ref(lockobj, -1, "release lockobj for failed alloc");
730                         return NULL;
731                 }
732
733                 obj_lockobj->lockobj.lock = lockobj;
734                 obj = (struct astobj2 *) &obj_lockobj->priv_data;
735                 break;
736         default:
737                 /* Invalid option value. */
738                 ast_log(__LOG_DEBUG, file, line, func, "Invalid lock option requested\n");
739                 return NULL;
740         }
741
742         /* Initialize common ao2 values. */
743         obj->priv_data.destructor_fn = destructor_fn;   /* can be NULL */
744         obj->priv_data.ref_counter = 1;
745         obj->priv_data.options = options;
746         obj->priv_data.magic = AO2_MAGIC;
747
748 #ifdef AO2_DEBUG
749         obj->priv_data.data_size = data_size;
750         ast_atomic_fetchadd_int(&ao2.total_objects, 1);
751         ast_atomic_fetchadd_int(&ao2.total_mem, data_size);
752         ast_atomic_fetchadd_int(&ao2.total_refs, 1);
753 #endif
754
755         if (ref_log && tag) {
756                 fprintf(ref_log, "%p,+1,%d,%s,%d,%s,**constructor**%zu**%zu**,%s\n",
757                         EXTERNAL_OBJ(obj), ast_get_tid(), file, line, func, overhead, data_size, tag);
758                 fflush(ref_log);
759         }
760
761         /* return a pointer to the user data */
762         return EXTERNAL_OBJ(obj);
763 }
764
765 void *__ao2_alloc(size_t data_size, ao2_destructor_fn destructor_fn, unsigned int options,
766         const char *tag, const char *file, int line, const char *func)
767 {
768         return internal_ao2_alloc(data_size, destructor_fn, options, NULL, tag, file, line, func);
769 }
770
771 void *__ao2_alloc_with_lockobj(size_t data_size, ao2_destructor_fn destructor_fn, void *lockobj,
772         const char *tag, const char *file, int line, const char *func)
773 {
774         return internal_ao2_alloc(data_size, destructor_fn, AO2_ALLOC_OPT_LOCK_OBJ, lockobj,
775                 tag, file, line, func);
776 }
777
778 unsigned int ao2_options_get(void *obj)
779 {
780         struct astobj2 *orig_obj;
781
782         orig_obj = INTERNAL_OBJ_CHECK(obj);
783         if (!orig_obj) {
784                 return 0;
785         }
786         return orig_obj->priv_data.options;
787 }
788
789 void *__ao2_global_obj_replace(struct ao2_global_obj *holder, void *obj, const char *tag, const char *file, int line, const char *func, const char *name)
790 {
791         void *obj_old;
792
793         if (!holder) {
794                 /* For sanity */
795                 ast_log(LOG_ERROR, "Must be called with a global object!\n");
796                 ast_assert(0);
797                 return NULL;
798         }
799         if (__ast_rwlock_wrlock(file, line, func, &holder->lock, name)) {
800                 /* Could not get the write lock. */
801                 ast_assert(0);
802                 return NULL;
803         }
804
805         if (obj) {
806                 __ao2_ref(obj, +1, tag, file, line, func);
807         }
808         obj_old = holder->obj;
809         holder->obj = obj;
810
811         __ast_rwlock_unlock(file, line, func, &holder->lock, name);
812
813         return obj_old;
814 }
815
816 int __ao2_global_obj_replace_unref(struct ao2_global_obj *holder, void *obj, const char *tag, const char *file, int line, const char *func, const char *name)
817 {
818         void *obj_old;
819
820         obj_old = __ao2_global_obj_replace(holder, obj, tag, file, line, func, name);
821         if (obj_old) {
822                 __ao2_ref(obj_old, -1, tag, file, line, func);
823                 return 1;
824         }
825         return 0;
826 }
827
828 void *__ao2_global_obj_ref(struct ao2_global_obj *holder, const char *tag, const char *file, int line, const char *func, const char *name)
829 {
830         void *obj;
831
832         if (!holder) {
833                 /* For sanity */
834                 ast_log(LOG_ERROR, "Must be called with a global object!\n");
835                 ast_assert(0);
836                 return NULL;
837         }
838
839         if (__ast_rwlock_rdlock(file, line, func, &holder->lock, name)) {
840                 /* Could not get the read lock. */
841                 ast_assert(0);
842                 return NULL;
843         }
844
845         obj = holder->obj;
846         if (obj) {
847                 __ao2_ref(obj, +1, tag, file, line, func);
848         }
849
850         __ast_rwlock_unlock(file, line, func, &holder->lock, name);
851
852         return obj;
853 }
854
855
856 void *__ao2_weakproxy_alloc(size_t data_size, ao2_destructor_fn destructor_fn,
857         const char *tag, const char *file, int line, const char *func)
858 {
859         struct ao2_weakproxy *weakproxy;
860
861         if (data_size < sizeof(*weakproxy)) {
862                 ast_assert(0);
863                 ast_log(LOG_ERROR, "Requested data_size smaller than minimum.\n");
864                 return NULL;
865         }
866
867         weakproxy = __ao2_alloc(data_size, destructor_fn, AO2_ALLOC_OPT_LOCK_MUTEX,
868                 tag, file, line, func);
869
870         if (weakproxy) {
871                 struct astobj2 *weakproxy_internal;
872
873                 /* Just created weakproxy, no need to check if it's valid. */
874                 weakproxy_internal = INTERNAL_OBJ(weakproxy);
875                 weakproxy_internal->priv_data.magic = AO2_WEAK;
876         }
877
878         return weakproxy;
879 }
880
881 int __ao2_weakproxy_set_object(void *weakproxy, void *obj, int flags,
882         const char *tag, const char *file, int line, const char *func)
883 {
884         struct astobj2 *weakproxy_internal = __INTERNAL_OBJ_CHECK(weakproxy, file, line, func);
885         struct astobj2 *obj_internal = __INTERNAL_OBJ_CHECK(obj, file, line, func);
886         int ret = -1;
887
888         if (!weakproxy_internal
889                 || weakproxy_internal->priv_data.magic != AO2_WEAK) {
890                 return -1;
891         }
892
893         if (!obj_internal
894                 || obj_internal->priv_data.weakptr
895                 || obj_internal->priv_data.magic != AO2_MAGIC) {
896                 return -1;
897         }
898
899         if (!(flags & OBJ_NOLOCK)) {
900                 ao2_lock(weakproxy);
901         }
902
903         if (!weakproxy_internal->priv_data.weakptr) {
904                 __ao2_ref(obj, +1, tag, file, line, func);
905                 __ao2_ref(weakproxy, +1, tag, file, line, func);
906
907                 weakproxy_internal->priv_data.weakptr = obj;
908                 obj_internal->priv_data.weakptr = weakproxy;
909
910                 ret = 0;
911         }
912
913         if (!(flags & OBJ_NOLOCK)) {
914                 ao2_unlock(weakproxy);
915                 /* It is possible for obj to be accessed now.  It's allowed
916                  * for weakproxy to already be in a container.  Another thread
917                  * could have been waiting for a lock on weakproxy to retrieve
918                  * the object.
919                  */
920         }
921
922         return ret;
923 }
924
925 int __ao2_weakproxy_ref_object(void *weakproxy, int delta, int flags,
926         const char *tag, const char *file, int line, const char *func)
927 {
928         struct astobj2 *internal = __INTERNAL_OBJ_CHECK(weakproxy, file, line, func);
929         int ret = -1;
930
931         if (!internal || internal->priv_data.magic != AO2_WEAK) {
932                 /* This method is meant to be run on weakproxy objects! */
933                 return -2;
934         }
935
936         /* We have a weak object, grab lock. */
937         if (!(flags & OBJ_NOLOCK)) {
938                 ao2_lock(weakproxy);
939         }
940
941         if (internal->priv_data.weakptr) {
942                 ret = __ao2_ref(internal->priv_data.weakptr, delta, tag, file, line, func);
943         }
944
945         if (!(flags & OBJ_NOLOCK)) {
946                 ao2_unlock(weakproxy);
947         }
948
949         return ret;
950 }
951
952 void *__ao2_weakproxy_get_object(void *weakproxy, int flags,
953         const char *tag, const char *file, int line, const char *func)
954 {
955         struct astobj2 *internal = __INTERNAL_OBJ_CHECK(weakproxy, file, line, func);
956         void *obj;
957
958         if (!internal || internal->priv_data.magic != AO2_WEAK) {
959                 /* This method is meant to be run on weakproxy objects! */
960                 return NULL;
961         }
962
963         /* We have a weak object, grab reference to object within lock */
964         if (!(flags & OBJ_NOLOCK)) {
965                 ao2_lock(weakproxy);
966         }
967
968         obj = internal->priv_data.weakptr;
969         if (obj) {
970                 __ao2_ref(obj, +1, tag, file, line, func);
971         }
972
973         if (!(flags & OBJ_NOLOCK)) {
974                 ao2_unlock(weakproxy);
975         }
976
977         return obj;
978 }
979
980 void *__ao2_get_weakproxy(void *obj, const char *tag, const char *file, int line, const char *func)
981 {
982         struct astobj2 *obj_internal = __INTERNAL_OBJ_CHECK(obj, file, line, func);
983
984         if (!obj_internal || obj_internal->priv_data.magic != AO2_MAGIC) {
985                 /* This method is meant to be run on normal ao2 objects! */
986                 return NULL;
987         }
988
989         if (!obj_internal->priv_data.weakptr) {
990                 return NULL;
991         }
992
993         __ao2_ref(obj_internal->priv_data.weakptr, +1, tag, file, line, func);
994         return obj_internal->priv_data.weakptr;
995 }
996
997 int ao2_weakproxy_subscribe(void *weakproxy, ao2_weakproxy_notification_cb cb, void *data, int flags)
998 {
999         struct astobj2 *weakproxy_internal = INTERNAL_OBJ_CHECK(weakproxy);
1000         int ret = -1;
1001         int hasobj;
1002
1003         if (!weakproxy_internal || weakproxy_internal->priv_data.magic != AO2_WEAK) {
1004                 return -1;
1005         }
1006
1007         if (!(flags & OBJ_NOLOCK)) {
1008                 ao2_lock(weakproxy);
1009         }
1010
1011         hasobj = weakproxy_internal->priv_data.weakptr != NULL;
1012         if (hasobj) {
1013                 struct ao2_weakproxy *weak = weakproxy;
1014                 struct ao2_weakproxy_notification *sub = ast_calloc(1, sizeof(*sub));
1015
1016                 if (sub) {
1017                         sub->cb = cb;
1018                         sub->data = data;
1019                         AST_LIST_INSERT_HEAD(&weak->destroyed_cb, sub, list);
1020                         ret = 0;
1021                 }
1022         }
1023
1024         if (!(flags & OBJ_NOLOCK)) {
1025                 ao2_unlock(weakproxy);
1026         }
1027
1028         if (!hasobj) {
1029                 cb(weakproxy, data);
1030                 ret = 0;
1031         }
1032
1033         return ret;
1034 }
1035
1036 int ao2_weakproxy_unsubscribe(void *weakproxy, ao2_weakproxy_notification_cb destroyed_cb, void *data, int flags)
1037 {
1038         struct astobj2 *internal_weakproxy = INTERNAL_OBJ_CHECK(weakproxy);
1039         struct ao2_weakproxy *weak;
1040         struct ao2_weakproxy_notification *sub;
1041         int ret = 0;
1042
1043         if (!internal_weakproxy || internal_weakproxy->priv_data.magic != AO2_WEAK || !destroyed_cb) {
1044                 return -1;
1045         }
1046
1047         if (!(flags & OBJ_NOLOCK)) {
1048                 ao2_lock(weakproxy);
1049         }
1050
1051         weak = weakproxy;
1052         AST_LIST_TRAVERSE_SAFE_BEGIN(&weak->destroyed_cb, sub, list) {
1053                 if (sub->cb == destroyed_cb && sub->data == data) {
1054                         AST_LIST_REMOVE_CURRENT(list);
1055                         ast_free(sub);
1056                         ret++;
1057                         if (!(flags & OBJ_MULTIPLE)) {
1058                                 break;
1059                         }
1060                 }
1061         }
1062         AST_LIST_TRAVERSE_SAFE_END;
1063
1064         if (!(flags & OBJ_NOLOCK)) {
1065                 ao2_unlock(weakproxy);
1066         }
1067
1068         return ret;
1069 }
1070
1071
1072 #ifdef AO2_DEBUG
1073 static int print_cb(void *obj, void *arg, int flag)
1074 {
1075         struct ast_cli_args *a = (struct ast_cli_args *) arg;
1076         char *s = (char *)obj;
1077
1078         ast_cli(a->fd, "string <%s>\n", s);
1079         return 0;
1080 }
1081
1082 /*
1083  * Print stats
1084  */
1085 static char *handle_astobj2_stats(struct ast_cli_entry *e, int cmd, struct ast_cli_args *a)
1086 {
1087         switch (cmd) {
1088         case CLI_INIT:
1089                 e->command = "astobj2 show stats";
1090                 e->usage = "Usage: astobj2 show stats\n"
1091                            "       Show astobj2 show stats\n";
1092                 return NULL;
1093         case CLI_GENERATE:
1094                 return NULL;
1095         }
1096         ast_cli(a->fd, "Objects    : %d\n", ao2.total_objects);
1097         ast_cli(a->fd, "Containers : %d\n", ao2.total_containers);
1098         ast_cli(a->fd, "Memory     : %d\n", ao2.total_mem);
1099         ast_cli(a->fd, "Locked     : %d\n", ao2.total_locked);
1100         ast_cli(a->fd, "Refs       : %d\n", ao2.total_refs);
1101         return CLI_SUCCESS;
1102 }
1103
1104 /*
1105  * This is testing code for astobj
1106  */
1107 static char *handle_astobj2_test(struct ast_cli_entry *e, int cmd, struct ast_cli_args *a)
1108 {
1109         struct ao2_container *c1;
1110         struct ao2_container *c2;
1111         int i, lim;
1112         char *obj;
1113         static int prof_id = -1;
1114         struct ast_cli_args fake_args = { a->fd, 0, NULL };
1115
1116         switch (cmd) {
1117         case CLI_INIT:
1118                 e->command = "astobj2 test";
1119                 e->usage = "Usage: astobj2 test <num>\n"
1120                            "       Runs astobj2 test. Creates 'num' objects,\n"
1121                            "       and test iterators, callbacks and maybe other stuff\n";
1122                 return NULL;
1123         case CLI_GENERATE:
1124                 return NULL;
1125         }
1126
1127         if (a->argc != 3) {
1128                 return CLI_SHOWUSAGE;
1129         }
1130
1131         if (prof_id == -1) {
1132                 prof_id = ast_add_profile("ao2_alloc", 0);
1133         }
1134
1135         ast_cli(a->fd, "argc %d argv %s %s %s\n", a->argc, a->argv[0], a->argv[1], a->argv[2]);
1136         lim = atoi(a->argv[2]);
1137         ast_cli(a->fd, "called astobj_test\n");
1138
1139         handle_astobj2_stats(e, CLI_HANDLER, &fake_args);
1140         /*
1141          * Allocate a list container.
1142          */
1143         c1 = ao2_t_container_alloc_list(AO2_ALLOC_OPT_LOCK_MUTEX, 0, NULL /* no sort */,
1144                 NULL /* no callback */, "test");
1145         ast_cli(a->fd, "container allocated as %p\n", c1);
1146
1147         /*
1148          * fill the container with objects.
1149          * ao2_alloc() gives us a reference which we pass to the
1150          * container when we do the insert.
1151          */
1152         for (i = 0; i < lim; i++) {
1153                 ast_mark(prof_id, 1 /* start */);
1154                 obj = ao2_t_alloc(80, NULL,"test");
1155                 ast_mark(prof_id, 0 /* stop */);
1156                 ast_cli(a->fd, "object %d allocated as %p\n", i, obj);
1157                 sprintf(obj, "-- this is obj %d --", i);
1158                 ao2_link(c1, obj);
1159                 /* At this point, the refcount on obj is 2 due to the allocation
1160                  * and linking. We can go ahead and reduce the refcount by 1
1161                  * right here so that when the container is unreffed later, the
1162                  * objects will be freed
1163                  */
1164                 ao2_t_ref(obj, -1, "test");
1165         }
1166
1167         ast_cli(a->fd, "testing callbacks\n");
1168         ao2_t_callback(c1, 0, print_cb, a, "test callback");
1169
1170         ast_cli(a->fd, "testing container cloning\n");
1171         c2 = ao2_container_clone(c1, 0);
1172         if (ao2_container_count(c1) != ao2_container_count(c2)) {
1173                 ast_cli(a->fd, "Cloned container does not have the same number of objects!\n");
1174         }
1175         ao2_t_callback(c2, 0, print_cb, a, "test callback");
1176
1177         ast_cli(a->fd, "testing iterators, remove every second object\n");
1178         {
1179                 struct ao2_iterator ai;
1180                 int x = 0;
1181
1182                 ai = ao2_iterator_init(c1, 0);
1183                 while ( (obj = ao2_t_iterator_next(&ai,"test")) ) {
1184                         ast_cli(a->fd, "iterator on <%s>\n", obj);
1185                         if (x++ & 1)
1186                                 ao2_t_unlink(c1, obj,"test");
1187                         ao2_t_ref(obj, -1,"test");
1188                 }
1189                 ao2_iterator_destroy(&ai);
1190                 ast_cli(a->fd, "testing iterators again\n");
1191                 ai = ao2_iterator_init(c1, 0);
1192                 while ( (obj = ao2_t_iterator_next(&ai,"test")) ) {
1193                         ast_cli(a->fd, "iterator on <%s>\n", obj);
1194                         ao2_t_ref(obj, -1,"test");
1195                 }
1196                 ao2_iterator_destroy(&ai);
1197         }
1198
1199         ast_cli(a->fd, "testing callbacks again\n");
1200         ao2_t_callback(c1, 0, print_cb, a, "test callback");
1201
1202         ast_verbose("now you should see an error and possible assertion failure messages:\n");
1203         ao2_t_ref(&i, -1, "");  /* i is not a valid object so we print an error here */
1204
1205         ast_cli(a->fd, "destroy container\n");
1206         ao2_t_ref(c1, -1, "");  /* destroy container */
1207         ao2_t_ref(c2, -1, "");  /* destroy container */
1208         handle_astobj2_stats(e, CLI_HANDLER, &fake_args);
1209         return CLI_SUCCESS;
1210 }
1211 #endif /* AO2_DEBUG */
1212
1213 #if defined(AO2_DEBUG)
1214 static struct ast_cli_entry cli_astobj2[] = {
1215         AST_CLI_DEFINE(handle_astobj2_stats, "Print astobj2 statistics"),
1216         AST_CLI_DEFINE(handle_astobj2_test, "Test astobj2"),
1217 };
1218 #endif /* AO2_DEBUG */
1219
1220 static void astobj2_cleanup(void)
1221 {
1222 #if defined(AO2_DEBUG)
1223         ast_cli_unregister_multiple(cli_astobj2, ARRAY_LEN(cli_astobj2));
1224 #endif
1225
1226         if (ast_opt_ref_debug) {
1227                 fclose(ref_log);
1228                 ref_log = NULL;
1229         }
1230 }
1231
1232 int astobj2_init(void)
1233 {
1234         char ref_filename[1024];
1235
1236         if (ast_opt_ref_debug) {
1237                 snprintf(ref_filename, sizeof(ref_filename), "%s/refs", ast_config_AST_LOG_DIR);
1238                 ref_log = fopen(ref_filename, "w");
1239                 if (!ref_log) {
1240                         ast_log(LOG_ERROR, "Could not open ref debug log file: %s\n", ref_filename);
1241                 }
1242         }
1243
1244         ast_register_cleanup(astobj2_cleanup);
1245
1246         if (container_init() != 0) {
1247                 fclose(ref_log);
1248                 ref_log = NULL;
1249                 return -1;
1250         }
1251
1252 #if defined(AO2_DEBUG)
1253         ast_cli_register_multiple(cli_astobj2, ARRAY_LEN(cli_astobj2));
1254 #endif  /* defined(AO2_DEBUG) */
1255
1256         return 0;
1257 }