ea4ad02351580a4aba614f4ebaf05b473c70badf
[asterisk/asterisk.git] / main / astobj2.c
1 /*
2  * astobj2 - replacement containers for asterisk data structures.
3  *
4  * Copyright (C) 2006 Marta Carbone, Luigi Rizzo - Univ. di Pisa, Italy
5  *
6  * See http://www.asterisk.org for more information about
7  * the Asterisk project. Please do not directly contact
8  * any of the maintainers of this project for assistance;
9  * the project provides a web site, mailing lists and IRC
10  * channels for your use.
11  *
12  * This program is free software, distributed under the terms of
13  * the GNU General Public License Version 2. See the LICENSE file
14  * at the top of the source tree.
15  */
16
17 /*! \file
18  *
19  * \brief Functions implementing astobj2 objects.
20  *
21  * \author Richard Mudgett <rmudgett@digium.com>
22  */
23
24 /*** MODULEINFO
25         <support_level>core</support_level>
26  ***/
27
28 #include "asterisk.h"
29
30 #include "asterisk/_private.h"
31 #include "asterisk/astobj2.h"
32 #include "astobj2_private.h"
33 #include "astobj2_container_private.h"
34 #include "asterisk/cli.h"
35 #include "asterisk/paths.h"
36
37 /* Use ast_log_safe in place of ast_log. */
38 #define ast_log ast_log_safe
39
40 static FILE *ref_log;
41
42 /*!
43  * astobj2 objects are always preceded by this data structure,
44  * which contains a reference counter,
45  * option flags and a pointer to a destructor.
46  * The refcount is used to decide when it is time to
47  * invoke the destructor.
48  * The magic number is used for consistency check.
49  */
50 struct __priv_data {
51         ao2_destructor_fn destructor_fn;
52         /*! This field is used for astobj2 and ao2_weakproxy objects to reference each other */
53         void *weakptr;
54 #if defined(AO2_DEBUG)
55         /*! User data size for stats */
56         size_t data_size;
57 #endif
58         /*! Number of references held for this object */
59         int32_t ref_counter;
60         /*! The ao2 object option flags */
61         uint32_t options:2;
62         /*! magic number.  This is used to verify that a pointer passed in is a
63          *  valid astobj2 or ao2_weak reference */
64         uint32_t magic:30;
65 };
66
67 #define AO2_MAGIC       0x3a70b123
68 #define AO2_WEAK        0x3a70b122
69 #define IS_AO2_MAGIC_BAD(p) (AO2_MAGIC != (p->priv_data.magic | 1))
70
71 /*!
72  * What an astobj2 object looks like: fixed-size private data
73  * followed by variable-size user data.
74  */
75 struct astobj2 {
76         struct __priv_data priv_data;
77         void *user_data[0];
78 };
79
80 struct ao2_weakproxy_notification {
81         ao2_weakproxy_notification_cb cb;
82         void *data;
83         AST_LIST_ENTRY(ao2_weakproxy_notification) list;
84 };
85
86 struct ao2_lock_priv {
87         ast_mutex_t lock;
88 };
89
90 /* AstObj2 with recursive lock. */
91 struct astobj2_lock {
92         struct ao2_lock_priv mutex;
93         struct __priv_data priv_data;
94         void *user_data[0];
95 };
96
97 struct ao2_rwlock_priv {
98         ast_rwlock_t lock;
99         /*! Count of the number of threads holding a lock on this object. -1 if it is the write lock. */
100         int num_lockers;
101 };
102
103 /* AstObj2 with RW lock. */
104 struct astobj2_rwlock {
105         struct ao2_rwlock_priv rwlock;
106         struct __priv_data priv_data;
107         void *user_data[0];
108 };
109
110 struct ao2_lockobj_priv {
111         void *lock;
112 };
113
114 /* AstObj2 with locking provided by a separate object. */
115 struct astobj2_lockobj {
116         struct ao2_lockobj_priv lockobj;
117         struct __priv_data priv_data;
118         void *user_data[0];
119 };
120
121 #ifdef AO2_DEBUG
122 struct ao2_stats ao2;
123 #endif
124
125 #define INTERNAL_OBJ_MUTEX(user_data) \
126         ((struct astobj2_lock *) (((char *) (user_data)) - sizeof(struct astobj2_lock)))
127
128 #define INTERNAL_OBJ_RWLOCK(user_data) \
129         ((struct astobj2_rwlock *) (((char *) (user_data)) - sizeof(struct astobj2_rwlock)))
130
131 #define INTERNAL_OBJ_LOCKOBJ(user_data) \
132         ((struct astobj2_lockobj *) (((char *) (user_data)) - sizeof(struct astobj2_lockobj)))
133
134 #define INTERNAL_OBJ(user_data) \
135         (struct astobj2 *) ((char *) user_data - sizeof(struct astobj2))
136
137 /*!
138  * \brief convert from a pointer _p to a user-defined object
139  *
140  * \return the pointer to the astobj2 structure
141  */
142 #define __INTERNAL_OBJ_CHECK(user_data, file, line, func) \
143         ({ \
144                 struct astobj2 *p ## __LINE__; \
145                 if (!user_data \
146                         || !(p ## __LINE__ = INTERNAL_OBJ(user_data)) \
147                         || IS_AO2_MAGIC_BAD(p ## __LINE__)) { \
148                         log_bad_ao2(user_data, file, line, func); \
149                         p ## __LINE__ = NULL; \
150                 } \
151                 (p ## __LINE__); \
152         })
153
154 #define INTERNAL_OBJ_CHECK(user_data) \
155         __INTERNAL_OBJ_CHECK(user_data, __FILE__, __LINE__, __PRETTY_FUNCTION__)
156
157 /*!
158  * \brief convert from a pointer _p to an astobj2 object
159  *
160  * \return the pointer to the user-defined portion.
161  */
162 #define EXTERNAL_OBJ(_p)        ((_p) == NULL ? NULL : (_p)->user_data)
163
164 int internal_is_ao2_object(void *user_data)
165 {
166         struct astobj2 *p;
167
168         if (!user_data) {
169                 return 0;
170         }
171
172         p = INTERNAL_OBJ(user_data);
173
174         return !p || IS_AO2_MAGIC_BAD(p) ? 0 : 1;
175 }
176
177 void log_bad_ao2(void *user_data, const char *file, int line, const char *func)
178 {
179         struct astobj2 *p;
180         char bad_magic[100];
181
182         if (!user_data) {
183                 __ast_assert_failed(0, "user_data is NULL", file, line, func);
184                 return;
185         }
186
187         p = INTERNAL_OBJ(user_data);
188         snprintf(bad_magic, sizeof(bad_magic), "bad magic number 0x%x for object %p",
189                 p->priv_data.magic, user_data);
190         __ast_assert_failed(0, bad_magic, file, line, func);
191 }
192
193 int __ao2_lock(void *user_data, enum ao2_lock_req lock_how, const char *file, const char *func, int line, const char *var)
194 {
195         struct astobj2 *obj = __INTERNAL_OBJ_CHECK(user_data, file, line, func);
196         struct astobj2_lock *obj_mutex;
197         struct astobj2_rwlock *obj_rwlock;
198         struct astobj2_lockobj *obj_lockobj;
199         int res = 0;
200
201         if (obj == NULL) {
202                 return -1;
203         }
204
205         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
206         case AO2_ALLOC_OPT_LOCK_MUTEX:
207                 obj_mutex = INTERNAL_OBJ_MUTEX(user_data);
208                 res = __ast_pthread_mutex_lock(file, line, func, var, &obj_mutex->mutex.lock);
209 #ifdef AO2_DEBUG
210                 if (!res) {
211                         ast_atomic_fetchadd_int(&ao2.total_locked, 1);
212                 }
213 #endif
214                 break;
215         case AO2_ALLOC_OPT_LOCK_RWLOCK:
216                 obj_rwlock = INTERNAL_OBJ_RWLOCK(user_data);
217                 switch (lock_how) {
218                 case AO2_LOCK_REQ_MUTEX:
219                 case AO2_LOCK_REQ_WRLOCK:
220                         res = __ast_rwlock_wrlock(file, line, func, &obj_rwlock->rwlock.lock, var);
221                         if (!res) {
222                                 ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, -1);
223 #ifdef AO2_DEBUG
224                                 ast_atomic_fetchadd_int(&ao2.total_locked, 1);
225 #endif
226                         }
227                         break;
228                 case AO2_LOCK_REQ_RDLOCK:
229                         res = __ast_rwlock_rdlock(file, line, func, &obj_rwlock->rwlock.lock, var);
230                         if (!res) {
231                                 ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, +1);
232 #ifdef AO2_DEBUG
233                                 ast_atomic_fetchadd_int(&ao2.total_locked, 1);
234 #endif
235                         }
236                         break;
237                 }
238                 break;
239         case AO2_ALLOC_OPT_LOCK_NOLOCK:
240                 /* The ao2 object has no lock. */
241                 break;
242         case AO2_ALLOC_OPT_LOCK_OBJ:
243                 obj_lockobj = INTERNAL_OBJ_LOCKOBJ(user_data);
244                 res = __ao2_lock(obj_lockobj->lockobj.lock, lock_how, file, func, line, var);
245                 break;
246         default:
247                 ast_log(__LOG_ERROR, file, line, func, "Invalid lock option on ao2 object %p\n",
248                         user_data);
249                 return -1;
250         }
251
252         return res;
253 }
254
255 int __ao2_unlock(void *user_data, const char *file, const char *func, int line, const char *var)
256 {
257         struct astobj2 *obj = __INTERNAL_OBJ_CHECK(user_data, file, line, func);
258         struct astobj2_lock *obj_mutex;
259         struct astobj2_rwlock *obj_rwlock;
260         struct astobj2_lockobj *obj_lockobj;
261         int res = 0;
262         int current_value;
263
264         if (obj == NULL) {
265                 return -1;
266         }
267
268         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
269         case AO2_ALLOC_OPT_LOCK_MUTEX:
270                 obj_mutex = INTERNAL_OBJ_MUTEX(user_data);
271                 res = __ast_pthread_mutex_unlock(file, line, func, var, &obj_mutex->mutex.lock);
272 #ifdef AO2_DEBUG
273                 if (!res) {
274                         ast_atomic_fetchadd_int(&ao2.total_locked, -1);
275                 }
276 #endif
277                 break;
278         case AO2_ALLOC_OPT_LOCK_RWLOCK:
279                 obj_rwlock = INTERNAL_OBJ_RWLOCK(user_data);
280
281                 current_value = ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, -1) - 1;
282                 if (current_value < 0) {
283                         /* It was a WRLOCK that we are unlocking.  Fix the count. */
284                         ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, -current_value);
285                 }
286                 res = __ast_rwlock_unlock(file, line, func, &obj_rwlock->rwlock.lock, var);
287 #ifdef AO2_DEBUG
288                 if (!res) {
289                         ast_atomic_fetchadd_int(&ao2.total_locked, -1);
290                 }
291 #endif
292                 break;
293         case AO2_ALLOC_OPT_LOCK_NOLOCK:
294                 /* The ao2 object has no lock. */
295                 break;
296         case AO2_ALLOC_OPT_LOCK_OBJ:
297                 obj_lockobj = INTERNAL_OBJ_LOCKOBJ(user_data);
298                 res = __ao2_unlock(obj_lockobj->lockobj.lock, file, func, line, var);
299                 break;
300         default:
301                 ast_log(__LOG_ERROR, file, line, func, "Invalid lock option on ao2 object %p\n",
302                         user_data);
303                 res = -1;
304                 break;
305         }
306         return res;
307 }
308
309 int __ao2_trylock(void *user_data, enum ao2_lock_req lock_how, const char *file, const char *func, int line, const char *var)
310 {
311         struct astobj2 *obj = __INTERNAL_OBJ_CHECK(user_data, file, line, func);
312         struct astobj2_lock *obj_mutex;
313         struct astobj2_rwlock *obj_rwlock;
314         struct astobj2_lockobj *obj_lockobj;
315         int res = 0;
316
317         if (obj == NULL) {
318                 return -1;
319         }
320
321         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
322         case AO2_ALLOC_OPT_LOCK_MUTEX:
323                 obj_mutex = INTERNAL_OBJ_MUTEX(user_data);
324                 res = __ast_pthread_mutex_trylock(file, line, func, var, &obj_mutex->mutex.lock);
325 #ifdef AO2_DEBUG
326                 if (!res) {
327                         ast_atomic_fetchadd_int(&ao2.total_locked, 1);
328                 }
329 #endif
330                 break;
331         case AO2_ALLOC_OPT_LOCK_RWLOCK:
332                 obj_rwlock = INTERNAL_OBJ_RWLOCK(user_data);
333                 switch (lock_how) {
334                 case AO2_LOCK_REQ_MUTEX:
335                 case AO2_LOCK_REQ_WRLOCK:
336                         res = __ast_rwlock_trywrlock(file, line, func, &obj_rwlock->rwlock.lock, var);
337                         if (!res) {
338                                 ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, -1);
339 #ifdef AO2_DEBUG
340                                 ast_atomic_fetchadd_int(&ao2.total_locked, 1);
341 #endif
342                         }
343                         break;
344                 case AO2_LOCK_REQ_RDLOCK:
345                         res = __ast_rwlock_tryrdlock(file, line, func, &obj_rwlock->rwlock.lock, var);
346                         if (!res) {
347                                 ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, +1);
348 #ifdef AO2_DEBUG
349                                 ast_atomic_fetchadd_int(&ao2.total_locked, 1);
350 #endif
351                         }
352                         break;
353                 }
354                 break;
355         case AO2_ALLOC_OPT_LOCK_NOLOCK:
356                 /* The ao2 object has no lock. */
357                 return 0;
358         case AO2_ALLOC_OPT_LOCK_OBJ:
359                 obj_lockobj = INTERNAL_OBJ_LOCKOBJ(user_data);
360                 res = __ao2_trylock(obj_lockobj->lockobj.lock, lock_how, file, func, line, var);
361                 break;
362         default:
363                 ast_log(__LOG_ERROR, file, line, func, "Invalid lock option on ao2 object %p\n",
364                         user_data);
365                 return -1;
366         }
367
368
369         return res;
370 }
371
372 /*!
373  * \internal
374  * \brief Adjust an object's lock to the requested level.
375  *
376  * \param user_data An ao2 object to adjust lock level.
377  * \param lock_how What level to adjust lock.
378  * \param keep_stronger TRUE if keep original lock level if it is stronger.
379  *
380  * \pre The ao2 object is already locked.
381  *
382  * \details
383  * An ao2 object with a RWLOCK will have its lock level adjusted
384  * to the specified level if it is not already there.  An ao2
385  * object with a different type of lock is not affected.
386  *
387  * \return Original lock level.
388  */
389 enum ao2_lock_req __adjust_lock(void *user_data, enum ao2_lock_req lock_how, int keep_stronger)
390 {
391         struct astobj2 *obj = INTERNAL_OBJ(user_data);
392         struct astobj2_rwlock *obj_rwlock;
393         struct astobj2_lockobj *obj_lockobj;
394         enum ao2_lock_req orig_lock;
395
396         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
397         case AO2_ALLOC_OPT_LOCK_RWLOCK:
398                 obj_rwlock = INTERNAL_OBJ_RWLOCK(user_data);
399                 if (obj_rwlock->rwlock.num_lockers < 0) {
400                         orig_lock = AO2_LOCK_REQ_WRLOCK;
401                 } else {
402                         orig_lock = AO2_LOCK_REQ_RDLOCK;
403                 }
404                 switch (lock_how) {
405                 case AO2_LOCK_REQ_MUTEX:
406                         lock_how = AO2_LOCK_REQ_WRLOCK;
407                         /* Fall through */
408                 case AO2_LOCK_REQ_WRLOCK:
409                         if (lock_how != orig_lock) {
410                                 /* Switch from read lock to write lock. */
411                                 ao2_unlock(user_data);
412                                 ao2_wrlock(user_data);
413                         }
414                         break;
415                 case AO2_LOCK_REQ_RDLOCK:
416                         if (!keep_stronger && lock_how != orig_lock) {
417                                 /* Switch from write lock to read lock. */
418                                 ao2_unlock(user_data);
419                                 ao2_rdlock(user_data);
420                         }
421                         break;
422                 }
423                 break;
424         case AO2_ALLOC_OPT_LOCK_OBJ:
425                 obj_lockobj = INTERNAL_OBJ_LOCKOBJ(user_data);
426                 orig_lock = __adjust_lock(obj_lockobj->lockobj.lock, lock_how, keep_stronger);
427                 break;
428         default:
429                 ast_log(LOG_ERROR, "Invalid lock option on ao2 object %p\n", user_data);
430                 /* Fall through */
431         case AO2_ALLOC_OPT_LOCK_NOLOCK:
432         case AO2_ALLOC_OPT_LOCK_MUTEX:
433                 orig_lock = AO2_LOCK_REQ_MUTEX;
434                 break;
435         }
436
437         return orig_lock;
438 }
439
440 void *ao2_object_get_lockaddr(void *user_data)
441 {
442         struct astobj2 *obj;
443         struct astobj2_lock *obj_mutex;
444
445         obj = INTERNAL_OBJ_CHECK(user_data);
446
447         if (obj == NULL) {
448                 return NULL;
449         }
450
451         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
452         case AO2_ALLOC_OPT_LOCK_MUTEX:
453                 obj_mutex = INTERNAL_OBJ_MUTEX(user_data);
454                 return &obj_mutex->mutex.lock;
455         default:
456                 break;
457         }
458
459         return NULL;
460 }
461
462 int __ao2_ref(void *user_data, int delta,
463         const char *tag, const char *file, int line, const char *func)
464 {
465         struct astobj2 *obj = __INTERNAL_OBJ_CHECK(user_data, file, line, func);
466         struct astobj2_lock *obj_mutex;
467         struct astobj2_rwlock *obj_rwlock;
468         struct astobj2_lockobj *obj_lockobj;
469         int32_t current_value;
470         int32_t ret;
471         struct ao2_weakproxy *weakproxy = NULL;
472
473         if (obj == NULL) {
474                 if (ref_log && user_data) {
475                         fprintf(ref_log, "%p,%d,%d,%s,%d,%s,**invalid**,%s\n",
476                                 user_data, delta, ast_get_tid(), file, line, func, tag ?: "");
477                         fflush(ref_log);
478                 }
479                 return -1;
480         }
481
482         /* if delta is 0, just return the refcount */
483         if (delta == 0) {
484                 return obj->priv_data.ref_counter;
485         }
486
487         if (delta < 0 && obj->priv_data.magic == AO2_MAGIC && (weakproxy = obj->priv_data.weakptr)) {
488                 ao2_lock(weakproxy);
489         }
490
491         /* we modify with an atomic operation the reference counter */
492         ret = ast_atomic_fetch_add(&obj->priv_data.ref_counter, delta, __ATOMIC_RELAXED);
493         current_value = ret + delta;
494
495 #ifdef AO2_DEBUG
496         ast_atomic_fetchadd_int(&ao2.total_refs, delta);
497 #endif
498
499         if (weakproxy) {
500                 struct ao2_weakproxy cbs;
501
502                 if (current_value == 1) {
503                         /* The only remaining reference is the one owned by the weak object */
504                         struct astobj2 *internal_weakproxy;
505
506                         internal_weakproxy = INTERNAL_OBJ_CHECK(weakproxy);
507
508                         /* Unlink the obj from the weak proxy */
509                         internal_weakproxy->priv_data.weakptr = NULL;
510                         obj->priv_data.weakptr = NULL;
511
512                         /* transfer list to local copy so callbacks are run with weakproxy unlocked. */
513                         cbs.destroyed_cb = weakproxy->destroyed_cb;
514                         AST_LIST_HEAD_INIT_NOLOCK(&weakproxy->destroyed_cb);
515
516                         /* weak is already unlinked from obj so this won't recurse */
517                         ao2_ref(user_data, -1);
518                 }
519
520                 ao2_unlock(weakproxy);
521
522                 if (current_value == 1) {
523                         struct ao2_weakproxy_notification *destroyed_cb;
524
525                         /* Notify the subscribers that weakproxy now points to NULL. */
526                         while ((destroyed_cb = AST_LIST_REMOVE_HEAD(&cbs.destroyed_cb, list))) {
527                                 destroyed_cb->cb(weakproxy, destroyed_cb->data);
528                                 ast_free(destroyed_cb);
529                         }
530
531                         ao2_ref(weakproxy, -1);
532                 }
533         }
534
535         if (0 < current_value) {
536                 /* The object still lives. */
537 #define EXCESSIVE_REF_COUNT             100000
538
539                 if (EXCESSIVE_REF_COUNT <= current_value && ret < EXCESSIVE_REF_COUNT) {
540                         char excessive_ref_buf[100];
541
542                         /* We just reached or went over the excessive ref count trigger */
543                         snprintf(excessive_ref_buf, sizeof(excessive_ref_buf),
544                                 "Excessive refcount %d reached on ao2 object %p",
545                                 (int)current_value, user_data);
546                         ast_log(__LOG_ERROR, file, line, func, "%s\n", excessive_ref_buf);
547
548                         __ast_assert_failed(0, excessive_ref_buf, file, line, func);
549                 }
550
551                 if (ref_log && tag) {
552                         fprintf(ref_log, "%p,%s%d,%d,%s,%d,%s,%d,%s\n", user_data,
553                                 (delta < 0 ? "" : "+"), delta, ast_get_tid(),
554                                 file, line, func, (int)ret, tag);
555                         fflush(ref_log);
556                 }
557                 return ret;
558         }
559
560         /* this case must never happen */
561         if (current_value < 0) {
562                 ast_log(__LOG_ERROR, file, line, func,
563                         "Invalid refcount %d on ao2 object %p\n", (int)current_value, user_data);
564                 if (ref_log) {
565                         /* Log to ref_log invalid even if (tag == NULL) */
566                         fprintf(ref_log, "%p,%d,%d,%s,%d,%s,**invalid**,%s\n",
567                                 user_data, delta, ast_get_tid(), file, line, func, tag ?: "");
568                         fflush(ref_log);
569                 }
570                 ast_assert(0);
571                 /* stop here even if assert doesn't DO_CRASH */
572                 return -1;
573         }
574
575         /* last reference, destroy the object */
576         if (obj->priv_data.destructor_fn != NULL) {
577                 obj->priv_data.destructor_fn(user_data);
578         }
579
580 #ifdef AO2_DEBUG
581         ast_atomic_fetchadd_int(&ao2.total_mem, - obj->priv_data.data_size);
582         ast_atomic_fetchadd_int(&ao2.total_objects, -1);
583 #endif
584
585         /* In case someone uses an object after it's been freed */
586         obj->priv_data.magic = 0;
587
588         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
589         case AO2_ALLOC_OPT_LOCK_MUTEX:
590                 obj_mutex = INTERNAL_OBJ_MUTEX(user_data);
591                 ast_mutex_destroy(&obj_mutex->mutex.lock);
592
593                 ast_free(obj_mutex);
594                 break;
595         case AO2_ALLOC_OPT_LOCK_RWLOCK:
596                 obj_rwlock = INTERNAL_OBJ_RWLOCK(user_data);
597                 ast_rwlock_destroy(&obj_rwlock->rwlock.lock);
598
599                 ast_free(obj_rwlock);
600                 break;
601         case AO2_ALLOC_OPT_LOCK_NOLOCK:
602                 ast_free(obj);
603                 break;
604         case AO2_ALLOC_OPT_LOCK_OBJ:
605                 obj_lockobj = INTERNAL_OBJ_LOCKOBJ(user_data);
606                 ao2_t_ref(obj_lockobj->lockobj.lock, -1, "release lockobj");
607
608                 ast_free(obj_lockobj);
609                 break;
610         default:
611                 ast_log(__LOG_ERROR, file, line, func,
612                         "Invalid lock option on ao2 object %p\n", user_data);
613                 break;
614         }
615
616         if (ref_log && tag) {
617                 fprintf(ref_log, "%p,%d,%d,%s,%d,%s,**destructor**,%s\n",
618                         user_data, delta, ast_get_tid(), file, line, func, tag);
619                 fflush(ref_log);
620         }
621
622         return ret;
623 }
624
625 void __ao2_cleanup_debug(void *obj, const char *tag, const char *file, int line, const char *function)
626 {
627         if (obj) {
628                 __ao2_ref(obj, -1, tag, file, line, function);
629         }
630 }
631
632 void __ao2_cleanup(void *obj)
633 {
634         if (obj) {
635                 ao2_ref(obj, -1);
636         }
637 }
638
639 static void *internal_ao2_alloc(size_t data_size, ao2_destructor_fn destructor_fn, unsigned int options,
640         void *lockobj, const char *tag, const char *file, int line, const char *func)
641 {
642         /* allocation */
643         struct astobj2 *obj;
644         struct astobj2_lock *obj_mutex;
645         struct astobj2_rwlock *obj_rwlock;
646         struct astobj2_lockobj *obj_lockobj;
647
648         switch (options & AO2_ALLOC_OPT_LOCK_MASK) {
649         case AO2_ALLOC_OPT_LOCK_MUTEX:
650                 obj_mutex = __ast_calloc(1, sizeof(*obj_mutex) + data_size, file, line, func);
651                 if (obj_mutex == NULL) {
652                         return NULL;
653                 }
654
655                 ast_mutex_init(&obj_mutex->mutex.lock);
656                 obj = (struct astobj2 *) &obj_mutex->priv_data;
657                 break;
658         case AO2_ALLOC_OPT_LOCK_RWLOCK:
659                 obj_rwlock = __ast_calloc(1, sizeof(*obj_rwlock) + data_size, file, line, func);
660                 if (obj_rwlock == NULL) {
661                         return NULL;
662                 }
663
664                 ast_rwlock_init(&obj_rwlock->rwlock.lock);
665                 obj = (struct astobj2 *) &obj_rwlock->priv_data;
666                 break;
667         case AO2_ALLOC_OPT_LOCK_NOLOCK:
668                 obj = __ast_calloc(1, sizeof(*obj) + data_size, file, line, func);
669                 if (obj == NULL) {
670                         return NULL;
671                 }
672                 break;
673         case AO2_ALLOC_OPT_LOCK_OBJ:
674                 lockobj = ao2_t_bump(lockobj, "set lockobj");
675                 if (!lockobj) {
676                         ast_log(__LOG_ERROR, file, line, func, "AO2_ALLOC_OPT_LOCK_OBJ requires a non-NULL lockobj.\n");
677                         return NULL;
678                 }
679
680                 obj_lockobj = __ast_calloc(1, sizeof(*obj_lockobj) + data_size, file, line, func);
681                 if (obj_lockobj == NULL) {
682                         ao2_t_ref(lockobj, -1, "release lockobj for failed alloc");
683                         return NULL;
684                 }
685
686                 obj_lockobj->lockobj.lock = lockobj;
687                 obj = (struct astobj2 *) &obj_lockobj->priv_data;
688                 break;
689         default:
690                 /* Invalid option value. */
691                 ast_log(__LOG_DEBUG, file, line, func, "Invalid lock option requested\n");
692                 return NULL;
693         }
694
695         /* Initialize common ao2 values. */
696         obj->priv_data.destructor_fn = destructor_fn;   /* can be NULL */
697         obj->priv_data.ref_counter = 1;
698         obj->priv_data.options = options;
699         obj->priv_data.magic = AO2_MAGIC;
700
701 #ifdef AO2_DEBUG
702         obj->priv_data.data_size = data_size;
703         ast_atomic_fetchadd_int(&ao2.total_objects, 1);
704         ast_atomic_fetchadd_int(&ao2.total_mem, data_size);
705         ast_atomic_fetchadd_int(&ao2.total_refs, 1);
706 #endif
707
708         if (ref_log && tag) {
709                 fprintf(ref_log, "%p,+1,%d,%s,%d,%s,**constructor**,%s\n",
710                         EXTERNAL_OBJ(obj), ast_get_tid(), file, line, func, tag);
711                 fflush(ref_log);
712         }
713
714         /* return a pointer to the user data */
715         return EXTERNAL_OBJ(obj);
716 }
717
718 void *__ao2_alloc(size_t data_size, ao2_destructor_fn destructor_fn, unsigned int options,
719         const char *tag, const char *file, int line, const char *func)
720 {
721         return internal_ao2_alloc(data_size, destructor_fn, options, NULL, tag, file, line, func);
722 }
723
724 void *__ao2_alloc_with_lockobj(size_t data_size, ao2_destructor_fn destructor_fn, void *lockobj,
725         const char *tag, const char *file, int line, const char *func)
726 {
727         return internal_ao2_alloc(data_size, destructor_fn, AO2_ALLOC_OPT_LOCK_OBJ, lockobj,
728                 tag, file, line, func);
729 }
730
731 unsigned int ao2_options_get(void *obj)
732 {
733         struct astobj2 *orig_obj;
734
735         orig_obj = INTERNAL_OBJ_CHECK(obj);
736         if (!orig_obj) {
737                 return 0;
738         }
739         return orig_obj->priv_data.options;
740 }
741
742 void *__ao2_global_obj_replace(struct ao2_global_obj *holder, void *obj, const char *tag, const char *file, int line, const char *func, const char *name)
743 {
744         void *obj_old;
745
746         if (!holder) {
747                 /* For sanity */
748                 ast_log(LOG_ERROR, "Must be called with a global object!\n");
749                 ast_assert(0);
750                 return NULL;
751         }
752         if (__ast_rwlock_wrlock(file, line, func, &holder->lock, name)) {
753                 /* Could not get the write lock. */
754                 ast_assert(0);
755                 return NULL;
756         }
757
758         if (obj) {
759                 __ao2_ref(obj, +1, tag, file, line, func);
760         }
761         obj_old = holder->obj;
762         holder->obj = obj;
763
764         __ast_rwlock_unlock(file, line, func, &holder->lock, name);
765
766         return obj_old;
767 }
768
769 int __ao2_global_obj_replace_unref(struct ao2_global_obj *holder, void *obj, const char *tag, const char *file, int line, const char *func, const char *name)
770 {
771         void *obj_old;
772
773         obj_old = __ao2_global_obj_replace(holder, obj, tag, file, line, func, name);
774         if (obj_old) {
775                 __ao2_ref(obj_old, -1, tag, file, line, func);
776                 return 1;
777         }
778         return 0;
779 }
780
781 void *__ao2_global_obj_ref(struct ao2_global_obj *holder, const char *tag, const char *file, int line, const char *func, const char *name)
782 {
783         void *obj;
784
785         if (!holder) {
786                 /* For sanity */
787                 ast_log(LOG_ERROR, "Must be called with a global object!\n");
788                 ast_assert(0);
789                 return NULL;
790         }
791
792         if (__ast_rwlock_rdlock(file, line, func, &holder->lock, name)) {
793                 /* Could not get the read lock. */
794                 ast_assert(0);
795                 return NULL;
796         }
797
798         obj = holder->obj;
799         if (obj) {
800                 __ao2_ref(obj, +1, tag, file, line, func);
801         }
802
803         __ast_rwlock_unlock(file, line, func, &holder->lock, name);
804
805         return obj;
806 }
807
808
809 void *__ao2_weakproxy_alloc(size_t data_size, ao2_destructor_fn destructor_fn,
810         const char *tag, const char *file, int line, const char *func)
811 {
812         struct ao2_weakproxy *weakproxy;
813
814         if (data_size < sizeof(*weakproxy)) {
815                 ast_assert(0);
816                 ast_log(LOG_ERROR, "Requested data_size smaller than minimum.\n");
817                 return NULL;
818         }
819
820         weakproxy = __ao2_alloc(data_size, destructor_fn, AO2_ALLOC_OPT_LOCK_MUTEX,
821                 tag, file, line, func);
822
823         if (weakproxy) {
824                 struct astobj2 *weakproxy_internal;
825
826                 /* Just created weakproxy, no need to check if it's valid. */
827                 weakproxy_internal = INTERNAL_OBJ(weakproxy);
828                 weakproxy_internal->priv_data.magic = AO2_WEAK;
829         }
830
831         return weakproxy;
832 }
833
834 int __ao2_weakproxy_set_object(void *weakproxy, void *obj, int flags,
835         const char *tag, const char *file, int line, const char *func)
836 {
837         struct astobj2 *weakproxy_internal = __INTERNAL_OBJ_CHECK(weakproxy, file, line, func);
838         struct astobj2 *obj_internal = __INTERNAL_OBJ_CHECK(obj, file, line, func);
839         int ret = -1;
840
841         if (!weakproxy_internal
842                 || weakproxy_internal->priv_data.magic != AO2_WEAK) {
843                 return -1;
844         }
845
846         if (!obj_internal
847                 || obj_internal->priv_data.weakptr
848                 || obj_internal->priv_data.magic != AO2_MAGIC) {
849                 return -1;
850         }
851
852         if (!(flags & OBJ_NOLOCK)) {
853                 ao2_lock(weakproxy);
854         }
855
856         if (!weakproxy_internal->priv_data.weakptr) {
857                 __ao2_ref(obj, +1, tag, file, line, func);
858                 __ao2_ref(weakproxy, +1, tag, file, line, func);
859
860                 weakproxy_internal->priv_data.weakptr = obj;
861                 obj_internal->priv_data.weakptr = weakproxy;
862
863                 ret = 0;
864         }
865
866         if (!(flags & OBJ_NOLOCK)) {
867                 ao2_unlock(weakproxy);
868                 /* It is possible for obj to be accessed now.  It's allowed
869                  * for weakproxy to already be in a container.  Another thread
870                  * could have been waiting for a lock on weakproxy to retrieve
871                  * the object.
872                  */
873         }
874
875         return ret;
876 }
877
878 int __ao2_weakproxy_ref_object(void *weakproxy, int delta, int flags,
879         const char *tag, const char *file, int line, const char *func)
880 {
881         struct astobj2 *internal = __INTERNAL_OBJ_CHECK(weakproxy, file, line, func);
882         int ret = -1;
883
884         if (!internal || internal->priv_data.magic != AO2_WEAK) {
885                 /* This method is meant to be run on weakproxy objects! */
886                 return -2;
887         }
888
889         /* We have a weak object, grab lock. */
890         if (!(flags & OBJ_NOLOCK)) {
891                 ao2_lock(weakproxy);
892         }
893
894         if (internal->priv_data.weakptr) {
895                 ret = __ao2_ref(internal->priv_data.weakptr, delta, tag, file, line, func);
896         }
897
898         if (!(flags & OBJ_NOLOCK)) {
899                 ao2_unlock(weakproxy);
900         }
901
902         return ret;
903 }
904
905 void *__ao2_weakproxy_get_object(void *weakproxy, int flags,
906         const char *tag, const char *file, int line, const char *func)
907 {
908         struct astobj2 *internal = __INTERNAL_OBJ_CHECK(weakproxy, file, line, func);
909         void *obj;
910
911         if (!internal || internal->priv_data.magic != AO2_WEAK) {
912                 /* This method is meant to be run on weakproxy objects! */
913                 return NULL;
914         }
915
916         /* We have a weak object, grab reference to object within lock */
917         if (!(flags & OBJ_NOLOCK)) {
918                 ao2_lock(weakproxy);
919         }
920
921         obj = internal->priv_data.weakptr;
922         if (obj) {
923                 __ao2_ref(obj, +1, tag, file, line, func);
924         }
925
926         if (!(flags & OBJ_NOLOCK)) {
927                 ao2_unlock(weakproxy);
928         }
929
930         return obj;
931 }
932
933 void *__ao2_get_weakproxy(void *obj, const char *tag, const char *file, int line, const char *func)
934 {
935         struct astobj2 *obj_internal = __INTERNAL_OBJ_CHECK(obj, file, line, func);
936
937         if (!obj_internal || obj_internal->priv_data.magic != AO2_MAGIC) {
938                 /* This method is meant to be run on normal ao2 objects! */
939                 return NULL;
940         }
941
942         if (!obj_internal->priv_data.weakptr) {
943                 return NULL;
944         }
945
946         __ao2_ref(obj_internal->priv_data.weakptr, +1, tag, file, line, func);
947         return obj_internal->priv_data.weakptr;
948 }
949
950 int ao2_weakproxy_subscribe(void *weakproxy, ao2_weakproxy_notification_cb cb, void *data, int flags)
951 {
952         struct astobj2 *weakproxy_internal = INTERNAL_OBJ_CHECK(weakproxy);
953         int ret = -1;
954         int hasobj;
955
956         if (!weakproxy_internal || weakproxy_internal->priv_data.magic != AO2_WEAK) {
957                 return -1;
958         }
959
960         if (!(flags & OBJ_NOLOCK)) {
961                 ao2_lock(weakproxy);
962         }
963
964         hasobj = weakproxy_internal->priv_data.weakptr != NULL;
965         if (hasobj) {
966                 struct ao2_weakproxy *weak = weakproxy;
967                 struct ao2_weakproxy_notification *sub = ast_calloc(1, sizeof(*sub));
968
969                 if (sub) {
970                         sub->cb = cb;
971                         sub->data = data;
972                         AST_LIST_INSERT_HEAD(&weak->destroyed_cb, sub, list);
973                         ret = 0;
974                 }
975         }
976
977         if (!(flags & OBJ_NOLOCK)) {
978                 ao2_unlock(weakproxy);
979         }
980
981         if (!hasobj) {
982                 cb(weakproxy, data);
983                 ret = 0;
984         }
985
986         return ret;
987 }
988
989 int ao2_weakproxy_unsubscribe(void *weakproxy, ao2_weakproxy_notification_cb destroyed_cb, void *data, int flags)
990 {
991         struct astobj2 *internal_weakproxy = INTERNAL_OBJ_CHECK(weakproxy);
992         struct ao2_weakproxy *weak;
993         struct ao2_weakproxy_notification *sub;
994         int ret = 0;
995
996         if (!internal_weakproxy || internal_weakproxy->priv_data.magic != AO2_WEAK || !destroyed_cb) {
997                 return -1;
998         }
999
1000         if (!(flags & OBJ_NOLOCK)) {
1001                 ao2_lock(weakproxy);
1002         }
1003
1004         weak = weakproxy;
1005         AST_LIST_TRAVERSE_SAFE_BEGIN(&weak->destroyed_cb, sub, list) {
1006                 if (sub->cb == destroyed_cb && sub->data == data) {
1007                         AST_LIST_REMOVE_CURRENT(list);
1008                         ast_free(sub);
1009                         ret++;
1010                         if (!(flags & OBJ_MULTIPLE)) {
1011                                 break;
1012                         }
1013                 }
1014         }
1015         AST_LIST_TRAVERSE_SAFE_END;
1016
1017         if (!(flags & OBJ_NOLOCK)) {
1018                 ao2_unlock(weakproxy);
1019         }
1020
1021         return ret;
1022 }
1023
1024
1025 #ifdef AO2_DEBUG
1026 static int print_cb(void *obj, void *arg, int flag)
1027 {
1028         struct ast_cli_args *a = (struct ast_cli_args *) arg;
1029         char *s = (char *)obj;
1030
1031         ast_cli(a->fd, "string <%s>\n", s);
1032         return 0;
1033 }
1034
1035 /*
1036  * Print stats
1037  */
1038 static char *handle_astobj2_stats(struct ast_cli_entry *e, int cmd, struct ast_cli_args *a)
1039 {
1040         switch (cmd) {
1041         case CLI_INIT:
1042                 e->command = "astobj2 show stats";
1043                 e->usage = "Usage: astobj2 show stats\n"
1044                            "       Show astobj2 show stats\n";
1045                 return NULL;
1046         case CLI_GENERATE:
1047                 return NULL;
1048         }
1049         ast_cli(a->fd, "Objects    : %d\n", ao2.total_objects);
1050         ast_cli(a->fd, "Containers : %d\n", ao2.total_containers);
1051         ast_cli(a->fd, "Memory     : %d\n", ao2.total_mem);
1052         ast_cli(a->fd, "Locked     : %d\n", ao2.total_locked);
1053         ast_cli(a->fd, "Refs       : %d\n", ao2.total_refs);
1054         return CLI_SUCCESS;
1055 }
1056
1057 /*
1058  * This is testing code for astobj
1059  */
1060 static char *handle_astobj2_test(struct ast_cli_entry *e, int cmd, struct ast_cli_args *a)
1061 {
1062         struct ao2_container *c1;
1063         struct ao2_container *c2;
1064         int i, lim;
1065         char *obj;
1066         static int prof_id = -1;
1067         struct ast_cli_args fake_args = { a->fd, 0, NULL };
1068
1069         switch (cmd) {
1070         case CLI_INIT:
1071                 e->command = "astobj2 test";
1072                 e->usage = "Usage: astobj2 test <num>\n"
1073                            "       Runs astobj2 test. Creates 'num' objects,\n"
1074                            "       and test iterators, callbacks and maybe other stuff\n";
1075                 return NULL;
1076         case CLI_GENERATE:
1077                 return NULL;
1078         }
1079
1080         if (a->argc != 3) {
1081                 return CLI_SHOWUSAGE;
1082         }
1083
1084         if (prof_id == -1) {
1085                 prof_id = ast_add_profile("ao2_alloc", 0);
1086         }
1087
1088         ast_cli(a->fd, "argc %d argv %s %s %s\n", a->argc, a->argv[0], a->argv[1], a->argv[2]);
1089         lim = atoi(a->argv[2]);
1090         ast_cli(a->fd, "called astobj_test\n");
1091
1092         handle_astobj2_stats(e, CLI_HANDLER, &fake_args);
1093         /*
1094          * Allocate a list container.
1095          */
1096         c1 = ao2_t_container_alloc_list(AO2_ALLOC_OPT_LOCK_MUTEX, 0, NULL /* no sort */,
1097                 NULL /* no callback */, "test");
1098         ast_cli(a->fd, "container allocated as %p\n", c1);
1099
1100         /*
1101          * fill the container with objects.
1102          * ao2_alloc() gives us a reference which we pass to the
1103          * container when we do the insert.
1104          */
1105         for (i = 0; i < lim; i++) {
1106                 ast_mark(prof_id, 1 /* start */);
1107                 obj = ao2_t_alloc(80, NULL,"test");
1108                 ast_mark(prof_id, 0 /* stop */);
1109                 ast_cli(a->fd, "object %d allocated as %p\n", i, obj);
1110                 sprintf(obj, "-- this is obj %d --", i);
1111                 ao2_link(c1, obj);
1112                 /* At this point, the refcount on obj is 2 due to the allocation
1113                  * and linking. We can go ahead and reduce the refcount by 1
1114                  * right here so that when the container is unreffed later, the
1115                  * objects will be freed
1116                  */
1117                 ao2_t_ref(obj, -1, "test");
1118         }
1119
1120         ast_cli(a->fd, "testing callbacks\n");
1121         ao2_t_callback(c1, 0, print_cb, a, "test callback");
1122
1123         ast_cli(a->fd, "testing container cloning\n");
1124         c2 = ao2_container_clone(c1, 0);
1125         if (ao2_container_count(c1) != ao2_container_count(c2)) {
1126                 ast_cli(a->fd, "Cloned container does not have the same number of objects!\n");
1127         }
1128         ao2_t_callback(c2, 0, print_cb, a, "test callback");
1129
1130         ast_cli(a->fd, "testing iterators, remove every second object\n");
1131         {
1132                 struct ao2_iterator ai;
1133                 int x = 0;
1134
1135                 ai = ao2_iterator_init(c1, 0);
1136                 while ( (obj = ao2_t_iterator_next(&ai,"test")) ) {
1137                         ast_cli(a->fd, "iterator on <%s>\n", obj);
1138                         if (x++ & 1)
1139                                 ao2_t_unlink(c1, obj,"test");
1140                         ao2_t_ref(obj, -1,"test");
1141                 }
1142                 ao2_iterator_destroy(&ai);
1143                 ast_cli(a->fd, "testing iterators again\n");
1144                 ai = ao2_iterator_init(c1, 0);
1145                 while ( (obj = ao2_t_iterator_next(&ai,"test")) ) {
1146                         ast_cli(a->fd, "iterator on <%s>\n", obj);
1147                         ao2_t_ref(obj, -1,"test");
1148                 }
1149                 ao2_iterator_destroy(&ai);
1150         }
1151
1152         ast_cli(a->fd, "testing callbacks again\n");
1153         ao2_t_callback(c1, 0, print_cb, a, "test callback");
1154
1155         ast_verbose("now you should see an error and possible assertion failure messages:\n");
1156         ao2_t_ref(&i, -1, "");  /* i is not a valid object so we print an error here */
1157
1158         ast_cli(a->fd, "destroy container\n");
1159         ao2_t_ref(c1, -1, "");  /* destroy container */
1160         ao2_t_ref(c2, -1, "");  /* destroy container */
1161         handle_astobj2_stats(e, CLI_HANDLER, &fake_args);
1162         return CLI_SUCCESS;
1163 }
1164 #endif /* AO2_DEBUG */
1165
1166 #if defined(AO2_DEBUG)
1167 static struct ast_cli_entry cli_astobj2[] = {
1168         AST_CLI_DEFINE(handle_astobj2_stats, "Print astobj2 statistics"),
1169         AST_CLI_DEFINE(handle_astobj2_test, "Test astobj2"),
1170 };
1171 #endif /* AO2_DEBUG */
1172
1173 static void astobj2_cleanup(void)
1174 {
1175 #if defined(AO2_DEBUG)
1176         ast_cli_unregister_multiple(cli_astobj2, ARRAY_LEN(cli_astobj2));
1177 #endif
1178
1179         if (ast_opt_ref_debug) {
1180                 fclose(ref_log);
1181                 ref_log = NULL;
1182         }
1183 }
1184
1185 int astobj2_init(void)
1186 {
1187         char ref_filename[1024];
1188
1189         if (ast_opt_ref_debug) {
1190                 snprintf(ref_filename, sizeof(ref_filename), "%s/refs", ast_config_AST_LOG_DIR);
1191                 ref_log = fopen(ref_filename, "w");
1192                 if (!ref_log) {
1193                         ast_log(LOG_ERROR, "Could not open ref debug log file: %s\n", ref_filename);
1194                 }
1195         }
1196
1197         if (container_init() != 0) {
1198                 fclose(ref_log);
1199                 return -1;
1200         }
1201
1202 #if defined(AO2_DEBUG)
1203         ast_cli_register_multiple(cli_astobj2, ARRAY_LEN(cli_astobj2));
1204 #endif  /* defined(AO2_DEBUG) */
1205
1206         ast_register_cleanup(astobj2_cleanup);
1207
1208         return 0;
1209 }