23109a6f89a0039dbaa525d7857b1191a2355a83
[asterisk/asterisk.git] / main / astobj2.c
1 /*
2  * astobj2 - replacement containers for asterisk data structures.
3  *
4  * Copyright (C) 2006 Marta Carbone, Luigi Rizzo - Univ. di Pisa, Italy
5  *
6  * See http://www.asterisk.org for more information about
7  * the Asterisk project. Please do not directly contact
8  * any of the maintainers of this project for assistance;
9  * the project provides a web site, mailing lists and IRC
10  * channels for your use.
11  *
12  * This program is free software, distributed under the terms of
13  * the GNU General Public License Version 2. See the LICENSE file
14  * at the top of the source tree.
15  */
16
17 /*! \file
18  *
19  * \brief Functions implementing astobj2 objects.
20  *
21  * \author Richard Mudgett <rmudgett@digium.com>
22  */
23
24 /*** MODULEINFO
25         <support_level>core</support_level>
26  ***/
27
28 /* This reduces the size of lock structures within astobj2 objects when
29  * DEBUG_THREADS is not defined. */
30 #define DEBUG_THREADS_LOOSE_ABI
31
32 #include "asterisk.h"
33
34 #include "asterisk/_private.h"
35 #include "asterisk/astobj2.h"
36 #include "astobj2_private.h"
37 #include "astobj2_container_private.h"
38 #include "asterisk/cli.h"
39 #include "asterisk/paths.h"
40
41 /* Use ast_log_safe in place of ast_log. */
42 #define ast_log ast_log_safe
43
44 static FILE *ref_log;
45
46 /*!
47  * astobj2 objects are always preceded by this data structure,
48  * which contains a reference counter,
49  * option flags and a pointer to a destructor.
50  * The refcount is used to decide when it is time to
51  * invoke the destructor.
52  * The magic number is used for consistency check.
53  */
54 struct __priv_data {
55         ao2_destructor_fn destructor_fn;
56         /*! This field is used for astobj2 and ao2_weakproxy objects to reference each other */
57         void *weakptr;
58 #if defined(AO2_DEBUG)
59         /*! User data size for stats */
60         size_t data_size;
61 #endif
62         /*! Number of references held for this object */
63         int32_t ref_counter;
64         /*! The ao2 object option flags */
65         uint32_t options:2;
66         /*! magic number.  This is used to verify that a pointer passed in is a
67          *  valid astobj2 or ao2_weak reference */
68         uint32_t magic:30;
69 };
70
71 #define AO2_MAGIC       0x3a70b123
72 #define AO2_WEAK        0x3a70b122
73 #define IS_AO2_MAGIC_BAD(p) (AO2_MAGIC != (p->priv_data.magic | 1))
74
75 /*!
76  * What an astobj2 object looks like: fixed-size private data
77  * followed by variable-size user data.
78  */
79 struct astobj2 {
80         struct __priv_data priv_data;
81         void *user_data[0];
82 };
83
84 struct ao2_weakproxy_notification {
85         ao2_weakproxy_notification_cb cb;
86         void *data;
87         AST_LIST_ENTRY(ao2_weakproxy_notification) list;
88 };
89
90 struct ao2_lock_priv {
91         ast_mutex_t lock;
92 };
93
94 /* AstObj2 with recursive lock. */
95 struct astobj2_lock {
96         struct ao2_lock_priv mutex;
97         struct __priv_data priv_data;
98         void *user_data[0];
99 };
100
101 struct ao2_rwlock_priv {
102         ast_rwlock_t lock;
103         /*! Count of the number of threads holding a lock on this object. -1 if it is the write lock. */
104         int num_lockers;
105 };
106
107 /* AstObj2 with RW lock. */
108 struct astobj2_rwlock {
109         struct ao2_rwlock_priv rwlock;
110         struct __priv_data priv_data;
111         void *user_data[0];
112 };
113
114 struct ao2_lockobj_priv {
115         void *lock;
116 };
117
118 /* AstObj2 with locking provided by a separate object. */
119 struct astobj2_lockobj {
120         struct ao2_lockobj_priv lockobj;
121         struct __priv_data priv_data;
122         void *user_data[0];
123 };
124
125 #ifdef AO2_DEBUG
126 struct ao2_stats ao2;
127 #endif
128
129 #define INTERNAL_OBJ_MUTEX(user_data) \
130         ((struct astobj2_lock *) (((char *) (user_data)) - sizeof(struct astobj2_lock)))
131
132 #define INTERNAL_OBJ_RWLOCK(user_data) \
133         ((struct astobj2_rwlock *) (((char *) (user_data)) - sizeof(struct astobj2_rwlock)))
134
135 #define INTERNAL_OBJ_LOCKOBJ(user_data) \
136         ((struct astobj2_lockobj *) (((char *) (user_data)) - sizeof(struct astobj2_lockobj)))
137
138 #define INTERNAL_OBJ(user_data) \
139         (struct astobj2 *) ((char *) user_data - sizeof(struct astobj2))
140
141 /*!
142  * \brief convert from a pointer _p to a user-defined object
143  *
144  * \return the pointer to the astobj2 structure
145  */
146 #define __INTERNAL_OBJ_CHECK(user_data, file, line, func) \
147         ({ \
148                 struct astobj2 *p ## __LINE__; \
149                 if (!user_data \
150                         || !(p ## __LINE__ = INTERNAL_OBJ(user_data)) \
151                         || IS_AO2_MAGIC_BAD(p ## __LINE__)) { \
152                         log_bad_ao2(user_data, file, line, func); \
153                         p ## __LINE__ = NULL; \
154                 } \
155                 (p ## __LINE__); \
156         })
157
158 #define INTERNAL_OBJ_CHECK(user_data) \
159         __INTERNAL_OBJ_CHECK(user_data, __FILE__, __LINE__, __PRETTY_FUNCTION__)
160
161 /*!
162  * \brief convert from a pointer _p to an astobj2 object
163  *
164  * \return the pointer to the user-defined portion.
165  */
166 #define EXTERNAL_OBJ(_p)        ((_p) == NULL ? NULL : (_p)->user_data)
167
168 int internal_is_ao2_object(void *user_data)
169 {
170         struct astobj2 *p;
171
172         if (!user_data) {
173                 return 0;
174         }
175
176         p = INTERNAL_OBJ(user_data);
177
178         return !p || IS_AO2_MAGIC_BAD(p) ? 0 : 1;
179 }
180
181 void log_bad_ao2(void *user_data, const char *file, int line, const char *func)
182 {
183         struct astobj2 *p;
184         char bad_magic[100];
185
186         if (!user_data) {
187                 __ast_assert_failed(0, "user_data is NULL", file, line, func);
188                 return;
189         }
190
191         p = INTERNAL_OBJ(user_data);
192         snprintf(bad_magic, sizeof(bad_magic), "bad magic number 0x%x for object %p",
193                 p->priv_data.magic, user_data);
194         __ast_assert_failed(0, bad_magic, file, line, func);
195 }
196
197 int __ao2_lock(void *user_data, enum ao2_lock_req lock_how, const char *file, const char *func, int line, const char *var)
198 {
199         struct astobj2 *obj = __INTERNAL_OBJ_CHECK(user_data, file, line, func);
200         struct astobj2_lock *obj_mutex;
201         struct astobj2_rwlock *obj_rwlock;
202         struct astobj2_lockobj *obj_lockobj;
203         int res = 0;
204
205         if (obj == NULL) {
206                 return -1;
207         }
208
209         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
210         case AO2_ALLOC_OPT_LOCK_MUTEX:
211                 obj_mutex = INTERNAL_OBJ_MUTEX(user_data);
212                 res = __ast_pthread_mutex_lock(file, line, func, var, &obj_mutex->mutex.lock);
213 #ifdef AO2_DEBUG
214                 if (!res) {
215                         ast_atomic_fetchadd_int(&ao2.total_locked, 1);
216                 }
217 #endif
218                 break;
219         case AO2_ALLOC_OPT_LOCK_RWLOCK:
220                 obj_rwlock = INTERNAL_OBJ_RWLOCK(user_data);
221                 switch (lock_how) {
222                 case AO2_LOCK_REQ_MUTEX:
223                 case AO2_LOCK_REQ_WRLOCK:
224                         res = __ast_rwlock_wrlock(file, line, func, &obj_rwlock->rwlock.lock, var);
225                         if (!res) {
226                                 ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, -1);
227 #ifdef AO2_DEBUG
228                                 ast_atomic_fetchadd_int(&ao2.total_locked, 1);
229 #endif
230                         }
231                         break;
232                 case AO2_LOCK_REQ_RDLOCK:
233                         res = __ast_rwlock_rdlock(file, line, func, &obj_rwlock->rwlock.lock, var);
234                         if (!res) {
235                                 ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, +1);
236 #ifdef AO2_DEBUG
237                                 ast_atomic_fetchadd_int(&ao2.total_locked, 1);
238 #endif
239                         }
240                         break;
241                 }
242                 break;
243         case AO2_ALLOC_OPT_LOCK_NOLOCK:
244                 /* The ao2 object has no lock. */
245                 break;
246         case AO2_ALLOC_OPT_LOCK_OBJ:
247                 obj_lockobj = INTERNAL_OBJ_LOCKOBJ(user_data);
248                 res = __ao2_lock(obj_lockobj->lockobj.lock, lock_how, file, func, line, var);
249                 break;
250         default:
251                 ast_log(__LOG_ERROR, file, line, func, "Invalid lock option on ao2 object %p\n",
252                         user_data);
253                 return -1;
254         }
255
256         return res;
257 }
258
259 int __ao2_unlock(void *user_data, const char *file, const char *func, int line, const char *var)
260 {
261         struct astobj2 *obj = __INTERNAL_OBJ_CHECK(user_data, file, line, func);
262         struct astobj2_lock *obj_mutex;
263         struct astobj2_rwlock *obj_rwlock;
264         struct astobj2_lockobj *obj_lockobj;
265         int res = 0;
266         int current_value;
267
268         if (obj == NULL) {
269                 return -1;
270         }
271
272         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
273         case AO2_ALLOC_OPT_LOCK_MUTEX:
274                 obj_mutex = INTERNAL_OBJ_MUTEX(user_data);
275                 res = __ast_pthread_mutex_unlock(file, line, func, var, &obj_mutex->mutex.lock);
276 #ifdef AO2_DEBUG
277                 if (!res) {
278                         ast_atomic_fetchadd_int(&ao2.total_locked, -1);
279                 }
280 #endif
281                 break;
282         case AO2_ALLOC_OPT_LOCK_RWLOCK:
283                 obj_rwlock = INTERNAL_OBJ_RWLOCK(user_data);
284
285                 current_value = ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, -1) - 1;
286                 if (current_value < 0) {
287                         /* It was a WRLOCK that we are unlocking.  Fix the count. */
288                         ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, -current_value);
289                 }
290                 res = __ast_rwlock_unlock(file, line, func, &obj_rwlock->rwlock.lock, var);
291 #ifdef AO2_DEBUG
292                 if (!res) {
293                         ast_atomic_fetchadd_int(&ao2.total_locked, -1);
294                 }
295 #endif
296                 break;
297         case AO2_ALLOC_OPT_LOCK_NOLOCK:
298                 /* The ao2 object has no lock. */
299                 break;
300         case AO2_ALLOC_OPT_LOCK_OBJ:
301                 obj_lockobj = INTERNAL_OBJ_LOCKOBJ(user_data);
302                 res = __ao2_unlock(obj_lockobj->lockobj.lock, file, func, line, var);
303                 break;
304         default:
305                 ast_log(__LOG_ERROR, file, line, func, "Invalid lock option on ao2 object %p\n",
306                         user_data);
307                 res = -1;
308                 break;
309         }
310         return res;
311 }
312
313 int __ao2_trylock(void *user_data, enum ao2_lock_req lock_how, const char *file, const char *func, int line, const char *var)
314 {
315         struct astobj2 *obj = __INTERNAL_OBJ_CHECK(user_data, file, line, func);
316         struct astobj2_lock *obj_mutex;
317         struct astobj2_rwlock *obj_rwlock;
318         struct astobj2_lockobj *obj_lockobj;
319         int res = 0;
320
321         if (obj == NULL) {
322                 return -1;
323         }
324
325         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
326         case AO2_ALLOC_OPT_LOCK_MUTEX:
327                 obj_mutex = INTERNAL_OBJ_MUTEX(user_data);
328                 res = __ast_pthread_mutex_trylock(file, line, func, var, &obj_mutex->mutex.lock);
329 #ifdef AO2_DEBUG
330                 if (!res) {
331                         ast_atomic_fetchadd_int(&ao2.total_locked, 1);
332                 }
333 #endif
334                 break;
335         case AO2_ALLOC_OPT_LOCK_RWLOCK:
336                 obj_rwlock = INTERNAL_OBJ_RWLOCK(user_data);
337                 switch (lock_how) {
338                 case AO2_LOCK_REQ_MUTEX:
339                 case AO2_LOCK_REQ_WRLOCK:
340                         res = __ast_rwlock_trywrlock(file, line, func, &obj_rwlock->rwlock.lock, var);
341                         if (!res) {
342                                 ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, -1);
343 #ifdef AO2_DEBUG
344                                 ast_atomic_fetchadd_int(&ao2.total_locked, 1);
345 #endif
346                         }
347                         break;
348                 case AO2_LOCK_REQ_RDLOCK:
349                         res = __ast_rwlock_tryrdlock(file, line, func, &obj_rwlock->rwlock.lock, var);
350                         if (!res) {
351                                 ast_atomic_fetchadd_int(&obj_rwlock->rwlock.num_lockers, +1);
352 #ifdef AO2_DEBUG
353                                 ast_atomic_fetchadd_int(&ao2.total_locked, 1);
354 #endif
355                         }
356                         break;
357                 }
358                 break;
359         case AO2_ALLOC_OPT_LOCK_NOLOCK:
360                 /* The ao2 object has no lock. */
361                 return 0;
362         case AO2_ALLOC_OPT_LOCK_OBJ:
363                 obj_lockobj = INTERNAL_OBJ_LOCKOBJ(user_data);
364                 res = __ao2_trylock(obj_lockobj->lockobj.lock, lock_how, file, func, line, var);
365                 break;
366         default:
367                 ast_log(__LOG_ERROR, file, line, func, "Invalid lock option on ao2 object %p\n",
368                         user_data);
369                 return -1;
370         }
371
372
373         return res;
374 }
375
376 /*!
377  * \internal
378  * \brief Adjust an object's lock to the requested level.
379  *
380  * \param user_data An ao2 object to adjust lock level.
381  * \param lock_how What level to adjust lock.
382  * \param keep_stronger TRUE if keep original lock level if it is stronger.
383  *
384  * \pre The ao2 object is already locked.
385  *
386  * \details
387  * An ao2 object with a RWLOCK will have its lock level adjusted
388  * to the specified level if it is not already there.  An ao2
389  * object with a different type of lock is not affected.
390  *
391  * \return Original lock level.
392  */
393 enum ao2_lock_req __adjust_lock(void *user_data, enum ao2_lock_req lock_how, int keep_stronger)
394 {
395         struct astobj2 *obj = INTERNAL_OBJ(user_data);
396         struct astobj2_rwlock *obj_rwlock;
397         struct astobj2_lockobj *obj_lockobj;
398         enum ao2_lock_req orig_lock;
399
400         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
401         case AO2_ALLOC_OPT_LOCK_RWLOCK:
402                 obj_rwlock = INTERNAL_OBJ_RWLOCK(user_data);
403                 if (obj_rwlock->rwlock.num_lockers < 0) {
404                         orig_lock = AO2_LOCK_REQ_WRLOCK;
405                 } else {
406                         orig_lock = AO2_LOCK_REQ_RDLOCK;
407                 }
408                 switch (lock_how) {
409                 case AO2_LOCK_REQ_MUTEX:
410                         lock_how = AO2_LOCK_REQ_WRLOCK;
411                         /* Fall through */
412                 case AO2_LOCK_REQ_WRLOCK:
413                         if (lock_how != orig_lock) {
414                                 /* Switch from read lock to write lock. */
415                                 ao2_unlock(user_data);
416                                 ao2_wrlock(user_data);
417                         }
418                         break;
419                 case AO2_LOCK_REQ_RDLOCK:
420                         if (!keep_stronger && lock_how != orig_lock) {
421                                 /* Switch from write lock to read lock. */
422                                 ao2_unlock(user_data);
423                                 ao2_rdlock(user_data);
424                         }
425                         break;
426                 }
427                 break;
428         case AO2_ALLOC_OPT_LOCK_OBJ:
429                 obj_lockobj = INTERNAL_OBJ_LOCKOBJ(user_data);
430                 orig_lock = __adjust_lock(obj_lockobj->lockobj.lock, lock_how, keep_stronger);
431                 break;
432         default:
433                 ast_log(LOG_ERROR, "Invalid lock option on ao2 object %p\n", user_data);
434                 /* Fall through */
435         case AO2_ALLOC_OPT_LOCK_NOLOCK:
436         case AO2_ALLOC_OPT_LOCK_MUTEX:
437                 orig_lock = AO2_LOCK_REQ_MUTEX;
438                 break;
439         }
440
441         return orig_lock;
442 }
443
444 void *ao2_object_get_lockaddr(void *user_data)
445 {
446         struct astobj2 *obj;
447         struct astobj2_lock *obj_mutex;
448
449         obj = INTERNAL_OBJ_CHECK(user_data);
450
451         if (obj == NULL) {
452                 return NULL;
453         }
454
455         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
456         case AO2_ALLOC_OPT_LOCK_MUTEX:
457                 obj_mutex = INTERNAL_OBJ_MUTEX(user_data);
458                 return &obj_mutex->mutex.lock;
459         default:
460                 break;
461         }
462
463         return NULL;
464 }
465
466 int __ao2_ref(void *user_data, int delta,
467         const char *tag, const char *file, int line, const char *func)
468 {
469         struct astobj2 *obj = __INTERNAL_OBJ_CHECK(user_data, file, line, func);
470         struct astobj2_lock *obj_mutex;
471         struct astobj2_rwlock *obj_rwlock;
472         struct astobj2_lockobj *obj_lockobj;
473         int32_t current_value;
474         int32_t ret;
475         struct ao2_weakproxy *weakproxy = NULL;
476
477         if (obj == NULL) {
478                 if (ref_log && user_data) {
479                         fprintf(ref_log, "%p,%d,%d,%s,%d,%s,**invalid**,%s\n",
480                                 user_data, delta, ast_get_tid(), file, line, func, tag ?: "");
481                         fflush(ref_log);
482                 }
483                 return -1;
484         }
485
486         /* if delta is 0, just return the refcount */
487         if (delta == 0) {
488                 return obj->priv_data.ref_counter;
489         }
490
491         if (delta < 0 && obj->priv_data.magic == AO2_MAGIC && (weakproxy = obj->priv_data.weakptr)) {
492                 ao2_lock(weakproxy);
493         }
494
495         /* we modify with an atomic operation the reference counter */
496         ret = ast_atomic_fetch_add(&obj->priv_data.ref_counter, delta, __ATOMIC_RELAXED);
497         current_value = ret + delta;
498
499 #ifdef AO2_DEBUG
500         ast_atomic_fetchadd_int(&ao2.total_refs, delta);
501 #endif
502
503         if (weakproxy) {
504                 struct ao2_weakproxy cbs;
505
506                 if (current_value == 1) {
507                         /* The only remaining reference is the one owned by the weak object */
508                         struct astobj2 *internal_weakproxy;
509
510                         internal_weakproxy = INTERNAL_OBJ_CHECK(weakproxy);
511
512                         /* Unlink the obj from the weak proxy */
513                         internal_weakproxy->priv_data.weakptr = NULL;
514                         obj->priv_data.weakptr = NULL;
515
516                         /* transfer list to local copy so callbacks are run with weakproxy unlocked. */
517                         cbs.destroyed_cb = weakproxy->destroyed_cb;
518                         AST_LIST_HEAD_INIT_NOLOCK(&weakproxy->destroyed_cb);
519
520                         /* weak is already unlinked from obj so this won't recurse */
521                         ao2_ref(user_data, -1);
522                 }
523
524                 ao2_unlock(weakproxy);
525
526                 if (current_value == 1) {
527                         struct ao2_weakproxy_notification *destroyed_cb;
528
529                         /* Notify the subscribers that weakproxy now points to NULL. */
530                         while ((destroyed_cb = AST_LIST_REMOVE_HEAD(&cbs.destroyed_cb, list))) {
531                                 destroyed_cb->cb(weakproxy, destroyed_cb->data);
532                                 ast_free(destroyed_cb);
533                         }
534
535                         ao2_ref(weakproxy, -1);
536                 }
537         }
538
539         if (0 < current_value) {
540                 /* The object still lives. */
541 #define EXCESSIVE_REF_COUNT             100000
542
543                 if (EXCESSIVE_REF_COUNT <= current_value && ret < EXCESSIVE_REF_COUNT) {
544                         char excessive_ref_buf[100];
545
546                         /* We just reached or went over the excessive ref count trigger */
547                         snprintf(excessive_ref_buf, sizeof(excessive_ref_buf),
548                                 "Excessive refcount %d reached on ao2 object %p",
549                                 (int)current_value, user_data);
550                         ast_log(__LOG_ERROR, file, line, func, "%s\n", excessive_ref_buf);
551
552                         __ast_assert_failed(0, excessive_ref_buf, file, line, func);
553                 }
554
555                 if (ref_log && tag) {
556                         fprintf(ref_log, "%p,%s%d,%d,%s,%d,%s,%d,%s\n", user_data,
557                                 (delta < 0 ? "" : "+"), delta, ast_get_tid(),
558                                 file, line, func, (int)ret, tag);
559                         fflush(ref_log);
560                 }
561                 return ret;
562         }
563
564         /* this case must never happen */
565         if (current_value < 0) {
566                 ast_log(__LOG_ERROR, file, line, func,
567                         "Invalid refcount %d on ao2 object %p\n", (int)current_value, user_data);
568                 if (ref_log) {
569                         /* Log to ref_log invalid even if (tag == NULL) */
570                         fprintf(ref_log, "%p,%d,%d,%s,%d,%s,**invalid**,%s\n",
571                                 user_data, delta, ast_get_tid(), file, line, func, tag ?: "");
572                         fflush(ref_log);
573                 }
574                 ast_assert(0);
575                 /* stop here even if assert doesn't DO_CRASH */
576                 return -1;
577         }
578
579         /* last reference, destroy the object */
580         if (obj->priv_data.destructor_fn != NULL) {
581                 obj->priv_data.destructor_fn(user_data);
582         }
583
584 #ifdef AO2_DEBUG
585         ast_atomic_fetchadd_int(&ao2.total_mem, - obj->priv_data.data_size);
586         ast_atomic_fetchadd_int(&ao2.total_objects, -1);
587 #endif
588
589         /* In case someone uses an object after it's been freed */
590         obj->priv_data.magic = 0;
591
592         switch (obj->priv_data.options & AO2_ALLOC_OPT_LOCK_MASK) {
593         case AO2_ALLOC_OPT_LOCK_MUTEX:
594                 obj_mutex = INTERNAL_OBJ_MUTEX(user_data);
595                 ast_mutex_destroy(&obj_mutex->mutex.lock);
596
597                 ast_free(obj_mutex);
598                 break;
599         case AO2_ALLOC_OPT_LOCK_RWLOCK:
600                 obj_rwlock = INTERNAL_OBJ_RWLOCK(user_data);
601                 ast_rwlock_destroy(&obj_rwlock->rwlock.lock);
602
603                 ast_free(obj_rwlock);
604                 break;
605         case AO2_ALLOC_OPT_LOCK_NOLOCK:
606                 ast_free(obj);
607                 break;
608         case AO2_ALLOC_OPT_LOCK_OBJ:
609                 obj_lockobj = INTERNAL_OBJ_LOCKOBJ(user_data);
610                 ao2_t_ref(obj_lockobj->lockobj.lock, -1, "release lockobj");
611
612                 ast_free(obj_lockobj);
613                 break;
614         default:
615                 ast_log(__LOG_ERROR, file, line, func,
616                         "Invalid lock option on ao2 object %p\n", user_data);
617                 break;
618         }
619
620         if (ref_log && tag) {
621                 fprintf(ref_log, "%p,%d,%d,%s,%d,%s,**destructor**,%s\n",
622                         user_data, delta, ast_get_tid(), file, line, func, tag);
623                 fflush(ref_log);
624         }
625
626         return ret;
627 }
628
629 void __ao2_cleanup_debug(void *obj, const char *tag, const char *file, int line, const char *function)
630 {
631         if (obj) {
632                 __ao2_ref(obj, -1, tag, file, line, function);
633         }
634 }
635
636 void __ao2_cleanup(void *obj)
637 {
638         if (obj) {
639                 ao2_ref(obj, -1);
640         }
641 }
642
643 static void *internal_ao2_alloc(size_t data_size, ao2_destructor_fn destructor_fn, unsigned int options,
644         void *lockobj, const char *tag, const char *file, int line, const char *func)
645 {
646         /* allocation */
647         struct astobj2 *obj;
648         struct astobj2_lock *obj_mutex;
649         struct astobj2_rwlock *obj_rwlock;
650         struct astobj2_lockobj *obj_lockobj;
651
652         switch (options & AO2_ALLOC_OPT_LOCK_MASK) {
653         case AO2_ALLOC_OPT_LOCK_MUTEX:
654                 obj_mutex = __ast_calloc(1, sizeof(*obj_mutex) + data_size, file, line, func);
655                 if (obj_mutex == NULL) {
656                         return NULL;
657                 }
658
659                 ast_mutex_init(&obj_mutex->mutex.lock);
660                 obj = (struct astobj2 *) &obj_mutex->priv_data;
661                 break;
662         case AO2_ALLOC_OPT_LOCK_RWLOCK:
663                 obj_rwlock = __ast_calloc(1, sizeof(*obj_rwlock) + data_size, file, line, func);
664                 if (obj_rwlock == NULL) {
665                         return NULL;
666                 }
667
668                 ast_rwlock_init(&obj_rwlock->rwlock.lock);
669                 obj = (struct astobj2 *) &obj_rwlock->priv_data;
670                 break;
671         case AO2_ALLOC_OPT_LOCK_NOLOCK:
672                 obj = __ast_calloc(1, sizeof(*obj) + data_size, file, line, func);
673                 if (obj == NULL) {
674                         return NULL;
675                 }
676                 break;
677         case AO2_ALLOC_OPT_LOCK_OBJ:
678                 lockobj = ao2_t_bump(lockobj, "set lockobj");
679                 if (!lockobj) {
680                         ast_log(__LOG_ERROR, file, line, func, "AO2_ALLOC_OPT_LOCK_OBJ requires a non-NULL lockobj.\n");
681                         return NULL;
682                 }
683
684                 obj_lockobj = __ast_calloc(1, sizeof(*obj_lockobj) + data_size, file, line, func);
685                 if (obj_lockobj == NULL) {
686                         ao2_t_ref(lockobj, -1, "release lockobj for failed alloc");
687                         return NULL;
688                 }
689
690                 obj_lockobj->lockobj.lock = lockobj;
691                 obj = (struct astobj2 *) &obj_lockobj->priv_data;
692                 break;
693         default:
694                 /* Invalid option value. */
695                 ast_log(__LOG_DEBUG, file, line, func, "Invalid lock option requested\n");
696                 return NULL;
697         }
698
699         /* Initialize common ao2 values. */
700         obj->priv_data.destructor_fn = destructor_fn;   /* can be NULL */
701         obj->priv_data.ref_counter = 1;
702         obj->priv_data.options = options;
703         obj->priv_data.magic = AO2_MAGIC;
704
705 #ifdef AO2_DEBUG
706         obj->priv_data.data_size = data_size;
707         ast_atomic_fetchadd_int(&ao2.total_objects, 1);
708         ast_atomic_fetchadd_int(&ao2.total_mem, data_size);
709         ast_atomic_fetchadd_int(&ao2.total_refs, 1);
710 #endif
711
712         if (ref_log && tag) {
713                 fprintf(ref_log, "%p,+1,%d,%s,%d,%s,**constructor**,%s\n",
714                         EXTERNAL_OBJ(obj), ast_get_tid(), file, line, func, tag);
715                 fflush(ref_log);
716         }
717
718         /* return a pointer to the user data */
719         return EXTERNAL_OBJ(obj);
720 }
721
722 void *__ao2_alloc(size_t data_size, ao2_destructor_fn destructor_fn, unsigned int options,
723         const char *tag, const char *file, int line, const char *func)
724 {
725         return internal_ao2_alloc(data_size, destructor_fn, options, NULL, tag, file, line, func);
726 }
727
728 void *__ao2_alloc_with_lockobj(size_t data_size, ao2_destructor_fn destructor_fn, void *lockobj,
729         const char *tag, const char *file, int line, const char *func)
730 {
731         return internal_ao2_alloc(data_size, destructor_fn, AO2_ALLOC_OPT_LOCK_OBJ, lockobj,
732                 tag, file, line, func);
733 }
734
735 unsigned int ao2_options_get(void *obj)
736 {
737         struct astobj2 *orig_obj;
738
739         orig_obj = INTERNAL_OBJ_CHECK(obj);
740         if (!orig_obj) {
741                 return 0;
742         }
743         return orig_obj->priv_data.options;
744 }
745
746 void *__ao2_global_obj_replace(struct ao2_global_obj *holder, void *obj, const char *tag, const char *file, int line, const char *func, const char *name)
747 {
748         void *obj_old;
749
750         if (!holder) {
751                 /* For sanity */
752                 ast_log(LOG_ERROR, "Must be called with a global object!\n");
753                 ast_assert(0);
754                 return NULL;
755         }
756         if (__ast_rwlock_wrlock(file, line, func, &holder->lock, name)) {
757                 /* Could not get the write lock. */
758                 ast_assert(0);
759                 return NULL;
760         }
761
762         if (obj) {
763                 __ao2_ref(obj, +1, tag, file, line, func);
764         }
765         obj_old = holder->obj;
766         holder->obj = obj;
767
768         __ast_rwlock_unlock(file, line, func, &holder->lock, name);
769
770         return obj_old;
771 }
772
773 int __ao2_global_obj_replace_unref(struct ao2_global_obj *holder, void *obj, const char *tag, const char *file, int line, const char *func, const char *name)
774 {
775         void *obj_old;
776
777         obj_old = __ao2_global_obj_replace(holder, obj, tag, file, line, func, name);
778         if (obj_old) {
779                 __ao2_ref(obj_old, -1, tag, file, line, func);
780                 return 1;
781         }
782         return 0;
783 }
784
785 void *__ao2_global_obj_ref(struct ao2_global_obj *holder, const char *tag, const char *file, int line, const char *func, const char *name)
786 {
787         void *obj;
788
789         if (!holder) {
790                 /* For sanity */
791                 ast_log(LOG_ERROR, "Must be called with a global object!\n");
792                 ast_assert(0);
793                 return NULL;
794         }
795
796         if (__ast_rwlock_rdlock(file, line, func, &holder->lock, name)) {
797                 /* Could not get the read lock. */
798                 ast_assert(0);
799                 return NULL;
800         }
801
802         obj = holder->obj;
803         if (obj) {
804                 __ao2_ref(obj, +1, tag, file, line, func);
805         }
806
807         __ast_rwlock_unlock(file, line, func, &holder->lock, name);
808
809         return obj;
810 }
811
812
813 void *__ao2_weakproxy_alloc(size_t data_size, ao2_destructor_fn destructor_fn,
814         const char *tag, const char *file, int line, const char *func)
815 {
816         struct ao2_weakproxy *weakproxy;
817
818         if (data_size < sizeof(*weakproxy)) {
819                 ast_assert(0);
820                 ast_log(LOG_ERROR, "Requested data_size smaller than minimum.\n");
821                 return NULL;
822         }
823
824         weakproxy = __ao2_alloc(data_size, destructor_fn, AO2_ALLOC_OPT_LOCK_MUTEX,
825                 tag, file, line, func);
826
827         if (weakproxy) {
828                 struct astobj2 *weakproxy_internal;
829
830                 /* Just created weakproxy, no need to check if it's valid. */
831                 weakproxy_internal = INTERNAL_OBJ(weakproxy);
832                 weakproxy_internal->priv_data.magic = AO2_WEAK;
833         }
834
835         return weakproxy;
836 }
837
838 int __ao2_weakproxy_set_object(void *weakproxy, void *obj, int flags,
839         const char *tag, const char *file, int line, const char *func)
840 {
841         struct astobj2 *weakproxy_internal = __INTERNAL_OBJ_CHECK(weakproxy, file, line, func);
842         struct astobj2 *obj_internal = __INTERNAL_OBJ_CHECK(obj, file, line, func);
843         int ret = -1;
844
845         if (!weakproxy_internal
846                 || weakproxy_internal->priv_data.magic != AO2_WEAK) {
847                 return -1;
848         }
849
850         if (!obj_internal
851                 || obj_internal->priv_data.weakptr
852                 || obj_internal->priv_data.magic != AO2_MAGIC) {
853                 return -1;
854         }
855
856         if (!(flags & OBJ_NOLOCK)) {
857                 ao2_lock(weakproxy);
858         }
859
860         if (!weakproxy_internal->priv_data.weakptr) {
861                 __ao2_ref(obj, +1, tag, file, line, func);
862                 __ao2_ref(weakproxy, +1, tag, file, line, func);
863
864                 weakproxy_internal->priv_data.weakptr = obj;
865                 obj_internal->priv_data.weakptr = weakproxy;
866
867                 ret = 0;
868         }
869
870         if (!(flags & OBJ_NOLOCK)) {
871                 ao2_unlock(weakproxy);
872                 /* It is possible for obj to be accessed now.  It's allowed
873                  * for weakproxy to already be in a container.  Another thread
874                  * could have been waiting for a lock on weakproxy to retrieve
875                  * the object.
876                  */
877         }
878
879         return ret;
880 }
881
882 int __ao2_weakproxy_ref_object(void *weakproxy, int delta, int flags,
883         const char *tag, const char *file, int line, const char *func)
884 {
885         struct astobj2 *internal = __INTERNAL_OBJ_CHECK(weakproxy, file, line, func);
886         int ret = -1;
887
888         if (!internal || internal->priv_data.magic != AO2_WEAK) {
889                 /* This method is meant to be run on weakproxy objects! */
890                 return -2;
891         }
892
893         /* We have a weak object, grab lock. */
894         if (!(flags & OBJ_NOLOCK)) {
895                 ao2_lock(weakproxy);
896         }
897
898         if (internal->priv_data.weakptr) {
899                 ret = __ao2_ref(internal->priv_data.weakptr, delta, tag, file, line, func);
900         }
901
902         if (!(flags & OBJ_NOLOCK)) {
903                 ao2_unlock(weakproxy);
904         }
905
906         return ret;
907 }
908
909 void *__ao2_weakproxy_get_object(void *weakproxy, int flags,
910         const char *tag, const char *file, int line, const char *func)
911 {
912         struct astobj2 *internal = __INTERNAL_OBJ_CHECK(weakproxy, file, line, func);
913         void *obj;
914
915         if (!internal || internal->priv_data.magic != AO2_WEAK) {
916                 /* This method is meant to be run on weakproxy objects! */
917                 return NULL;
918         }
919
920         /* We have a weak object, grab reference to object within lock */
921         if (!(flags & OBJ_NOLOCK)) {
922                 ao2_lock(weakproxy);
923         }
924
925         obj = internal->priv_data.weakptr;
926         if (obj) {
927                 __ao2_ref(obj, +1, tag, file, line, func);
928         }
929
930         if (!(flags & OBJ_NOLOCK)) {
931                 ao2_unlock(weakproxy);
932         }
933
934         return obj;
935 }
936
937 void *__ao2_get_weakproxy(void *obj, const char *tag, const char *file, int line, const char *func)
938 {
939         struct astobj2 *obj_internal = __INTERNAL_OBJ_CHECK(obj, file, line, func);
940
941         if (!obj_internal || obj_internal->priv_data.magic != AO2_MAGIC) {
942                 /* This method is meant to be run on normal ao2 objects! */
943                 return NULL;
944         }
945
946         if (!obj_internal->priv_data.weakptr) {
947                 return NULL;
948         }
949
950         __ao2_ref(obj_internal->priv_data.weakptr, +1, tag, file, line, func);
951         return obj_internal->priv_data.weakptr;
952 }
953
954 int ao2_weakproxy_subscribe(void *weakproxy, ao2_weakproxy_notification_cb cb, void *data, int flags)
955 {
956         struct astobj2 *weakproxy_internal = INTERNAL_OBJ_CHECK(weakproxy);
957         int ret = -1;
958         int hasobj;
959
960         if (!weakproxy_internal || weakproxy_internal->priv_data.magic != AO2_WEAK) {
961                 return -1;
962         }
963
964         if (!(flags & OBJ_NOLOCK)) {
965                 ao2_lock(weakproxy);
966         }
967
968         hasobj = weakproxy_internal->priv_data.weakptr != NULL;
969         if (hasobj) {
970                 struct ao2_weakproxy *weak = weakproxy;
971                 struct ao2_weakproxy_notification *sub = ast_calloc(1, sizeof(*sub));
972
973                 if (sub) {
974                         sub->cb = cb;
975                         sub->data = data;
976                         AST_LIST_INSERT_HEAD(&weak->destroyed_cb, sub, list);
977                         ret = 0;
978                 }
979         }
980
981         if (!(flags & OBJ_NOLOCK)) {
982                 ao2_unlock(weakproxy);
983         }
984
985         if (!hasobj) {
986                 cb(weakproxy, data);
987                 ret = 0;
988         }
989
990         return ret;
991 }
992
993 int ao2_weakproxy_unsubscribe(void *weakproxy, ao2_weakproxy_notification_cb destroyed_cb, void *data, int flags)
994 {
995         struct astobj2 *internal_weakproxy = INTERNAL_OBJ_CHECK(weakproxy);
996         struct ao2_weakproxy *weak;
997         struct ao2_weakproxy_notification *sub;
998         int ret = 0;
999
1000         if (!internal_weakproxy || internal_weakproxy->priv_data.magic != AO2_WEAK || !destroyed_cb) {
1001                 return -1;
1002         }
1003
1004         if (!(flags & OBJ_NOLOCK)) {
1005                 ao2_lock(weakproxy);
1006         }
1007
1008         weak = weakproxy;
1009         AST_LIST_TRAVERSE_SAFE_BEGIN(&weak->destroyed_cb, sub, list) {
1010                 if (sub->cb == destroyed_cb && sub->data == data) {
1011                         AST_LIST_REMOVE_CURRENT(list);
1012                         ast_free(sub);
1013                         ret++;
1014                         if (!(flags & OBJ_MULTIPLE)) {
1015                                 break;
1016                         }
1017                 }
1018         }
1019         AST_LIST_TRAVERSE_SAFE_END;
1020
1021         if (!(flags & OBJ_NOLOCK)) {
1022                 ao2_unlock(weakproxy);
1023         }
1024
1025         return ret;
1026 }
1027
1028
1029 #ifdef AO2_DEBUG
1030 static int print_cb(void *obj, void *arg, int flag)
1031 {
1032         struct ast_cli_args *a = (struct ast_cli_args *) arg;
1033         char *s = (char *)obj;
1034
1035         ast_cli(a->fd, "string <%s>\n", s);
1036         return 0;
1037 }
1038
1039 /*
1040  * Print stats
1041  */
1042 static char *handle_astobj2_stats(struct ast_cli_entry *e, int cmd, struct ast_cli_args *a)
1043 {
1044         switch (cmd) {
1045         case CLI_INIT:
1046                 e->command = "astobj2 show stats";
1047                 e->usage = "Usage: astobj2 show stats\n"
1048                            "       Show astobj2 show stats\n";
1049                 return NULL;
1050         case CLI_GENERATE:
1051                 return NULL;
1052         }
1053         ast_cli(a->fd, "Objects    : %d\n", ao2.total_objects);
1054         ast_cli(a->fd, "Containers : %d\n", ao2.total_containers);
1055         ast_cli(a->fd, "Memory     : %d\n", ao2.total_mem);
1056         ast_cli(a->fd, "Locked     : %d\n", ao2.total_locked);
1057         ast_cli(a->fd, "Refs       : %d\n", ao2.total_refs);
1058         return CLI_SUCCESS;
1059 }
1060
1061 /*
1062  * This is testing code for astobj
1063  */
1064 static char *handle_astobj2_test(struct ast_cli_entry *e, int cmd, struct ast_cli_args *a)
1065 {
1066         struct ao2_container *c1;
1067         struct ao2_container *c2;
1068         int i, lim;
1069         char *obj;
1070         static int prof_id = -1;
1071         struct ast_cli_args fake_args = { a->fd, 0, NULL };
1072
1073         switch (cmd) {
1074         case CLI_INIT:
1075                 e->command = "astobj2 test";
1076                 e->usage = "Usage: astobj2 test <num>\n"
1077                            "       Runs astobj2 test. Creates 'num' objects,\n"
1078                            "       and test iterators, callbacks and maybe other stuff\n";
1079                 return NULL;
1080         case CLI_GENERATE:
1081                 return NULL;
1082         }
1083
1084         if (a->argc != 3) {
1085                 return CLI_SHOWUSAGE;
1086         }
1087
1088         if (prof_id == -1) {
1089                 prof_id = ast_add_profile("ao2_alloc", 0);
1090         }
1091
1092         ast_cli(a->fd, "argc %d argv %s %s %s\n", a->argc, a->argv[0], a->argv[1], a->argv[2]);
1093         lim = atoi(a->argv[2]);
1094         ast_cli(a->fd, "called astobj_test\n");
1095
1096         handle_astobj2_stats(e, CLI_HANDLER, &fake_args);
1097         /*
1098          * Allocate a list container.
1099          */
1100         c1 = ao2_t_container_alloc_list(AO2_ALLOC_OPT_LOCK_MUTEX, 0, NULL /* no sort */,
1101                 NULL /* no callback */, "test");
1102         ast_cli(a->fd, "container allocated as %p\n", c1);
1103
1104         /*
1105          * fill the container with objects.
1106          * ao2_alloc() gives us a reference which we pass to the
1107          * container when we do the insert.
1108          */
1109         for (i = 0; i < lim; i++) {
1110                 ast_mark(prof_id, 1 /* start */);
1111                 obj = ao2_t_alloc(80, NULL,"test");
1112                 ast_mark(prof_id, 0 /* stop */);
1113                 ast_cli(a->fd, "object %d allocated as %p\n", i, obj);
1114                 sprintf(obj, "-- this is obj %d --", i);
1115                 ao2_link(c1, obj);
1116                 /* At this point, the refcount on obj is 2 due to the allocation
1117                  * and linking. We can go ahead and reduce the refcount by 1
1118                  * right here so that when the container is unreffed later, the
1119                  * objects will be freed
1120                  */
1121                 ao2_t_ref(obj, -1, "test");
1122         }
1123
1124         ast_cli(a->fd, "testing callbacks\n");
1125         ao2_t_callback(c1, 0, print_cb, a, "test callback");
1126
1127         ast_cli(a->fd, "testing container cloning\n");
1128         c2 = ao2_container_clone(c1, 0);
1129         if (ao2_container_count(c1) != ao2_container_count(c2)) {
1130                 ast_cli(a->fd, "Cloned container does not have the same number of objects!\n");
1131         }
1132         ao2_t_callback(c2, 0, print_cb, a, "test callback");
1133
1134         ast_cli(a->fd, "testing iterators, remove every second object\n");
1135         {
1136                 struct ao2_iterator ai;
1137                 int x = 0;
1138
1139                 ai = ao2_iterator_init(c1, 0);
1140                 while ( (obj = ao2_t_iterator_next(&ai,"test")) ) {
1141                         ast_cli(a->fd, "iterator on <%s>\n", obj);
1142                         if (x++ & 1)
1143                                 ao2_t_unlink(c1, obj,"test");
1144                         ao2_t_ref(obj, -1,"test");
1145                 }
1146                 ao2_iterator_destroy(&ai);
1147                 ast_cli(a->fd, "testing iterators again\n");
1148                 ai = ao2_iterator_init(c1, 0);
1149                 while ( (obj = ao2_t_iterator_next(&ai,"test")) ) {
1150                         ast_cli(a->fd, "iterator on <%s>\n", obj);
1151                         ao2_t_ref(obj, -1,"test");
1152                 }
1153                 ao2_iterator_destroy(&ai);
1154         }
1155
1156         ast_cli(a->fd, "testing callbacks again\n");
1157         ao2_t_callback(c1, 0, print_cb, a, "test callback");
1158
1159         ast_verbose("now you should see an error and possible assertion failure messages:\n");
1160         ao2_t_ref(&i, -1, "");  /* i is not a valid object so we print an error here */
1161
1162         ast_cli(a->fd, "destroy container\n");
1163         ao2_t_ref(c1, -1, "");  /* destroy container */
1164         ao2_t_ref(c2, -1, "");  /* destroy container */
1165         handle_astobj2_stats(e, CLI_HANDLER, &fake_args);
1166         return CLI_SUCCESS;
1167 }
1168 #endif /* AO2_DEBUG */
1169
1170 #if defined(AO2_DEBUG)
1171 static struct ast_cli_entry cli_astobj2[] = {
1172         AST_CLI_DEFINE(handle_astobj2_stats, "Print astobj2 statistics"),
1173         AST_CLI_DEFINE(handle_astobj2_test, "Test astobj2"),
1174 };
1175 #endif /* AO2_DEBUG */
1176
1177 static void astobj2_cleanup(void)
1178 {
1179 #if defined(AO2_DEBUG)
1180         ast_cli_unregister_multiple(cli_astobj2, ARRAY_LEN(cli_astobj2));
1181 #endif
1182
1183         if (ast_opt_ref_debug) {
1184                 fclose(ref_log);
1185                 ref_log = NULL;
1186         }
1187 }
1188
1189 int astobj2_init(void)
1190 {
1191         char ref_filename[1024];
1192
1193         if (ast_opt_ref_debug) {
1194                 snprintf(ref_filename, sizeof(ref_filename), "%s/refs", ast_config_AST_LOG_DIR);
1195                 ref_log = fopen(ref_filename, "w");
1196                 if (!ref_log) {
1197                         ast_log(LOG_ERROR, "Could not open ref debug log file: %s\n", ref_filename);
1198                 }
1199         }
1200
1201         ast_register_cleanup(astobj2_cleanup);
1202
1203         if (container_init() != 0) {
1204                 fclose(ref_log);
1205                 ref_log = NULL;
1206                 return -1;
1207         }
1208
1209 #if defined(AO2_DEBUG)
1210         ast_cli_register_multiple(cli_astobj2, ARRAY_LEN(cli_astobj2));
1211 #endif  /* defined(AO2_DEBUG) */
1212
1213         return 0;
1214 }