res_odbc: Make pooling option deprecation notice more useful.
[asterisk/asterisk.git] / res / res_odbc.c
1 /*
2  * Asterisk -- An open source telephony toolkit.
3  *
4  * Copyright (C) 1999 - 2012, Digium, Inc.
5  *
6  * Mark Spencer <markster@digium.com>
7  *
8  * res_odbc.c <ODBC resource manager>
9  * Copyright (C) 2004 - 2005 Anthony Minessale II <anthmct@yahoo.com>
10  *
11  * See http://www.asterisk.org for more information about
12  * the Asterisk project. Please do not directly contact
13  * any of the maintainers of this project for assistance;
14  * the project provides a web site, mailing lists and IRC
15  * channels for your use.
16  *
17  * This program is free software, distributed under the terms of
18  * the GNU General Public License Version 2. See the LICENSE file
19  * at the top of the source tree.
20  */
21
22 /*! \file
23  *
24  * \brief ODBC resource manager
25  * 
26  * \author Mark Spencer <markster@digium.com>
27  * \author Anthony Minessale II <anthmct@yahoo.com>
28  * \author Tilghman Lesher <tilghman@digium.com>
29  *
30  * \arg See also: \ref cdr_odbc
31  */
32
33 /*! \li \ref res_odbc.c uses the configuration file \ref res_odbc.conf
34  * \addtogroup configuration_file Configuration Files
35  */
36
37 /*! 
38  * \page res_odbc.conf res_odbc.conf
39  * \verbinclude res_odbc.conf.sample
40  */
41
42 /*** MODULEINFO
43         <depend>generic_odbc</depend>
44         <depend>res_odbc_transaction</depend>
45         <depend>ltdl</depend>
46         <support_level>core</support_level>
47  ***/
48
49 #include "asterisk.h"
50
51 ASTERISK_REGISTER_FILE()
52
53 #include "asterisk/file.h"
54 #include "asterisk/channel.h"
55 #include "asterisk/config.h"
56 #include "asterisk/pbx.h"
57 #include "asterisk/module.h"
58 #include "asterisk/cli.h"
59 #include "asterisk/lock.h"
60 #include "asterisk/res_odbc.h"
61 #include "asterisk/time.h"
62 #include "asterisk/astobj2.h"
63 #include "asterisk/app.h"
64 #include "asterisk/strings.h"
65 #include "asterisk/threadstorage.h"
66 #include "asterisk/data.h"
67
68 struct odbc_class
69 {
70         AST_LIST_ENTRY(odbc_class) list;
71         char name[80];
72         char dsn[80];
73         char *username;
74         char *password;
75         char *sanitysql;
76         SQLHENV env;
77         unsigned int delme:1;                /*!< Purge the class */
78         unsigned int backslash_is_escape:1;  /*!< On this database, the backslash is a native escape sequence */
79         unsigned int forcecommit:1;          /*!< Should uncommitted transactions be auto-committed on handle release? */
80         unsigned int isolation;              /*!< Flags for how the DB should deal with data in other, uncommitted transactions */
81         unsigned int conntimeout;            /*!< Maximum time the connection process should take */
82         unsigned int maxconnections;         /*!< Maximum number of allowed connections */
83         /*! When a connection fails, cache that failure for how long? */
84         struct timeval negative_connection_cache;
85         /*! When a connection fails, when did that last occur? */
86         struct timeval last_negative_connect;
87         /*! A pool of available connections */
88         AST_LIST_HEAD_NOLOCK(, odbc_obj) connections;
89         /*! Lock to protect the connections */
90         ast_mutex_t lock;
91         /*! Condition to notify any pending connection requesters */
92         ast_cond_t cond;
93         /*! The total number of current connections */
94         size_t connection_cnt;
95 };
96
97 static struct ao2_container *class_container;
98
99 static AST_RWLIST_HEAD_STATIC(odbc_tables, odbc_cache_tables);
100
101 static odbc_status odbc_obj_connect(struct odbc_obj *obj);
102 static odbc_status odbc_obj_disconnect(struct odbc_obj *obj);
103 static void odbc_register_class(struct odbc_class *class, int connect);
104
105 AST_THREADSTORAGE(errors_buf);
106
107 struct odbc_txn_frame {
108         AST_LIST_ENTRY(odbc_txn_frame) list;
109         struct ast_channel *owner;
110         struct odbc_obj *obj;        /*!< Database handle within which transacted statements are run */
111         /*!\brief Is this record the current active transaction within the channel?
112          * Note that the active flag is really only necessary for statements which
113          * are triggered from the dialplan, as there isn't a direct correlation
114          * between multiple statements.  Applications wishing to use transactions
115          * may simply perform each statement on the same odbc_obj, which keeps the
116          * transaction persistent.
117          */
118         unsigned int active:1;
119         unsigned int forcecommit:1;     /*!< Should uncommitted transactions be auto-committed on handle release? */
120         unsigned int isolation;         /*!< Flags for how the DB should deal with data in other, uncommitted transactions */
121         char name[0];                   /*!< Name of this transaction ID */
122 };
123
124 #define DATA_EXPORT_ODBC_CLASS(MEMBER)                          \
125         MEMBER(odbc_class, name, AST_DATA_STRING)               \
126         MEMBER(odbc_class, dsn, AST_DATA_STRING)                \
127         MEMBER(odbc_class, username, AST_DATA_STRING)           \
128         MEMBER(odbc_class, password, AST_DATA_PASSWORD)         \
129         MEMBER(odbc_class, forcecommit, AST_DATA_BOOLEAN)
130
131 AST_DATA_STRUCTURE(odbc_class, DATA_EXPORT_ODBC_CLASS);
132
133 const char *ast_odbc_isolation2text(int iso)
134 {
135         if (iso == SQL_TXN_READ_COMMITTED) {
136                 return "read_committed";
137         } else if (iso == SQL_TXN_READ_UNCOMMITTED) {
138                 return "read_uncommitted";
139         } else if (iso == SQL_TXN_SERIALIZABLE) {
140                 return "serializable";
141         } else if (iso == SQL_TXN_REPEATABLE_READ) {
142                 return "repeatable_read";
143         } else {
144                 return "unknown";
145         }
146 }
147
148 int ast_odbc_text2isolation(const char *txt)
149 {
150         if (strncasecmp(txt, "read_", 5) == 0) {
151                 if (strncasecmp(txt + 5, "c", 1) == 0) {
152                         return SQL_TXN_READ_COMMITTED;
153                 } else if (strncasecmp(txt + 5, "u", 1) == 0) {
154                         return SQL_TXN_READ_UNCOMMITTED;
155                 } else {
156                         return 0;
157                 }
158         } else if (strncasecmp(txt, "ser", 3) == 0) {
159                 return SQL_TXN_SERIALIZABLE;
160         } else if (strncasecmp(txt, "rep", 3) == 0) {
161                 return SQL_TXN_REPEATABLE_READ;
162         } else {
163                 return 0;
164         }
165 }
166
167 static void odbc_class_destructor(void *data)
168 {
169         struct odbc_class *class = data;
170         struct odbc_obj *obj;
171
172         /* Due to refcounts, we can safely assume that any objects with a reference
173          * to us will prevent our destruction, so we don't need to worry about them.
174          */
175         if (class->username) {
176                 ast_free(class->username);
177         }
178         if (class->password) {
179                 ast_free(class->password);
180         }
181         if (class->sanitysql) {
182                 ast_free(class->sanitysql);
183         }
184
185         while ((obj = AST_LIST_REMOVE_HEAD(&class->connections, list))) {
186                 ao2_ref(obj, -1);
187         }
188
189         SQLFreeHandle(SQL_HANDLE_ENV, class->env);
190         ast_mutex_destroy(&class->lock);
191         ast_cond_destroy(&class->cond);
192 }
193
194 static int null_hash_fn(const void *obj, const int flags)
195 {
196         return 0;
197 }
198
199 static void odbc_obj_destructor(void *data)
200 {
201         struct odbc_obj *obj = data;
202
203         odbc_obj_disconnect(obj);
204 }
205
206 static void destroy_table_cache(struct odbc_cache_tables *table)
207 {
208         struct odbc_cache_columns *col;
209
210         ast_debug(1, "Destroying table cache for %s\n", table->table);
211
212         AST_RWLIST_WRLOCK(&table->columns);
213         while ((col = AST_RWLIST_REMOVE_HEAD(&table->columns, list))) {
214                 ast_free(col);
215         }
216         AST_RWLIST_UNLOCK(&table->columns);
217         AST_RWLIST_HEAD_DESTROY(&table->columns);
218
219         ast_free(table);
220 }
221
222 /*!
223  * \brief Find or create an entry describing the table specified.
224  * \param database Name of an ODBC class on which to query the table
225  * \param tablename Tablename to describe
226  * \retval A structure describing the table layout, or NULL, if the table is not found or another error occurs.
227  * When a structure is returned, the contained columns list will be
228  * rdlock'ed, to ensure that it will be retained in memory.
229  *
230  * XXX This creates a connection and disconnects it. In some situations, the caller of
231  * this function has its own connection and could donate it to this function instead of
232  * needing to create another one.
233  *
234  * XXX The automatic readlock of the columns is awkward. It's done because it's possible for
235  * multiple threads to have references to the table, and the table is not refcounted. Possible
236  * changes here would be
237  * * Eliminate the table cache entirely. The use of ast_odbc_find_table() is generally
238  *   questionable. The only real good use right now is from ast_realtime_require_field() in
239  *   order to make sure the DB has the expected columns in it. Since that is only used sparingly,
240  *   the need to cache tables is questionable. Instead, the table structure can be fetched from
241  *   the DB directly each time, resulting in a single owner of the data.
242  * * Make odbc_cache_tables a refcounted object.
243  *
244  * \since 1.6.1
245  */
246 struct odbc_cache_tables *ast_odbc_find_table(const char *database, const char *tablename)
247 {
248         struct odbc_cache_tables *tableptr;
249         struct odbc_cache_columns *entry;
250         char columnname[80];
251         SQLLEN sqlptr;
252         SQLHSTMT stmt = NULL;
253         int res = 0, error = 0;
254         struct odbc_obj *obj;
255
256         AST_RWLIST_RDLOCK(&odbc_tables);
257         AST_RWLIST_TRAVERSE(&odbc_tables, tableptr, list) {
258                 if (strcmp(tableptr->connection, database) == 0 && strcmp(tableptr->table, tablename) == 0) {
259                         break;
260                 }
261         }
262         if (tableptr) {
263                 AST_RWLIST_RDLOCK(&tableptr->columns);
264                 AST_RWLIST_UNLOCK(&odbc_tables);
265                 return tableptr;
266         }
267
268         if (!(obj = ast_odbc_request_obj(database, 0))) {
269                 ast_log(LOG_WARNING, "Unable to retrieve database handle for table description '%s@%s'\n", tablename, database);
270                 AST_RWLIST_UNLOCK(&odbc_tables);
271                 return NULL;
272         }
273
274         /* Table structure not already cached; build it now. */
275         do {
276                 res = SQLAllocHandle(SQL_HANDLE_STMT, obj->con, &stmt);
277                 if ((res != SQL_SUCCESS) && (res != SQL_SUCCESS_WITH_INFO)) {
278                         ast_log(LOG_WARNING, "SQL Alloc Handle failed on connection '%s'!\n", database);
279                         break;
280                 }
281
282                 res = SQLColumns(stmt, NULL, 0, NULL, 0, (unsigned char *)tablename, SQL_NTS, (unsigned char *)"%", SQL_NTS);
283                 if ((res != SQL_SUCCESS) && (res != SQL_SUCCESS_WITH_INFO)) {
284                         SQLFreeHandle(SQL_HANDLE_STMT, stmt);
285                         ast_log(LOG_ERROR, "Unable to query database columns on connection '%s'.\n", database);
286                         break;
287                 }
288
289                 if (!(tableptr = ast_calloc(sizeof(char), sizeof(*tableptr) + strlen(database) + 1 + strlen(tablename) + 1))) {
290                         ast_log(LOG_ERROR, "Out of memory creating entry for table '%s' on connection '%s'\n", tablename, database);
291                         break;
292                 }
293
294                 tableptr->connection = (char *)tableptr + sizeof(*tableptr);
295                 tableptr->table = (char *)tableptr + sizeof(*tableptr) + strlen(database) + 1;
296                 strcpy(tableptr->connection, database); /* SAFE */
297                 strcpy(tableptr->table, tablename); /* SAFE */
298                 AST_RWLIST_HEAD_INIT(&(tableptr->columns));
299
300                 while ((res = SQLFetch(stmt)) != SQL_NO_DATA && res != SQL_ERROR) {
301                         SQLGetData(stmt,  4, SQL_C_CHAR, columnname, sizeof(columnname), &sqlptr);
302
303                         if (!(entry = ast_calloc(sizeof(char), sizeof(*entry) + strlen(columnname) + 1))) {
304                                 ast_log(LOG_ERROR, "Out of memory creating entry for column '%s' in table '%s' on connection '%s'\n", columnname, tablename, database);
305                                 error = 1;
306                                 break;
307                         }
308                         entry->name = (char *)entry + sizeof(*entry);
309                         strcpy(entry->name, columnname);
310
311                         SQLGetData(stmt,  5, SQL_C_SHORT, &entry->type, sizeof(entry->type), NULL);
312                         SQLGetData(stmt,  7, SQL_C_LONG, &entry->size, sizeof(entry->size), NULL);
313                         SQLGetData(stmt,  9, SQL_C_SHORT, &entry->decimals, sizeof(entry->decimals), NULL);
314                         SQLGetData(stmt, 10, SQL_C_SHORT, &entry->radix, sizeof(entry->radix), NULL);
315                         SQLGetData(stmt, 11, SQL_C_SHORT, &entry->nullable, sizeof(entry->nullable), NULL);
316                         SQLGetData(stmt, 16, SQL_C_LONG, &entry->octetlen, sizeof(entry->octetlen), NULL);
317
318                         /* Specification states that the octenlen should be the maximum number of bytes
319                          * returned in a char or binary column, but it seems that some drivers just set
320                          * it to NULL. (Bad Postgres! No biscuit!) */
321                         if (entry->octetlen == 0) {
322                                 entry->octetlen = entry->size;
323                         }
324
325                         ast_debug(3, "Found %s column with type %hd with len %ld, octetlen %ld, and numlen (%hd,%hd)\n", entry->name, entry->type, (long) entry->size, (long) entry->octetlen, entry->decimals, entry->radix);
326                         /* Insert column info into column list */
327                         AST_LIST_INSERT_TAIL(&(tableptr->columns), entry, list);
328                 }
329                 SQLFreeHandle(SQL_HANDLE_STMT, stmt);
330
331                 AST_RWLIST_INSERT_TAIL(&odbc_tables, tableptr, list);
332                 AST_RWLIST_RDLOCK(&(tableptr->columns));
333                 break;
334         } while (1);
335
336         AST_RWLIST_UNLOCK(&odbc_tables);
337
338         if (error) {
339                 destroy_table_cache(tableptr);
340                 tableptr = NULL;
341         }
342         ast_odbc_release_obj(obj);
343         return tableptr;
344 }
345
346 struct odbc_cache_columns *ast_odbc_find_column(struct odbc_cache_tables *table, const char *colname)
347 {
348         struct odbc_cache_columns *col;
349         AST_RWLIST_TRAVERSE(&table->columns, col, list) {
350                 if (strcasecmp(col->name, colname) == 0) {
351                         return col;
352                 }
353         }
354         return NULL;
355 }
356
357 int ast_odbc_clear_cache(const char *database, const char *tablename)
358 {
359         struct odbc_cache_tables *tableptr;
360
361         AST_RWLIST_WRLOCK(&odbc_tables);
362         AST_RWLIST_TRAVERSE_SAFE_BEGIN(&odbc_tables, tableptr, list) {
363                 if (strcmp(tableptr->connection, database) == 0 && strcmp(tableptr->table, tablename) == 0) {
364                         AST_LIST_REMOVE_CURRENT(list);
365                         destroy_table_cache(tableptr);
366                         break;
367                 }
368         }
369         AST_RWLIST_TRAVERSE_SAFE_END
370         AST_RWLIST_UNLOCK(&odbc_tables);
371         return tableptr ? 0 : -1;
372 }
373
374 SQLHSTMT ast_odbc_direct_execute(struct odbc_obj *obj, SQLHSTMT (*exec_cb)(struct odbc_obj *obj, void *data), void *data)
375 {
376         SQLHSTMT stmt;
377
378         stmt = exec_cb(obj, data);
379
380         return stmt;
381 }
382
383 SQLHSTMT ast_odbc_prepare_and_execute(struct odbc_obj *obj, SQLHSTMT (*prepare_cb)(struct odbc_obj *obj, void *data), void *data)
384 {
385         int res = 0;
386         SQLHSTMT stmt;
387
388         /* This prepare callback may do more than just prepare -- it may also
389          * bind parameters, bind results, etc.  The real key, here, is that
390          * when we disconnect, all handles become invalid for most databases.
391          * We must therefore redo everything when we establish a new
392          * connection. */
393         stmt = prepare_cb(obj, data);
394         if (!stmt) {
395                 return NULL;
396         }
397
398         res = SQLExecute(stmt);
399         if ((res != SQL_SUCCESS) && (res != SQL_SUCCESS_WITH_INFO) && (res != SQL_NO_DATA)) {
400                 if (res == SQL_ERROR) {
401                         ast_odbc_print_errors(SQL_HANDLE_STMT, stmt, "SQL Execute");
402                 }
403
404                 ast_log(LOG_WARNING, "SQL Execute error %d!\n", res);
405                 SQLFreeHandle(SQL_HANDLE_STMT, stmt);
406                 stmt = NULL;
407         }
408
409         return stmt;
410 }
411
412 int ast_odbc_smart_execute(struct odbc_obj *obj, SQLHSTMT stmt)
413 {
414         int res = 0;
415
416         res = SQLExecute(stmt);
417         if ((res != SQL_SUCCESS) && (res != SQL_SUCCESS_WITH_INFO) && (res != SQL_NO_DATA)) {
418                 if (res == SQL_ERROR) {
419                         ast_odbc_print_errors(SQL_HANDLE_STMT, stmt, "SQL Execute");
420                 }
421         }
422
423         return res;
424 }
425
426 SQLRETURN ast_odbc_ast_str_SQLGetData(struct ast_str **buf, int pmaxlen, SQLHSTMT StatementHandle, SQLUSMALLINT ColumnNumber, SQLSMALLINT TargetType, SQLLEN *StrLen_or_Ind)
427 {
428         SQLRETURN res;
429
430         if (pmaxlen == 0) {
431                 if (SQLGetData(StatementHandle, ColumnNumber, TargetType, ast_str_buffer(*buf), 0, StrLen_or_Ind) == SQL_SUCCESS_WITH_INFO) {
432                         ast_str_make_space(buf, *StrLen_or_Ind + 1);
433                 }
434         } else if (pmaxlen > 0) {
435                 ast_str_make_space(buf, pmaxlen);
436         }
437         res = SQLGetData(StatementHandle, ColumnNumber, TargetType, ast_str_buffer(*buf), ast_str_size(*buf), StrLen_or_Ind);
438         ast_str_update(*buf);
439
440         return res;
441 }
442
443 struct ast_str *ast_odbc_print_errors(SQLSMALLINT handle_type, SQLHANDLE handle, const char *operation)
444 {
445         struct ast_str *errors = ast_str_thread_get(&errors_buf, 16);
446         SQLINTEGER nativeerror = 0;
447         SQLINTEGER numfields = 0;
448         SQLSMALLINT diagbytes = 0;
449         SQLSMALLINT i;
450         unsigned char state[10];
451         unsigned char diagnostic[256];
452
453         ast_str_reset(errors);
454         SQLGetDiagField(handle_type, handle, 1, SQL_DIAG_NUMBER, &numfields,
455                         SQL_IS_INTEGER, &diagbytes);
456         for (i = 0; i < numfields; i++) {
457                 SQLGetDiagRec(handle_type, handle, i + 1, state, &nativeerror,
458                                 diagnostic, sizeof(diagnostic), &diagbytes);
459                 ast_str_append(&errors, 0, "%s%s", ast_str_strlen(errors) ? "," : "", state);
460                 ast_log(LOG_WARNING, "%s returned an error: %s: %s\n", operation, state, diagnostic);
461                 /* XXX Why is this here? */
462                 if (i > 10) {
463                         ast_log(LOG_WARNING, "Oh, that was good.  There are really %d diagnostics?\n", (int)numfields);
464                         break;
465                 }
466         }
467
468         return errors;
469 }
470
471 unsigned int ast_odbc_class_get_isolation(struct odbc_class *class)
472 {
473         return class->isolation;
474 }
475
476 unsigned int ast_odbc_class_get_forcecommit(struct odbc_class *class)
477 {
478         return class->forcecommit;
479 }
480
481 const char *ast_odbc_class_get_name(struct odbc_class *class)
482 {
483         return class->name;
484 }
485
486 static int load_odbc_config(void)
487 {
488         static char *cfg = "res_odbc.conf";
489         struct ast_config *config;
490         struct ast_variable *v;
491         char *cat;
492         const char *dsn, *username, *password, *sanitysql;
493         int enabled, bse, conntimeout, forcecommit, isolation, maxconnections;
494         struct timeval ncache = { 0, 0 };
495         int preconnect = 0, res = 0;
496         struct ast_flags config_flags = { 0 };
497
498         struct odbc_class *new;
499
500         config = ast_config_load(cfg, config_flags);
501         if (config == CONFIG_STATUS_FILEMISSING || config == CONFIG_STATUS_FILEINVALID) {
502                 ast_log(LOG_WARNING, "Unable to load config file res_odbc.conf\n");
503                 return -1;
504         }
505         for (cat = ast_category_browse(config, NULL); cat; cat=ast_category_browse(config, cat)) {
506                 if (!strcasecmp(cat, "ENV")) {
507                         for (v = ast_variable_browse(config, cat); v; v = v->next) {
508                                 setenv(v->name, v->value, 1);
509                                 ast_log(LOG_NOTICE, "Adding ENV var: %s=%s\n", v->name, v->value);
510                         }
511                 } else {
512                         /* Reset all to defaults for each class of odbc connections */
513                         dsn = username = password = sanitysql = NULL;
514                         enabled = 1;
515                         preconnect = 0;
516                         bse = 1;
517                         conntimeout = 10;
518                         forcecommit = 0;
519                         isolation = SQL_TXN_READ_COMMITTED;
520                         maxconnections = 1;
521                         for (v = ast_variable_browse(config, cat); v; v = v->next) {
522                                 if (!strcasecmp(v->name, "pooling") ||
523                                                 !strncasecmp(v->name, "share", 5) ||
524                                                 !strcasecmp(v->name, "limit") ||
525                                                 !strcasecmp(v->name, "idlecheck")) {
526                                         ast_log(LOG_WARNING, "The 'pooling', 'shared_connections', 'limit', and 'idlecheck' options were replaced by 'max_connections'.  See res_odbc.conf.sample.\n");
527                                 } else if (!strcasecmp(v->name, "enabled")) {
528                                         enabled = ast_true(v->value);
529                                 } else if (!strcasecmp(v->name, "pre-connect")) {
530                                         preconnect = ast_true(v->value);
531                                 } else if (!strcasecmp(v->name, "dsn")) {
532                                         dsn = v->value;
533                                 } else if (!strcasecmp(v->name, "username")) {
534                                         username = v->value;
535                                 } else if (!strcasecmp(v->name, "password")) {
536                                         password = v->value;
537                                 } else if (!strcasecmp(v->name, "sanitysql")) {
538                                         sanitysql = v->value;
539                                 } else if (!strcasecmp(v->name, "backslash_is_escape")) {
540                                         bse = ast_true(v->value);
541                                 } else if (!strcasecmp(v->name, "connect_timeout")) {
542                                         if (sscanf(v->value, "%d", &conntimeout) != 1 || conntimeout < 1) {
543                                                 ast_log(LOG_WARNING, "connect_timeout must be a positive integer\n");
544                                                 conntimeout = 10;
545                                         }
546                                 } else if (!strcasecmp(v->name, "negative_connection_cache")) {
547                                         double dncache;
548                                         if (sscanf(v->value, "%lf", &dncache) != 1 || dncache < 0) {
549                                                 ast_log(LOG_WARNING, "negative_connection_cache must be a non-negative integer\n");
550                                                 /* 5 minutes sounds like a reasonable default */
551                                                 ncache.tv_sec = 300;
552                                                 ncache.tv_usec = 0;
553                                         } else {
554                                                 ncache.tv_sec = (int)dncache;
555                                                 ncache.tv_usec = (dncache - ncache.tv_sec) * 1000000;
556                                         }
557                                 } else if (!strcasecmp(v->name, "forcecommit")) {
558                                         forcecommit = ast_true(v->value);
559                                 } else if (!strcasecmp(v->name, "isolation")) {
560                                         if ((isolation = ast_odbc_text2isolation(v->value)) == 0) {
561                                                 ast_log(LOG_ERROR, "Unrecognized value for 'isolation': '%s' in section '%s'\n", v->value, cat);
562                                                 isolation = SQL_TXN_READ_COMMITTED;
563                                         }
564                                 } else if (!strcasecmp(v->name, "max_connections")) {
565                                         if (sscanf(v->value, "%30d", &maxconnections) != 1 || maxconnections < 1) {
566                                                 ast_log(LOG_WARNING, "max_connections must be a positive integer\n");
567                                                 maxconnections = 1;
568                                         }
569                                 }
570                         }
571
572                         if (enabled && !ast_strlen_zero(dsn)) {
573                                 new = ao2_alloc(sizeof(*new), odbc_class_destructor);
574
575                                 if (!new) {
576                                         res = -1;
577                                         break;
578                                 }
579
580                                 SQLAllocHandle(SQL_HANDLE_ENV, SQL_NULL_HANDLE, &new->env);
581                                 res = SQLSetEnvAttr(new->env, SQL_ATTR_ODBC_VERSION, (void *) SQL_OV_ODBC3, 0);
582
583                                 if ((res != SQL_SUCCESS) && (res != SQL_SUCCESS_WITH_INFO)) {
584                                         ast_log(LOG_WARNING, "res_odbc: Error SetEnv\n");
585                                         ao2_ref(new, -1);
586                                         return res;
587                                 }
588
589                                 new->backslash_is_escape = bse ? 1 : 0;
590                                 new->forcecommit = forcecommit ? 1 : 0;
591                                 new->isolation = isolation;
592                                 new->conntimeout = conntimeout;
593                                 new->negative_connection_cache = ncache;
594                                 new->maxconnections = maxconnections;
595
596                                 if (cat)
597                                         ast_copy_string(new->name, cat, sizeof(new->name));
598                                 if (dsn)
599                                         ast_copy_string(new->dsn, dsn, sizeof(new->dsn));
600                                 if (username && !(new->username = ast_strdup(username))) {
601                                         ao2_ref(new, -1);
602                                         break;
603                                 }
604                                 if (password && !(new->password = ast_strdup(password))) {
605                                         ao2_ref(new, -1);
606                                         break;
607                                 }
608                                 if (sanitysql && !(new->sanitysql = ast_strdup(sanitysql))) {
609                                         ao2_ref(new, -1);
610                                         break;
611                                 }
612
613                                 ast_mutex_init(&new->lock);
614                                 ast_cond_init(&new->cond, NULL);
615
616                                 odbc_register_class(new, preconnect);
617                                 ast_log(LOG_NOTICE, "Registered ODBC class '%s' dsn->[%s]\n", cat, dsn);
618                                 ao2_ref(new, -1);
619                                 new = NULL;
620                         }
621                 }
622         }
623         ast_config_destroy(config);
624         return res;
625 }
626
627 static char *handle_cli_odbc_show(struct ast_cli_entry *e, int cmd, struct ast_cli_args *a)
628 {
629         struct ao2_iterator aoi;
630         struct odbc_class *class;
631         int length = 0;
632         int which = 0;
633         char *ret = NULL;
634
635         switch (cmd) {
636         case CLI_INIT:
637                 e->command = "odbc show";
638                 e->usage =
639                                 "Usage: odbc show [class]\n"
640                                 "       List settings of a particular ODBC class or,\n"
641                                 "       if not specified, all classes.\n";
642                 return NULL;
643         case CLI_GENERATE:
644                 if (a->pos != 2)
645                         return NULL;
646                 length = strlen(a->word);
647                 aoi = ao2_iterator_init(class_container, 0);
648                 while ((class = ao2_iterator_next(&aoi))) {
649                         if (!strncasecmp(a->word, class->name, length) && ++which > a->n) {
650                                 ret = ast_strdup(class->name);
651                         }
652                         ao2_ref(class, -1);
653                         if (ret) {
654                                 break;
655                         }
656                 }
657                 ao2_iterator_destroy(&aoi);
658                 if (!ret && !strncasecmp(a->word, "all", length) && ++which > a->n) {
659                         ret = ast_strdup("all");
660                 }
661                 return ret;
662         }
663
664         ast_cli(a->fd, "\nODBC DSN Settings\n");
665         ast_cli(a->fd,   "-----------------\n\n");
666         aoi = ao2_iterator_init(class_container, 0);
667         while ((class = ao2_iterator_next(&aoi))) {
668                 if ((a->argc == 2) || (a->argc == 3 && !strcmp(a->argv[2], "all")) || (!strcmp(a->argv[2], class->name))) {
669                         char timestr[80];
670                         struct ast_tm tm;
671
672                         ast_cli(a->fd, "  Name:   %s\n  DSN:    %s\n", class->name, class->dsn);
673
674                         if (class->last_negative_connect.tv_sec > 0) {
675                                 ast_localtime(&class->last_negative_connect, &tm, NULL);
676                                 ast_strftime(timestr, sizeof(timestr), "%Y-%m-%d %T", &tm);
677                                 ast_cli(a->fd, "    Last fail connection attempt: %s\n", timestr);
678                         }
679
680                         ast_cli(a->fd, "    Number of active connections: %zd (out of %d)\n", class->connection_cnt, class->maxconnections);
681                         ast_cli(a->fd, "\n");
682                 }
683                 ao2_ref(class, -1);
684         }
685         ao2_iterator_destroy(&aoi);
686
687         return CLI_SUCCESS;
688 }
689
690 static struct ast_cli_entry cli_odbc[] = {
691         AST_CLI_DEFINE(handle_cli_odbc_show, "List ODBC DSN(s)")
692 };
693
694 static void odbc_register_class(struct odbc_class *class, int preconnect)
695 {
696         struct odbc_obj *obj;
697
698         ao2_link(class_container, class);
699         /* I still have a reference in the caller, so a deref is NOT missing here. */
700
701         if (!preconnect) {
702                 return;
703         }
704
705         /* Request and release builds a connection */
706         obj = ast_odbc_request_obj(class->name, 0);
707         if (obj) {
708                 ast_odbc_release_obj(obj);
709         }
710
711         return;
712 }
713
714 void ast_odbc_release_obj(struct odbc_obj *obj)
715 {
716         struct odbc_class *class = obj->parent;
717
718         ast_debug(2, "Releasing ODBC handle %p into pool\n", obj);
719
720         /* The odbc_obj only holds a reference to the class when it is
721          * actively being used. This guarantees no circular reference
722          * between odbc_class and odbc_obj. Since it is being released
723          * we also release our class reference. If a reload occurred before
724          * the class will go away automatically once all odbc_obj are
725          * released back.
726          */
727         obj->parent = NULL;
728
729         ast_mutex_lock(&class->lock);
730         AST_LIST_INSERT_HEAD(&class->connections, obj, list);
731         ast_cond_signal(&class->cond);
732         ast_mutex_unlock(&class->lock);
733
734         ao2_ref(class, -1);
735 }
736
737 int ast_odbc_backslash_is_escape(struct odbc_obj *obj)
738 {
739         return obj->parent->backslash_is_escape;
740 }
741
742 static int aoro2_class_cb(void *obj, void *arg, int flags)
743 {
744         struct odbc_class *class = obj;
745         char *name = arg;
746         if (!strcmp(class->name, name) && !class->delme) {
747                 return CMP_MATCH | CMP_STOP;
748         }
749         return 0;
750 }
751
752 unsigned int ast_odbc_get_max_connections(const char *name)
753 {
754         struct odbc_class *class;
755         unsigned int max_connections;
756
757         class = ao2_callback(class_container, 0, aoro2_class_cb, (char *) name);
758         if (!class) {
759                 return 0;
760         }
761
762         max_connections = class->maxconnections;
763         ao2_ref(class, -1);
764
765         return max_connections;
766 }
767
768 /*
769  * \brief Determine if the connection has died.
770  *
771  * \param connection The connection to check
772  * \param class The ODBC class
773  * \retval 1 Yep, it's dead
774  * \retval 0 It's alive and well
775  */
776 static int connection_dead(struct odbc_obj *connection, struct odbc_class *class)
777 {
778         char *test_sql = "select 1";
779         SQLINTEGER dead;
780         SQLRETURN res;
781         SQLHSTMT stmt;
782
783         res = SQLGetConnectAttr(connection->con, SQL_ATTR_CONNECTION_DEAD, &dead, 0, 0);
784         if (SQL_SUCCEEDED(res)) {
785                 return dead == SQL_CD_TRUE ? 1 : 0;
786         }
787
788         /* If the Driver doesn't support SQL_ATTR_CONNECTION_DEAD do a
789          * probing query instead
790          */
791         res = SQLAllocHandle(SQL_HANDLE_STMT, connection->con, &stmt);
792         if (!SQL_SUCCEEDED(res)) {
793                 return 1;
794         }
795
796         if (!ast_strlen_zero(class->sanitysql)) {
797                 test_sql = class->sanitysql;
798         }
799
800         res = SQLPrepare(stmt, (unsigned char *)test_sql, SQL_NTS);
801         if (!SQL_SUCCEEDED(res)) {
802                 SQLFreeHandle(SQL_HANDLE_STMT, stmt);
803                 return 1;
804         }
805
806         res = SQLExecute(stmt);
807         SQLFreeHandle(SQL_HANDLE_STMT, stmt);
808
809         return SQL_SUCCEEDED(res) ? 0 : 1;
810 }
811
812 struct odbc_obj *_ast_odbc_request_obj2(const char *name, struct ast_flags flags, const char *file, const char *function, int lineno)
813 {
814         struct odbc_obj *obj = NULL;
815         struct odbc_class *class;
816
817         if (!(class = ao2_callback(class_container, 0, aoro2_class_cb, (char *) name))) {
818                 ast_debug(1, "Class '%s' not found!\n", name);
819                 return NULL;
820         }
821
822         ast_mutex_lock(&class->lock);
823
824         while (!obj) {
825                 obj = AST_LIST_REMOVE_HEAD(&class->connections, list);
826
827                 if (!obj) {
828                         if (class->connection_cnt < class->maxconnections) {
829                                 /* If no connection is immediately available establish a new
830                                  * one if allowed. If we try and fail we give up completely as
831                                  * we could go into an infinite loop otherwise.
832                                  */
833                                 obj = ao2_alloc(sizeof(*obj), odbc_obj_destructor);
834                                 if (!obj) {
835                                         break;
836                                 }
837
838                                 obj->parent = ao2_bump(class);
839                                 if (odbc_obj_connect(obj) == ODBC_FAIL) {
840                                         ao2_ref(obj->parent, -1);
841                                         ao2_ref(obj, -1);
842                                         obj = NULL;
843                                         break;
844                                 }
845
846                                 class->connection_cnt++;
847                                 ast_debug(2, "Created ODBC handle %p on class '%s', new count is %zd\n", obj,
848                                         name, class->connection_cnt);
849                         } else {
850                                 /* Otherwise if we're not allowed to create a new one we
851                                  * wait for another thread to give up the connection they
852                                  * own.
853                                  */
854                                 ast_cond_wait(&class->cond, &class->lock);
855                         }
856                 } else if (connection_dead(obj, class)) {
857                         /* If the connection is dead try to grab another functional one from the
858                          * pool instead of trying to resurrect this one.
859                          */
860                         ao2_ref(obj, -1);
861                         obj = NULL;
862                         class->connection_cnt--;
863                         ast_debug(2, "ODBC handle %p dead - removing from class '%s', new count is %zd\n",
864                                 obj, name, class->connection_cnt);
865                 } else {
866                         /* We successfully grabbed a connection from the pool and all is well!
867                          */
868                         obj->parent = ao2_bump(class);
869                         ast_debug(2, "Reusing ODBC handle %p from class '%s'\n", obj, name);
870                 }
871         }
872
873         ast_mutex_unlock(&class->lock);
874         ao2_ref(class, -1);
875
876         return obj;
877 }
878
879 struct odbc_obj *_ast_odbc_request_obj(const char *name, int check, const char *file, const char *function, int lineno)
880 {
881         struct ast_flags flags = { check ? RES_ODBC_SANITY_CHECK : 0 };
882         /* XXX New flow means that the "check" parameter doesn't do anything. We're requesting
883          * a connection from ODBC. We'll either get a new one, which obviously is already connected, or
884          * we'll get one from the ODBC connection pool. In that case, it will ensure to only give us a
885          * live connection
886          */
887         return _ast_odbc_request_obj2(name, flags, file, function, lineno);
888 }
889
890 static odbc_status odbc_obj_disconnect(struct odbc_obj *obj)
891 {
892         int res;
893         SQLINTEGER err;
894         short int mlen;
895         unsigned char msg[200], state[10];
896         SQLHDBC con;
897
898         /* Nothing to disconnect */
899         if (!obj->con) {
900                 return ODBC_SUCCESS;
901         }
902
903         con = obj->con;
904         obj->con = NULL;
905         res = SQLDisconnect(con);
906
907         if ((res = SQLFreeHandle(SQL_HANDLE_DBC, con)) == SQL_SUCCESS) {
908                 ast_debug(3, "Database handle %p (connection %p) deallocated\n", obj, con);
909         } else {
910                 SQLGetDiagRec(SQL_HANDLE_DBC, con, 1, state, &err, msg, 100, &mlen);
911                 ast_log(LOG_WARNING, "Unable to deallocate database handle %p? %d errno=%d %s\n", con, res, (int)err, msg);
912         }
913
914         return ODBC_SUCCESS;
915 }
916
917 static odbc_status odbc_obj_connect(struct odbc_obj *obj)
918 {
919         int res;
920         SQLINTEGER err;
921         short int mlen;
922         unsigned char msg[200], state[10];
923 #ifdef NEEDTRACE
924         SQLINTEGER enable = 1;
925         char *tracefile = "/tmp/odbc.trace";
926 #endif
927         SQLHDBC con;
928         long int negative_cache_expiration;
929
930         ast_assert(obj->con == NULL);
931         ast_debug(3, "Connecting %s(%p)\n", obj->parent->name, obj);
932
933         /* Dont connect while server is marked as unreachable via negative_connection_cache */
934         negative_cache_expiration = obj->parent->last_negative_connect.tv_sec + obj->parent->negative_connection_cache.tv_sec;
935         if (time(NULL) < negative_cache_expiration) {
936                 ast_log(LOG_WARNING, "Not connecting to %s. Negative connection cache for %ld seconds\n", obj->parent->name, negative_cache_expiration - time(NULL));
937                 return ODBC_FAIL;
938         }
939
940         res = SQLAllocHandle(SQL_HANDLE_DBC, obj->parent->env, &con);
941
942         if ((res != SQL_SUCCESS) && (res != SQL_SUCCESS_WITH_INFO)) {
943                 ast_log(LOG_WARNING, "res_odbc: Error AllocHDB %d\n", res);
944                 obj->parent->last_negative_connect = ast_tvnow();
945                 return ODBC_FAIL;
946         }
947         SQLSetConnectAttr(con, SQL_LOGIN_TIMEOUT, (SQLPOINTER *)(long) obj->parent->conntimeout, 0);
948         SQLSetConnectAttr(con, SQL_ATTR_CONNECTION_TIMEOUT, (SQLPOINTER *)(long) obj->parent->conntimeout, 0);
949 #ifdef NEEDTRACE
950         SQLSetConnectAttr(con, SQL_ATTR_TRACE, &enable, SQL_IS_INTEGER);
951         SQLSetConnectAttr(con, SQL_ATTR_TRACEFILE, tracefile, strlen(tracefile));
952 #endif
953
954         res = SQLConnect(con,
955                    (SQLCHAR *) obj->parent->dsn, SQL_NTS,
956                    (SQLCHAR *) obj->parent->username, SQL_NTS,
957                    (SQLCHAR *) obj->parent->password, SQL_NTS);
958
959         if ((res != SQL_SUCCESS) && (res != SQL_SUCCESS_WITH_INFO)) {
960                 SQLGetDiagRec(SQL_HANDLE_DBC, con, 1, state, &err, msg, 100, &mlen);
961                 obj->parent->last_negative_connect = ast_tvnow();
962                 ast_log(LOG_WARNING, "res_odbc: Error SQLConnect=%d errno=%d %s\n", res, (int)err, msg);
963                 if ((res = SQLFreeHandle(SQL_HANDLE_DBC, con)) != SQL_SUCCESS) {
964                         SQLGetDiagRec(SQL_HANDLE_DBC, con, 1, state, &err, msg, 100, &mlen);
965                         ast_log(LOG_WARNING, "Unable to deallocate database handle %p? %d errno=%d %s\n", con, res, (int)err, msg);
966                 }
967                 return ODBC_FAIL;
968         } else {
969                 ast_debug(3, "res_odbc: Connected to %s [%s (%p)]\n", obj->parent->name, obj->parent->dsn, obj);
970         }
971
972         obj->con = con;
973         return ODBC_SUCCESS;
974 }
975
976 /*!
977  * \internal
978  * \brief Implements the channels provider.
979  */
980 static int data_odbc_provider_handler(const struct ast_data_search *search,
981                 struct ast_data *root)
982 {
983         struct ao2_iterator aoi;
984         struct odbc_class *class;
985         struct ast_data *data_odbc_class, *data_odbc_connections;
986         struct ast_data *enum_node;
987
988         aoi = ao2_iterator_init(class_container, 0);
989         while ((class = ao2_iterator_next(&aoi))) {
990                 data_odbc_class = ast_data_add_node(root, "class");
991                 if (!data_odbc_class) {
992                         ao2_ref(class, -1);
993                         continue;
994                 }
995
996                 ast_data_add_structure(odbc_class, data_odbc_class, class);
997
998                 data_odbc_connections = ast_data_add_node(data_odbc_class, "connections");
999                 if (!data_odbc_connections) {
1000                         ao2_ref(class, -1);
1001                         continue;
1002                 }
1003
1004                 /* isolation */
1005                 enum_node = ast_data_add_node(data_odbc_class, "isolation");
1006                 if (!enum_node) {
1007                         ao2_ref(class, -1);
1008                         continue;
1009                 }
1010                 ast_data_add_int(enum_node, "value", class->isolation);
1011                 ast_data_add_str(enum_node, "text", ast_odbc_isolation2text(class->isolation));
1012                 ao2_ref(class, -1);
1013
1014                 if (!ast_data_search_match(search, data_odbc_class)) {
1015                         ast_data_remove_node(root, data_odbc_class);
1016                 }
1017         }
1018         ao2_iterator_destroy(&aoi);
1019         return 0;
1020 }
1021
1022 /*!
1023  * \internal
1024  * \brief /asterisk/res/odbc/listprovider.
1025  */
1026 static const struct ast_data_handler odbc_provider = {
1027         .version = AST_DATA_HANDLER_VERSION,
1028         .get = data_odbc_provider_handler
1029 };
1030
1031 static const struct ast_data_entry odbc_providers[] = {
1032         AST_DATA_ENTRY("/asterisk/res/odbc", &odbc_provider),
1033 };
1034
1035 static int reload(void)
1036 {
1037         struct odbc_cache_tables *table;
1038         struct odbc_class *class;
1039         struct ao2_iterator aoi = ao2_iterator_init(class_container, 0);
1040
1041         /* First, mark all to be purged */
1042         while ((class = ao2_iterator_next(&aoi))) {
1043                 class->delme = 1;
1044                 ao2_ref(class, -1);
1045         }
1046         ao2_iterator_destroy(&aoi);
1047
1048         load_odbc_config();
1049
1050         aoi = ao2_iterator_init(class_container, 0);
1051         while ((class = ao2_iterator_next(&aoi))) {
1052                 if (class->delme) {
1053                         ao2_unlink(class_container, class);
1054                 }
1055                 ao2_ref(class, -1);
1056         }
1057         ao2_iterator_destroy(&aoi);
1058
1059         /* Empty the cache; it will get rebuilt the next time the tables are needed. */
1060         AST_RWLIST_WRLOCK(&odbc_tables);
1061         while ((table = AST_RWLIST_REMOVE_HEAD(&odbc_tables, list))) {
1062                 destroy_table_cache(table);
1063         }
1064         AST_RWLIST_UNLOCK(&odbc_tables);
1065
1066         return 0;
1067 }
1068
1069 static int unload_module(void)
1070 {
1071         /* Prohibit unloading */
1072         return -1;
1073 }
1074
1075 /*!
1076  * \brief Load the module
1077  *
1078  * Module loading including tests for configuration or dependencies.
1079  * This function can return AST_MODULE_LOAD_FAILURE, AST_MODULE_LOAD_DECLINE,
1080  * or AST_MODULE_LOAD_SUCCESS. If a dependency or environment variable fails
1081  * tests return AST_MODULE_LOAD_FAILURE. If the module can not load the 
1082  * configuration file or other non-critical problem return 
1083  * AST_MODULE_LOAD_DECLINE. On success return AST_MODULE_LOAD_SUCCESS.
1084  */
1085 static int load_module(void)
1086 {
1087         if (!(class_container = ao2_container_alloc(1, null_hash_fn, ao2_match_by_addr)))
1088                 return AST_MODULE_LOAD_DECLINE;
1089         if (load_odbc_config() == -1)
1090                 return AST_MODULE_LOAD_DECLINE;
1091         ast_cli_register_multiple(cli_odbc, ARRAY_LEN(cli_odbc));
1092         ast_data_register_multiple(odbc_providers, ARRAY_LEN(odbc_providers));
1093         ast_log(LOG_NOTICE, "res_odbc loaded.\n");
1094         return 0;
1095 }
1096
1097 AST_MODULE_INFO(ASTERISK_GPL_KEY, AST_MODFLAG_GLOBAL_SYMBOLS | AST_MODFLAG_LOAD_ORDER, "ODBC resource",
1098         .support_level = AST_MODULE_SUPPORT_CORE,
1099         .load = load_module,
1100         .unload = unload_module,
1101         .reload = reload,
1102         .load_pri = AST_MODPRI_REALTIME_DEPEND,
1103 );