Add adaptive capabilities to the sqlite realtime driver
[asterisk/asterisk.git] / res / res_config_sqlite.c
index 2f9cded..1c7489e 100644 (file)
@@ -5,7 +5,7 @@
  *
  * Written by Richard Braun <rbraun@proformatique.com>
  *
- * Based on res_sqlite3 by Anthony Minessale II, 
+ * Based on res_sqlite3 by Anthony Minessale II,
  * and res_config_mysql by Matthew Boehm
  *
  * See http://www.asterisk.org for more information about
 
 /*!
  * \page res_config_sqlite
- * 
+ *
  * \section intro_sec Presentation
- * 
- * res_config_sqlite is a module for the Asterisk Open Source PBX to 
- * support SQLite 2 databases. It can be used to fetch configuration 
- * from a database (static configuration files and/or using the Asterisk 
- * RealTime Architecture - ARA).
- * It can also be used to log CDR entries. Finally, it can be used for simple
- * queries in the Dialplan. Note that Asterisk already comes with a module
- * named cdr_sqlite. There are two reasons for including it in res_sqlite:
+ *
+ * res_config_sqlite is a module for the Asterisk Open Source PBX to
+ * support SQLite 2 databases. It can be used to fetch configuration
+ * from a database (static configuration files and/or using the Asterisk
+ * RealTime Architecture - ARA).  It can also be used to log CDR entries. 
+ * Note that Asterisk already comes with a module named cdr_sqlite.
+ * There are two reasons for including it in res_config_sqlite:
  * the first is that rewriting it was a training to learn how to write a
  * simple module for Asterisk, the other is to have the same database open for
  * all kinds of operations, which improves reliability and performance.
- * 
- * There is already a module for SQLite 3 (named res_sqlite3) in the Asterisk
- * addons. res_sqlite was developed because we, at Proformatique, are using
- * PHP 4 in our embedded systems, and PHP 4 has no stable support for SQLite 3
- * at this time. We also needed RealTime support.
- * 
+ *
  * \section conf_sec Configuration
- * 
+ *
  * The main configuration file is res_config_sqlite.conf. It must be readable or
- * res_sqlite will fail to start. It is suggested to use the sample file
+ * res_config_sqlite will fail to start. It is suggested to use the sample file
  * in this package as a starting point. The file has only one section
  * named <code>general</code>. Here are the supported parameters :
- * 
+ *
  * <dl>
  *     <dt><code>dbfile</code></dt>
  *     <dd>The absolute path to the SQLite database (the file can be non existent,
- *                     res_sqlite will create it if is has the appropriate rights)</dd>
+ *                     res_config_sqlite will create it if it has the appropriate rights)</dd>
  *     <dt><code>config_table</code></dt>
  *     <dd>The table used for static configuration</dd>
  *     <dt><code>cdr_table</code></dt>
  *     <dd>The table used to store CDR entries (if ommitted, CDR support is
  *                     disabled)</dd>
  * </dl>
- * 
- * To use res_sqlite for static and/or RealTime configuration, refer to the
+ *
+ * To use res_config_sqlite for static and/or RealTime configuration, refer to the
  * Asterisk documentation. The file tables.sql can be used to create the
  * needed tables.
- * 
- * The SQLITE() application is very similar to the MYSQL() application. You
- * can find more details at
- * <a href="http://voip-info.org/wiki/view/Asterisk+cmd+MYSQL">http://voip-info.org/wiki/view/Asterisk+cmd+MYSQL</a>.
- * The main difference is that you cannot choose your database - it's the
- * file set in the <code>dbfile</code> parameter. As a result, there is no
- * Connect or Disconnect command, and there is no connid variable.
- * 
+ *
  * \section status_sec Driver status
- * 
+ *
  * The CLI command <code>show sqlite status</code> returns status information
- * about the running driver. One information is more important than others:
- * the number of registered virtual machines. A SQLite virtual machine is
- * created each time a SQLITE() query command is used. If the number of
- * registered virtual machines isn't 0 (or near 0, since one or more SQLITE()
- * commands can be running when requesting the module status) and increases
- * over time, this probably means that you're badly using the application
- * and you're creating resource leaks. You should check your Dialplan and
- * reload res_sqlite (by unloading and then loading again - reloading isn't
- * supported)
- * 
+ * about the running driver.
+ *
  * \section credits_sec Credits
- * 
+ *
  * res_config_sqlite was developed by Richard Braun at the Proformatique company.
  */
 
 /*!
- * \file 
- * \brief res_sqlite module.
+ * \file
+ * \brief res_config_sqlite module.
  */
 
 /*** MODULEINFO
  ***/
 
 #include "asterisk.h"
+ASTERISK_FILE_VERSION(__FILE__, "$Revision$")
 
-#include <stdio.h>
-#include <stdarg.h>
-#include <stdlib.h>
-#include <string.h>
 #include <sqlite.h>
 
+#include "asterisk/app.h"
 #include "asterisk/pbx.h"
 #include "asterisk/cdr.h"
 #include "asterisk/cli.h"
 #include "asterisk/lock.h"
 #include "asterisk/config.h"
-#include "asterisk/logger.h"
 #include "asterisk/module.h"
-#include "asterisk/options.h"
 #include "asterisk/linkedlists.h"
 
-#define RES_SQLITE_NAME "res_sqlite"
-#define RES_SQLITE_DRIVER "sqlite"
-#define RES_SQLITE_APP_DRIVER "SQLITE"
-#define RES_SQLITE_DESCRIPTION "Resource Module for SQLite 2"
-#define RES_SQLITE_CONF_FILE "res_config_sqlite.conf"
-#define RES_SQLITE_APP_SYNOPSIS "Dialplan access to SQLite 2"
-#define RES_SQLITE_APP_DESCRIPTION \
-"SQLITE(): " RES_SQLITE_APP_SYNOPSIS "\n"
-#define RES_SQLITE_STATUS_SUMMARY \
-"Show status information about the SQLite 2 driver"
-#define RES_SQLITE_STATUS_USAGE \
-"Usage: show sqlite status\n" \
-"      " RES_SQLITE_STATUS_SUMMARY "\n"
+#define MACRO_BEGIN    do {
+#define MACRO_END      } while (0)
+
+#define RES_CONFIG_SQLITE_NAME "res_config_sqlite"
+#define RES_CONFIG_SQLITE_DRIVER "sqlite"
+#define RES_CONFIG_SQLITE_DESCRIPTION "Resource Module for SQLite 2"
+#define RES_CONFIG_SQLITE_CONF_FILE "res_config_sqlite.conf"
 
 enum {
-       RES_SQLITE_CONFIG_ID,
-       RES_SQLITE_CONFIG_COMMENTED,
-       RES_SQLITE_CONFIG_FILENAME,
-       RES_SQLITE_CONFIG_CATEGORY,
-       RES_SQLITE_CONFIG_VAR_NAME,
-       RES_SQLITE_CONFIG_VAR_VAL,
-       RES_SQLITE_CONFIG_COLUMNS,
+       RES_CONFIG_SQLITE_CONFIG_ID,
+       RES_CONFIG_SQLITE_CONFIG_CAT_METRIC,
+       RES_CONFIG_SQLITE_CONFIG_VAR_METRIC,
+       RES_CONFIG_SQLITE_CONFIG_COMMENTED,
+       RES_CONFIG_SQLITE_CONFIG_FILENAME,
+       RES_CONFIG_SQLITE_CONFIG_CATEGORY,
+       RES_CONFIG_SQLITE_CONFIG_VAR_NAME,
+       RES_CONFIG_SQLITE_CONFIG_VAR_VAL,
+       RES_CONFIG_SQLITE_CONFIG_COLUMNS,
 };
 
-/*!
- * Limit the number of maximum simultaneous registered SQLite VMs to avoid
- * a denial of service attack.
- */
-#define RES_SQLITE_VM_MAX 1024
-
-#define SET_VAR(config, to, from) \
-do \
-       { \
-               int __error; \
-               __error = set_var(&to, #to, from->value); \
-               if (__error) \
-                       { \
-                               ast_config_destroy(config); \
-                               unload_config(); \
-                               return 1; \
-                       } \
-       } \
-while (0)
+#define SET_VAR(config, to, from)                      \
+MACRO_BEGIN                                            \
+       int __error;                                    \
+                                                       \
+       __error = set_var(&to, #to, from->value);       \
+                                                       \
+       if (__error) {                                  \
+               ast_config_destroy(config);             \
+               unload_config();                        \
+               return 1;                               \
+       }                                               \
+MACRO_END
 
 /*!
  * Maximum number of loops before giving up executing a query. Calls to
  * sqlite_xxx() functions which can return SQLITE_BUSY or SQLITE_LOCKED
- * are enclosed by RES_SQLITE_BEGIN and RES_SQLITE_END, e.g.
+ * are enclosed by RES_CONFIG_SQLITE_BEGIN and RES_CONFIG_SQLITE_END, e.g.
  * <pre>
  * char *errormsg;
  * int error;
- * 
- * RES_SQLITE_BEGIN
+ *
+ * RES_CONFIG_SQLITE_BEGIN
  *      error = sqlite_exec(db, query, NULL, NULL, &errormsg);
- * RES_SQLITE_END(error)
- * 
+ * RES_CONFIG_SQLITE_END(error)
+ *
  * if (error)
  *      ...;
  * </pre>
  */
-#define RES_SQLITE_MAX_LOOPS 10
+#define RES_CONFIG_SQLITE_MAX_LOOPS 10
 
 /*!
  * Macro used before executing a query.
- * 
- * \see RES_SQLITE_MAX_LOOPS.
+ *
+ * \see RES_CONFIG_SQLITE_MAX_LOOPS.
  */
-#define RES_SQLITE_BEGIN \
-{ \
-       int __i; \
-       for (__i = 0; __i < RES_SQLITE_MAX_LOOPS; __i++) \
-               {
+#define RES_CONFIG_SQLITE_BEGIN                                                \
+MACRO_BEGIN                                                            \
+       int __i;                                                        \
+                                                                       \
+       for (__i = 0; __i < RES_CONFIG_SQLITE_MAX_LOOPS; __i++) {
 
 /*!
  * Macro used after executing a query.
- * 
- * \see RES_SQLITE_MAX_LOOPS.
+ *
+ * \see RES_CONFIG_SQLITE_MAX_LOOPS.
  */
-#define RES_SQLITE_END(error) \
-                       if (error != SQLITE_BUSY && error != SQLITE_LOCKED) \
-                               break; \
-                       usleep(1000); \
-               } \
-}
+#define RES_CONFIG_SQLITE_END(error)                                   \
+               if (error != SQLITE_BUSY && error != SQLITE_LOCKED)     \
+                       break;                                          \
+               usleep(1000);                                           \
+       }                                                               \
+MACRO_END;
 
 /*!
  * Structure sent to the SQLite callback function for static configuration.
- * 
+ *
  * \see add_cfg_entry()
  */
 struct cfg_entry_args {
        struct ast_config *cfg;
        struct ast_category *cat;
        char *cat_name;
+       struct ast_flags flags;
+       const char *who_asked;
 };
 
 /*!
  * Structure sent to the SQLite callback function for RealTime configuration.
- * 
+ *
  * \see add_rt_cfg_entry()
  */
 struct rt_cfg_entry_args {
@@ -223,7 +189,7 @@ struct rt_cfg_entry_args {
 /*!
  * Structure sent to the SQLite callback function for RealTime configuration
  * (realtime_multi_handler()).
- * 
+ *
  * \see add_rt_multi_cfg_entry()
  */
 struct rt_multi_cfg_entry_args {
@@ -239,15 +205,15 @@ struct rt_multi_cfg_entry_args {
  * \retval 0 on success
  * \retval 1 if an allocation error occurred
  */
-static int set_var(char **var, char *name, char *value);
+static int set_var(char **var, const char *name, const char *value);
 
 /*!
  * \brief Load the configuration file.
  * \see unload_config()
- * 
+ *
  * This function sets dbfile, config_table, and cdr_table. It calls
  * check_vars() before returning, and unload_config() if an error occurred.
- * 
+ *
  * \retval 0 on success
  * \retval 1 if an error occurred
  */
@@ -261,11 +227,11 @@ static void unload_config(void);
 
 /*!
  * \brief Asterisk callback function for CDR support.
- * \param cdr the CDR entry Asterisk sends us
- * 
+ * \param cdr the CDR entry Asterisk sends us.
+ *
  * Asterisk will call this function each time a CDR entry must be logged if
  * CDR support is enabled.
- * 
+ *
  * \retval 0 on success
  * \retval 1 if an error occurred
  */
@@ -273,11 +239,11 @@ static int cdr_handler(struct ast_cdr *cdr);
 
 /*!
  * \brief SQLite callback function for static configuration.
- * 
+ *
  * This function is passed to the SQLite engine as a callback function to
  * parse a row and store it in a struct ast_config object. It relies on
- * resulting rows      being sorted by category.
- * 
+ * resulting rows being sorted by category.
+ *
  * \param arg a pointer to a struct cfg_entry_args object
  * \param argc number of columns
  * \param argv values in the row
@@ -292,38 +258,39 @@ static int add_cfg_entry(void *arg, int argc, char **argv, char **columnNames);
 
 /*!
  * \brief Asterisk callback function for static configuration.
- * 
+ *
  * Asterisk will call this function when it loads its static configuration,
  * which usually happens at startup and reload.
- * 
+ *
  * \param database the database to use (ignored)
  * \param table the table to use
  * \param file the file to load from the database
  * \param cfg the struct ast_config object to use when storing variables
  * \param flags Optional flags.  Not used.
+ * \param suggested_incl suggest include.
  * \retval cfg object
  * \retval NULL if an error occurred
  * \see add_cfg_entry()
  */
 static struct ast_config * config_handler(const char *database, const char *table, const char *file,
-struct ast_config *cfg, struct ast_flags flags, const char *suggested_incl);
+       struct ast_config *cfg, struct ast_flags flags, const char *suggested_incl, const char *who_asked);
 
 /*!
  * \brief Helper function to parse a va_list object into 2 dynamic arrays of
  * strings, parameters and values.
- * 
+ *
  * ap must have the following format : param1 val1 param2 val2 param3 val3 ...
  * arguments will be extracted to create 2 arrays:
- * 
+ *
  * <ul>
  *     <li>params : param1 param2 param3 ...</li>
  *     <li>vals : val1 val2 val3 ...</li>
  * </ul>
- * 
+ *
  * The address of these arrays are stored in params_ptr and vals_ptr. It
  * is the responsibility of the caller to release the memory of these arrays.
  * It is considered an error that va_list has a null or odd number of strings.
- * 
+ *
  * \param ap the va_list object to parse
  * \param params_ptr where the address of the params array is stored
  * \param vals_ptr where the address of the vals array is stored
@@ -335,10 +302,10 @@ static size_t get_params(va_list ap, const char ***params_ptr,
 
 /*!
  * \brief SQLite callback function for RealTime configuration.
- * 
+ *
  * This function is passed to the SQLite engine as a callback function to
  * parse a row and store it in a linked list of struct ast_variable objects.
- * 
+ *
  * \param arg a pointer to a struct rt_cfg_entry_args object
  * \param argc number of columns
  * \param argv values in the row
@@ -352,17 +319,17 @@ static int add_rt_cfg_entry(void *arg, int argc, char **argv,
        char **columnNames);
 
 /*!
- * Asterisk callback function for RealTime configuration.
- * 
+ * \brief Asterisk callback function for RealTime configuration.
+ *
  * Asterisk will call this function each time it requires a variable
  * through the RealTime architecture. ap is a list of parameters and
  * values used to find a specific row, e.g one parameter "name" and
  * one value "123" so that the SQL query becomes <code>SELECT * FROM
  * table WHERE name = '123';</code>.
- * 
+ *
  * \param database the database to use (ignored)
- * \param table                the table to use
- * \param ap                    list of parameters and values to match
+ * \param table the table to use
+ * \param ap list of parameters and values to match
  *
  * \retval a linked list of struct ast_variable objects
  * \retval NULL if an error occurred
@@ -373,11 +340,11 @@ static struct ast_variable * realtime_handler(const char *database,
 
 /*!
  * \brief SQLite callback function for RealTime configuration.
- * 
+ *
  * This function performs the same actions as add_rt_cfg_entry() except
  * that the rt_multi_cfg_entry_args structure is designed to store
- * categories in addition of variables.
- * 
+ * categories in addition to variables.
+ *
  * \param arg a pointer to a struct rt_multi_cfg_entry_args object
  * \param argc number of columns
  * \param argv values in the row
@@ -392,11 +359,11 @@ static int add_rt_multi_cfg_entry(void *arg, int argc, char **argv,
 
 /*!
  * \brief Asterisk callback function for RealTime configuration.
- * 
+ *
  * This function performs the same actions as realtime_handler() except
  * that it can store variables per category, and can return several
  * categories.
- * 
+ *
  * \param database the database to use (ignored)
  * \param table the table to use
  * \param ap list of parameters and values to match
@@ -406,19 +373,18 @@ static int add_rt_multi_cfg_entry(void *arg, int argc, char **argv,
  * \see add_rt_multi_cfg_entry()
  */
 static struct ast_config * realtime_multi_handler(const char *database,
-       const char *table,
-       va_list ap);
+       const char *table, va_list ap);
 
 /*!
  * \brief Asterisk callback function for RealTime configuration (variable
  * update).
- * 
+ *
  * Asterisk will call this function each time a variable has been modified
  * internally and must be updated in the backend engine. keyfield and entity
  * are used to find the row to update, e.g. <code>UPDATE table SET ... WHERE
  * keyfield = 'entity';</code>. ap is a list of parameters and values with the
  * same format as the other realtime functions.
- * 
+ *
  * \param database the database to use (ignored)
  * \param table the table to use
  * \param keyfield the column of the matching cell
@@ -428,18 +394,17 @@ static struct ast_config * realtime_multi_handler(const char *database,
  * \retval -1 if an error occurred.
  */
 static int realtime_update_handler(const char *database, const char *table,
-       const char *keyfield, const char *entity,
-       va_list ap);
+       const char *keyfield, const char *entity, va_list ap);
 
 /*!
  * \brief Asterisk callback function for RealTime configuration (variable
  * create/store).
- * 
+ *
  * Asterisk will call this function each time a variable has been created
- * internally and must be stored in the backend engine. 
- * are used to find the row to update, e.g. ap is a list of parameters and 
+ * internally and must be stored in the backend engine.
+ * are used to find the row to update, e.g. ap is a list of parameters and
  * values with the same format as the other realtime functions.
- * 
+ *
  * \param database the database to use (ignored)
  * \param table the table to use
  * \param ap list of parameters and new values to insert into the database
@@ -450,15 +415,15 @@ static int realtime_store_handler(const char *database, const char *table,
        va_list ap);
 
 /*!
- * \brief Asterisk callback function for RealTime configuration (destroys 
+ * \brief Asterisk callback function for RealTime configuration (destroys
  * variable).
- * 
+ *
  * Asterisk will call this function each time a variable has been destroyed
  * internally and must be removed from the backend engine. keyfield and entity
  * are used to find the row to delete, e.g. <code>DELETE FROM table WHERE
  * keyfield = 'entity';</code>. ap is a list of parameters and values with the
  * same format as the other realtime functions.
- * 
+ *
  * \param database the database to use (ignored)
  * \param table the table to use
  * \param keyfield the column of the matching cell
@@ -468,18 +433,21 @@ static int realtime_store_handler(const char *database, const char *table,
  * \retval -1 if an error occurred.
  */
 static int realtime_destroy_handler(const char *database, const char *table,
-       const char *keyfield, const char *entity,
-       va_list ap);
+       const char *keyfield, const char *entity, va_list ap);
 
 /*!
  * \brief Asterisk callback function for the CLI status command.
- * 
- * \param fd file descriptor provided by Asterisk to use with ast_cli()
- * \param argc number of arguments
- * \param argv arguments list
+ *
+ * \param e CLI command
+ * \param cmd 
+ * \param a CLI argument list
  * \return RESULT_SUCCESS
  */
-static int cli_status(int fd, int argc, char *argv[]);
+static char *handle_cli_show_sqlite_status(struct ast_cli_entry *e, int cmd, struct ast_cli_args *a);
+static char *handle_cli_sqlite_show_tables(struct ast_cli_entry *e, int cmd, struct ast_cli_args *a);
+
+static int realtime_require_handler(const char *database, const char *table, va_list ap);
+static int realtime_unload_handler(const char *unused, const char *tablename);
 
 /*! The SQLite database object. */
 static sqlite *db;
@@ -502,27 +470,25 @@ static char *config_table;
 /*! The name of the table used to store CDR entries. */
 static char *cdr_table;
 
-/*! The number of registered virtual machines. */
-static int vm_count;
-
 /*!
  * The structure specifying all callback functions used by Asterisk for static
  * and RealTime configuration.
  */
 static struct ast_config_engine sqlite_engine =
 {
-       .name = RES_SQLITE_DRIVER,
+       .name = RES_CONFIG_SQLITE_DRIVER,
        .load_func = config_handler,
        .realtime_func = realtime_handler,
        .realtime_multi_func = realtime_multi_handler,
        .store_func = realtime_store_handler,
        .destroy_func = realtime_destroy_handler,
-       .update_func = realtime_update_handler
+       .update_func = realtime_update_handler,
+       .require_func = realtime_require_handler,
+       .unload_func = realtime_unload_handler,
 };
 
 /*!
  * The mutex used to prevent simultaneous access to the SQLite database.
- * SQLite isn't always compiled with thread safety.
  */
 AST_MUTEX_DEFINE_STATIC(mutex);
 
@@ -530,97 +496,205 @@ AST_MUTEX_DEFINE_STATIC(mutex);
  * Structure containing details and callback functions for the CLI status
  * command.
  */
-static struct ast_cli_entry cli_status_cmd =
-{
-       .cmda = {"show", "sqlite", "status", NULL},
-       .handler = cli_status,
-       .summary = RES_SQLITE_STATUS_SUMMARY,
-       .usage = RES_SQLITE_STATUS_USAGE
+static struct ast_cli_entry cli_status[] = {
+       AST_CLI_DEFINE(handle_cli_show_sqlite_status, "Show status information about the SQLite 2 driver"),
+       AST_CLI_DEFINE(handle_cli_sqlite_show_tables, "Cached table information about the SQLite 2 driver"),
+};
+
+struct sqlite_cache_columns {
+       char *name;
+       char *type;
+       unsigned char isint;    /*!< By definition, only INTEGER PRIMARY KEY is an integer; everything else is a string. */
+       AST_RWLIST_ENTRY(sqlite_cache_columns) list;
 };
 
+struct sqlite_cache_tables {
+       char *name;
+       AST_RWLIST_HEAD(_columns, sqlite_cache_columns) columns;
+       AST_RWLIST_ENTRY(sqlite_cache_tables) list;
+};
+
+static AST_RWLIST_HEAD_STATIC(sqlite_tables, sqlite_cache_tables);
+
 /*
  * Taken from Asterisk 1.2 cdr_sqlite.so.
  */
 
 /*! SQL query format to create the CDR table if non existent. */
 static char *sql_create_cdr_table =
-"CREATE TABLE '%q' ("
-"      id              INTEGER PRIMARY KEY,"
-"      clid            VARCHAR(80) NOT NULL DEFAULT '',"
-"      src             VARCHAR(80) NOT NULL DEFAULT '',"
-"      dst             VARCHAR(80) NOT NULL DEFAULT '',"
-"      dcontext        VARCHAR(80) NOT NULL DEFAULT '',"
-"      channel         VARCHAR(80) NOT NULL DEFAULT '',"
-"      dstchannel      VARCHAR(80) NOT NULL DEFAULT '',"
-"      lastapp         VARCHAR(80) NOT NULL DEFAULT '',"
-"      lastdata        VARCHAR(80) NOT NULL DEFAULT '',"
-"      start           CHAR(19) NOT NULL DEFAULT '0000-00-00 00:00:00',"
-"      answer          CHAR(19) NOT NULL DEFAULT '0000-00-00 00:00:00',"
-"      end             CHAR(19) NOT NULL DEFAULT '0000-00-00 00:00:00',"
-"      duration        INT(11) NOT NULL DEFAULT '0',"
-"      billsec         INT(11) NOT NULL DEFAULT '0',"
-"      disposition     INT(11) NOT NULL DEFAULT '0',"
-"      amaflags        INT(11) NOT NULL DEFAULT '0',"
-"      accountcode     VARCHAR(20) NOT NULL DEFAULT '',"
-"      uniqueid        VARCHAR(32) NOT NULL DEFAULT '',"
-"      userfield       VARCHAR(255) NOT NULL DEFAULT ''"
+"CREATE TABLE '%q' (\n"
+"      id              INTEGER,\n"
+"      clid            VARCHAR(80)     NOT NULL        DEFAULT '',\n"
+"      src             VARCHAR(80)     NOT NULL        DEFAULT '',\n"
+"      dst             VARCHAR(80)     NOT NULL        DEFAULT '',\n"
+"      dcontext        VARCHAR(80)     NOT NULL        DEFAULT '',\n"
+"      channel         VARCHAR(80)     NOT NULL        DEFAULT '',\n"
+"      dstchannel      VARCHAR(80)     NOT NULL        DEFAULT '',\n"
+"      lastapp         VARCHAR(80)     NOT NULL        DEFAULT '',\n"
+"      lastdata        VARCHAR(80)     NOT NULL        DEFAULT '',\n"
+"      start           DATETIME        NOT NULL        DEFAULT '0000-00-00 00:00:00',\n"
+"      answer          DATETIME        NOT NULL        DEFAULT '0000-00-00 00:00:00',\n"
+"      end             DATETIME        NOT NULL        DEFAULT '0000-00-00 00:00:00',\n"
+"      duration        INT(11)         NOT NULL        DEFAULT 0,\n"
+"      billsec         INT(11)         NOT NULL        DEFAULT 0,\n"
+"      disposition     VARCHAR(45)     NOT NULL        DEFAULT '',\n"
+"      amaflags        INT(11)         NOT NULL        DEFAULT 0,\n"
+"      accountcode     VARCHAR(20)     NOT NULL        DEFAULT '',\n"
+"      uniqueid        VARCHAR(32)     NOT NULL        DEFAULT '',\n"
+"      userfield       VARCHAR(255)    NOT NULL        DEFAULT '',\n"
+"      PRIMARY KEY     (id)\n"
 ");";
 
-/*! SQL query format to insert a CDR entry. */
-static char *sql_add_cdr_entry =
-"INSERT INTO '%q' ("
-"                       clid,"
-"      src,"
-"      dst,"
-"      dcontext,"
-"      channel,"
-"      dstchannel,"
-"      lastapp,"
-"      lastdata,"
-"      start,"
-"      answer,"
-"      end,"
-"      duration,"
-"      billsec,"
-"      disposition,"
-"      amaflags,"
-"      accountcode,"
-"      uniqueid,"
-"      userfield"
-") VALUES ("
-"      '%q',"
-"      '%q',"
-"      '%q',"
-"      '%q',"
-"      '%q',"
-"      '%q',"
-"      '%q',"
-"      '%q',"
-"      datetime(%d,'unixepoch'),"
-"      datetime(%d,'unixepoch'),"
-"      datetime(%d,'unixepoch'),"
-"      '%ld',"
-"      '%ld',"
-"      '%ld',"
-"      '%ld',"
-"      '%q',"
-"      '%q',"
-"      '%q'"
-");";
+/*!
+ * SQL query format to describe the table structure
+ */
+static char *sql_table_structure =
+"SELECT sql FROM sqlite_master WHERE type='table' AND tbl_name='%s'";
 
 /*!
  * SQL query format to fetch the static configuration of a file.
  * Rows must be sorted by category.
- * 
+ *
  * \see add_cfg_entry()
  */
-static char *sql_get_config_table =
+static const char *sql_get_config_table =
 "SELECT *"
 "      FROM '%q'"
 "      WHERE filename = '%q' AND commented = 0"
-"      ORDER BY category;";
+"      ORDER BY cat_metric ASC, var_metric ASC;";
+
+static void free_table(struct sqlite_cache_tables *tblptr)
+{
+       struct sqlite_cache_columns *col;
+
+       /* Obtain a write lock to ensure there are no read locks outstanding */
+       AST_RWLIST_WRLOCK(&(tblptr->columns));
+       while ((col = AST_RWLIST_REMOVE_HEAD(&(tblptr->columns), list))) {
+               ast_free(col);
+       }
+       AST_RWLIST_UNLOCK(&(tblptr->columns));
+       AST_RWLIST_HEAD_DESTROY(&(tblptr->columns));
+       ast_free(tblptr);
+}
+
+static int find_table_cb(void *vtblptr, int argc, char **argv, char **columnNames)
+{
+       struct sqlite_cache_tables *tblptr = vtblptr;
+       char *sql = ast_strdupa(argv[0]), *start, *end, *type, *remainder;
+       int i;
+       AST_DECLARE_APP_ARGS(fie,
+               AST_APP_ARG(ld)[100]; /* This means we support up to 100 columns per table */
+       );
+       struct sqlite_cache_columns *col;
+
+       /* This is really fun.  We get to parse an SQL statement to figure out
+        * what columns are in the table.
+        */
+       if ((start = strchr(sql, '(')) && (end = strrchr(sql, ')'))) {
+               start++;
+               *end = '\0';
+       } else {
+               /* Abort */
+               return -1;
+       }
+
+       AST_STANDARD_APP_ARGS(fie, start);
+       for (i = 0; i < fie.argc; i++) {
+               fie.ld[i] = ast_skip_blanks(fie.ld[i]);
+               ast_debug(5, "Found field: %s\n", fie.ld[i]);
+               if (strncasecmp(fie.ld[i], "PRIMARY KEY", 11) == 0 && (start = strchr(fie.ld[i], '(')) && (end = strchr(fie.ld[i], ')'))) {
+                       *end = '\0';
+                       AST_RWLIST_TRAVERSE(&(tblptr->columns), col, list) {
+                               if (strcasecmp(start + 1, col->name) == 0 && strcasestr(col->type, "INTEGER")) {
+                                       col->isint = 1;
+                               }
+                       }
+                       continue;
+               }
+               /* type delimiter could be any space character */
+               for (type = fie.ld[i]; *type > 32; type++);
+               *type++ = '\0';
+               type = ast_skip_blanks(type);
+               for (remainder = type; *remainder > 32; remainder++);
+               *remainder = '\0';
+               if (!(col = ast_calloc(1, sizeof(*col) + strlen(fie.ld[i]) + strlen(type) + 2))) {
+                       return -1;
+               }
+               col->name = (char *)col + sizeof(*col);
+               col->type = (char *)col + sizeof(*col) + strlen(fie.ld[i]) + 1;
+               strcpy(col->name, fie.ld[i]); /* SAFE */
+               strcpy(col->type, type); /* SAFE */
+               if (strcasestr(col->type, "INTEGER") && strcasestr(col->type, "PRIMARY KEY")) {
+                       col->isint = 1;
+               }
+               AST_LIST_INSERT_TAIL(&(tblptr->columns), col, list);
+       }
+       return 0;
+}
+
+static struct sqlite_cache_tables *find_table(const char *tablename)
+{
+       struct sqlite_cache_tables *tblptr;
+       int i, err;
+       char *sql, *errstr = NULL;
+
+       AST_RWLIST_RDLOCK(&sqlite_tables);
+
+       for (i = 0; i < 2; i++) {
+               AST_RWLIST_TRAVERSE(&sqlite_tables, tblptr, list) {
+                       if (strcmp(tblptr->name, tablename) == 0) {
+                               break;
+                       }
+               }
+               if (tblptr) {
+                       AST_RWLIST_RDLOCK(&(tblptr->columns));
+                       AST_RWLIST_UNLOCK(&sqlite_tables);
+                       return tblptr;
+               }
+
+               if (i == 0) {
+                       AST_RWLIST_UNLOCK(&sqlite_tables);
+                       AST_RWLIST_WRLOCK(&sqlite_tables);
+               }
+       }
+
+       /* Table structure not cached; build the structure now */
+       asprintf(&sql, sql_table_structure, tablename);
+       if (!(tblptr = ast_calloc(1, sizeof(*tblptr) + strlen(tablename) + 1))) {
+               AST_RWLIST_UNLOCK(&sqlite_tables);
+               ast_log(LOG_ERROR, "Memory error.  Cannot cache table '%s'\n", tablename);
+               return NULL;
+       }
+       tblptr->name = (char *)tblptr + sizeof(*tblptr);
+       strcpy(tblptr->name, tablename); /* SAFE */
+       AST_RWLIST_HEAD_INIT(&(tblptr->columns));
+
+       ast_debug(1, "About to query table structure: %s\n", sql);
+
+       ast_mutex_lock(&mutex);
+       if ((err = sqlite_exec(db, sql, find_table_cb, tblptr, &errstr))) {
+               ast_mutex_unlock(&mutex);
+               ast_log(LOG_WARNING, "SQLite error %d: %s\n", err, errstr);
+               ast_free(errstr);
+               free_table(tblptr);
+               return NULL;
+       }
+       ast_mutex_unlock(&mutex);
+
+       if (AST_LIST_EMPTY(&(tblptr->columns))) {
+               free_table(tblptr);
+               return NULL;
+       }
 
-static int set_var(char **var, char *name, char *value)
+       AST_RWLIST_INSERT_TAIL(&sqlite_tables, tblptr, list);
+       AST_RWLIST_RDLOCK(&(tblptr->columns));
+       AST_RWLIST_UNLOCK(&sqlite_tables);
+       return tblptr;
+}
+
+#define release_table(a)       AST_RWLIST_UNLOCK(&((a)->columns))
+
+static int set_var(char **var, const char *name, const char *value)
 {
        if (*var)
                ast_free(*var);
@@ -638,7 +712,7 @@ static int set_var(char **var, char *name, char *value)
 static int check_vars(void)
 {
        if (!dbfile) {
-               ast_log(LOG_ERROR, "Undefined parameter %s\n", dbfile);
+               ast_log(LOG_ERROR, "Required parameter undefined: dbfile\n");
                return 1;
        }
 
@@ -654,10 +728,10 @@ static int load_config(void)
        int error;
        struct ast_flags config_flags = { 0 };
 
-       config = ast_config_load(RES_SQLITE_CONF_FILE, config_flags);
+       config = ast_config_load(RES_CONFIG_SQLITE_CONF_FILE, config_flags);
 
        if (!config) {
-               ast_log(LOG_ERROR, "Unable to load " RES_SQLITE_CONF_FILE "\n");
+               ast_log(LOG_ERROR, "Unable to load " RES_CONFIG_SQLITE_CONF_FILE "\n");
                return 1;
        }
 
@@ -666,9 +740,9 @@ static int load_config(void)
                        SET_VAR(config, dbfile, var);
                else if (!strcasecmp(var->name, "config_table"))
                        SET_VAR(config, config_table, var);
-               else if (!strcasecmp(var->name, "cdr_table"))
+               else if (!strcasecmp(var->name, "cdr_table")) {
                        SET_VAR(config, cdr_table, var);
-               else
+               } else
                        ast_log(LOG_WARNING, "Unknown parameter : %s\n", var->name);
        }
 
@@ -685,37 +759,79 @@ static int load_config(void)
 
 static void unload_config(void)
 {
+       struct sqlite_cache_tables *tbl;
        ast_free(dbfile);
        dbfile = NULL;
        ast_free(config_table);
        config_table = NULL;
        ast_free(cdr_table);
        cdr_table = NULL;
+       AST_RWLIST_WRLOCK(&sqlite_tables);
+       while ((tbl = AST_RWLIST_REMOVE_HEAD(&sqlite_tables, list))) {
+               free_table(tbl);
+       }
+       AST_RWLIST_UNLOCK(&sqlite_tables);
 }
 
 static int cdr_handler(struct ast_cdr *cdr)
 {
-       char *errormsg;
-       int error;
+       char *errormsg, *tmp, workspace[500];
+       int error, scannum;
+       struct sqlite_cache_tables *tbl = find_table(cdr_table);
+       struct sqlite_cache_columns *col;
+       struct ast_str *sql1 = ast_str_create(160), *sql2 = ast_str_create(16);
+
+       if (!tbl) {
+               ast_log(LOG_WARNING, "No such table: %s\n", cdr_table);
+               return -1;
+       }
+
+       ast_str_set(&sql1, 0, "INSERT INTO %s (", cdr_table);
+       ast_str_set(&sql2, 0, ") VALUES (");
+
+       AST_RWLIST_TRAVERSE(&(tbl->columns), col, list) {
+               if (col->isint) {
+                       ast_cdr_getvar(cdr, col->name, &tmp, workspace, sizeof(workspace), 0, 1);
+                       if (!tmp) {
+                               continue;
+                       }
+                       if (sscanf(tmp, "%d", &scannum) == 1) {
+                               ast_str_append(&sql1, 0, "%s,", col->name);
+                               ast_str_append(&sql2, 0, "%d,", scannum);
+                       }
+               } else {
+                       ast_cdr_getvar(cdr, col->name, &tmp, workspace, sizeof(workspace), 0, 0);
+                       if (!tmp) {
+                               continue;
+                       }
+                       ast_str_append(&sql1, 0, "%s,", col->name);
+                       tmp = sqlite_mprintf("%Q", tmp);
+                       ast_str_append(&sql2, 0, "%s,", tmp);
+                       sqlite_freemem(tmp);
+               }
+       }
+       release_table(tbl);
+
+       sql1->str[--sql1->used] = '\0';
+       sql2->str[--sql2->used] = '\0';
+       ast_str_append(&sql1, 0, "%s)", sql2->str);
+       ast_free(sql2);
+
+       ast_debug(1, "SQL query: %s\n", sql1->str);
 
        ast_mutex_lock(&mutex);
 
-       RES_SQLITE_BEGIN
-               error = sqlite_exec_printf(db, sql_add_cdr_entry, NULL, NULL, &errormsg,
-                                        cdr_table, cdr->clid, cdr->src, cdr->dst,
-                                        cdr->dcontext, cdr->channel, cdr->dstchannel,
-                                        cdr->lastapp, cdr->lastdata, cdr->start.tv_sec,
-                                        cdr->answer.tv_sec, cdr->end.tv_sec,
-                                        cdr->duration, cdr->billsec, cdr->disposition,
-                                        cdr->amaflags, cdr->accountcode, cdr->uniqueid,
-                                        cdr->userfield);
-       RES_SQLITE_END(error)
+       RES_CONFIG_SQLITE_BEGIN
+               error = sqlite_exec(db, sql1->str, NULL, NULL, &errormsg);
+       RES_CONFIG_SQLITE_END(error)
 
        ast_mutex_unlock(&mutex);
 
+       ast_free(sql1);
+
        if (error) {
                ast_log(LOG_ERROR, "%s\n", errormsg);
-               ast_free(errormsg);
+               sqlite_freemem(errormsg);
                return 1;
        }
 
@@ -727,15 +843,31 @@ static int add_cfg_entry(void *arg, int argc, char **argv, char **columnNames)
        struct cfg_entry_args *args;
        struct ast_variable *var;
 
-       if (argc != RES_SQLITE_CONFIG_COLUMNS) {
+       if (argc != RES_CONFIG_SQLITE_CONFIG_COLUMNS) {
                ast_log(LOG_WARNING, "Corrupt table\n");
                return 1;
        }
 
        args = arg;
 
-       if (!args->cat_name || strcmp(args->cat_name, argv[RES_SQLITE_CONFIG_CATEGORY])) {
-               args->cat = ast_category_new(argv[RES_SQLITE_CONFIG_CATEGORY], "", 99999);
+       if (!strcmp(argv[RES_CONFIG_SQLITE_CONFIG_VAR_NAME], "#include")) {
+               struct ast_config *cfg;
+               char *val;
+
+               val = argv[RES_CONFIG_SQLITE_CONFIG_VAR_VAL];
+               cfg = ast_config_internal_load(val, args->cfg, args->flags, "", args->who_asked);
+
+               if (!cfg) {
+                       ast_log(LOG_WARNING, "Unable to include %s\n", val);
+                       return 1;
+               } else {
+                       args->cfg = cfg;
+                       return 0;
+               }
+       }
+
+       if (!args->cat_name || strcmp(args->cat_name, argv[RES_CONFIG_SQLITE_CONFIG_CATEGORY])) {
+               args->cat = ast_category_new(argv[RES_CONFIG_SQLITE_CONFIG_CATEGORY], "", 99999);
 
                if (!args->cat) {
                        ast_log(LOG_WARNING, "Unable to allocate category\n");
@@ -743,7 +875,7 @@ static int add_cfg_entry(void *arg, int argc, char **argv, char **columnNames)
                }
 
                ast_free(args->cat_name);
-               args->cat_name = ast_strdup(argv[RES_SQLITE_CONFIG_CATEGORY]);
+               args->cat_name = ast_strdup(argv[RES_CONFIG_SQLITE_CONFIG_CATEGORY]);
 
                if (!args->cat_name) {
                        ast_category_destroy(args->cat);
@@ -753,8 +885,7 @@ static int add_cfg_entry(void *arg, int argc, char **argv, char **columnNames)
                ast_category_append(args->cfg, args->cat);
        }
 
-       var = ast_variable_new(argv[RES_SQLITE_CONFIG_VAR_NAME],
-                                                  argv[RES_SQLITE_CONFIG_VAR_VAL], "");
+       var = ast_variable_new(argv[RES_CONFIG_SQLITE_CONFIG_VAR_NAME], argv[RES_CONFIG_SQLITE_CONFIG_VAR_VAL], "");
 
        if (!var) {
                ast_log(LOG_WARNING, "Unable to allocate variable");
@@ -762,15 +893,15 @@ static int add_cfg_entry(void *arg, int argc, char **argv, char **columnNames)
        }
 
        ast_variable_append(args->cat, var);
-       
+
        return 0;
 }
 
 static struct ast_config *config_handler(const char *database, const char *table, const char *file,
-struct ast_config *cfg, struct ast_flags flags, const char *suggested_incl)
+       struct ast_config *cfg, struct ast_flags flags, const char *suggested_incl, const char *who_asked)
 {
        struct cfg_entry_args args;
-       char *errormsg;
+       char *query, *errormsg;
        int error;
 
        if (!config_table) {
@@ -781,24 +912,34 @@ struct ast_config *cfg, struct ast_flags flags, const char *suggested_incl)
        } else
                table = config_table;
 
+       query = sqlite_mprintf(sql_get_config_table, table, file);
+
+       if (!query) {
+               ast_log(LOG_WARNING, "Unable to allocate SQL query\n");
+               return NULL;
+       }
+
+       ast_debug(1, "SQL query: %s\n", query);
        args.cfg = cfg;
        args.cat = NULL;
        args.cat_name = NULL;
+       args.flags = flags;
+       args.who_asked = who_asked;
 
        ast_mutex_lock(&mutex);
 
-       RES_SQLITE_BEGIN
-               error = sqlite_exec_printf(db, sql_get_config_table, add_cfg_entry,
-                                       &args, &errormsg, table, file);
-       RES_SQLITE_END(error)
+       RES_CONFIG_SQLITE_BEGIN
+               error = sqlite_exec(db, query, add_cfg_entry, &args, &errormsg);
+       RES_CONFIG_SQLITE_END(error)
 
        ast_mutex_unlock(&mutex);
 
        ast_free(args.cat_name);
+       sqlite_freemem(query);
 
        if (error) {
                ast_log(LOG_ERROR, "%s\n", errormsg);
-               ast_free(errormsg);
+               sqlite_freemem(errormsg);
                return NULL;
        }
 
@@ -872,8 +1013,7 @@ static int add_rt_cfg_entry(void *arg, int argc, char **argv, char **columnNames
        return 0;
 }
 
-static struct ast_variable *
-realtime_handler(const char *database, const char *table, va_list ap)
+static struct ast_variable * realtime_handler(const char *database, const char *table, va_list ap)
 {
        char *query, *errormsg, *op, *tmp_str;
        struct rt_cfg_entry_args args;
@@ -912,8 +1052,7 @@ realtime_handler(const char *database, const char *table, va_list ap)
 
                for (i = 1; i < params_count; i++) {
                        op = (strchr(params[i], ' ') == NULL) ? " =" : "";
-                       tmp_str = sqlite_mprintf("%s AND %q%s '%q'", query, params[i], op,
-                                                                                                                        vals[i]);
+                       tmp_str = sqlite_mprintf("%s AND %q%s '%q'", query, params[i], op, vals[i]);
                        sqlite_freemem(query);
 
                        if (!tmp_str) {
@@ -945,9 +1084,9 @@ realtime_handler(const char *database, const char *table, va_list ap)
 
        ast_mutex_lock(&mutex);
 
-       RES_SQLITE_BEGIN
+       RES_CONFIG_SQLITE_BEGIN
                error = sqlite_exec(db, query, add_rt_cfg_entry, &args, &errormsg);
-       RES_SQLITE_END(error)
+       RES_CONFIG_SQLITE_END(error)
 
        ast_mutex_unlock(&mutex);
 
@@ -955,7 +1094,7 @@ realtime_handler(const char *database, const char *table, va_list ap)
 
        if (error) {
                ast_log(LOG_WARNING, "%s\n", errormsg);
-               ast_free(errormsg);
+               sqlite_freemem(errormsg);
                ast_variables_destroy(args.var);
                return NULL;
        }
@@ -971,7 +1110,7 @@ static int add_rt_multi_cfg_entry(void *arg, int argc, char **argv, char **colum
        char *cat_name;
        size_t i;
 
-       args = (struct rt_multi_cfg_entry_args *)arg;
+       args = arg;
        cat_name = NULL;
 
        /*
@@ -1011,7 +1150,7 @@ static int add_rt_multi_cfg_entry(void *arg, int argc, char **argv, char **colum
        return 0;
 }
 
-static struct ast_config *realtime_multi_handler(const char *database, 
+static struct ast_config *realtime_multi_handler(const char *database,
        const char *table, va_list ap)
 {
        char *query, *errormsg, *op, *tmp_str, *initfield;
@@ -1075,8 +1214,7 @@ static struct ast_config *realtime_multi_handler(const char *database,
 
                for (i = 1; i < params_count; i++) {
                        op = (!strchr(params[i], ' ')) ? " =" : "";
-                       tmp_str = sqlite_mprintf("%s AND %q%s '%q'", query, params[i], op,
-                                                                                                                        vals[i]);
+                       tmp_str = sqlite_mprintf("%s AND %q%s '%q'", query, params[i], op, vals[i]);
                        sqlite_freemem(query);
 
                        if (!tmp_str) {
@@ -1097,6 +1235,7 @@ static struct ast_config *realtime_multi_handler(const char *database,
 
        if (!(tmp_str = sqlite_mprintf("%s ORDER BY %q;", query, initfield))) {
                ast_log(LOG_WARNING, "Unable to reallocate SQL query\n");
+               sqlite_freemem(query);
                ast_config_destroy(cfg);
                ast_free(initfield);
                return NULL;
@@ -1110,9 +1249,9 @@ static struct ast_config *realtime_multi_handler(const char *database,
 
        ast_mutex_lock(&mutex);
 
-       RES_SQLITE_BEGIN
+       RES_CONFIG_SQLITE_BEGIN
                error = sqlite_exec(db, query, add_rt_multi_cfg_entry, &args, &errormsg);
-       RES_SQLITE_END(error)
+       RES_CONFIG_SQLITE_END(error)
 
        ast_mutex_unlock(&mutex);
 
@@ -1121,7 +1260,7 @@ static struct ast_config *realtime_multi_handler(const char *database,
 
        if (error) {
                ast_log(LOG_WARNING, "%s\n", errormsg);
-               ast_free(errormsg);
+               sqlite_freemem(errormsg);
                ast_config_destroy(cfg);
                return NULL;
        }
@@ -1130,8 +1269,7 @@ static struct ast_config *realtime_multi_handler(const char *database,
 }
 
 static int realtime_update_handler(const char *database, const char *table,
-       const char *keyfield, const char *entity,
-       va_list ap)
+       const char *keyfield, const char *entity, va_list ap)
 {
        char *query, *errormsg, *tmp_str;
        const char **params, **vals;
@@ -1162,8 +1300,7 @@ static int realtime_update_handler(const char *database, const char *table,
                size_t i;
 
                for (i = 1; i < params_count; i++) {
-                       tmp_str = sqlite_mprintf("%s, %q = '%q'", query, params[i],
-                                                                                                                        vals[i]);
+                       tmp_str = sqlite_mprintf("%s, %q = '%q'", query, params[i], vals[i]);
                        sqlite_freemem(query);
 
                        if (!tmp_str) {
@@ -1182,6 +1319,7 @@ static int realtime_update_handler(const char *database, const char *table,
 
        if (!(tmp_str = sqlite_mprintf("%s WHERE %q = '%q';", query, keyfield, entity))) {
                ast_log(LOG_WARNING, "Unable to reallocate SQL query\n");
+               sqlite_freemem(query);
                return -1;
        }
 
@@ -1191,9 +1329,9 @@ static int realtime_update_handler(const char *database, const char *table,
 
        ast_mutex_lock(&mutex);
 
-       RES_SQLITE_BEGIN
+       RES_CONFIG_SQLITE_BEGIN
                error = sqlite_exec(db, query, NULL, NULL, &errormsg);
-       RES_SQLITE_END(error)
+       RES_CONFIG_SQLITE_END(error)
 
        if (!error)
                rows_num = sqlite_changes(db);
@@ -1206,14 +1344,15 @@ static int realtime_update_handler(const char *database, const char *table,
 
        if (error) {
                ast_log(LOG_WARNING, "%s\n", errormsg);
-               ast_free(errormsg);
+               sqlite_freemem(errormsg);
        }
 
        return rows_num;
 }
 
-static int realtime_store_handler(const char *database, const char *table, va_list ap) {
-       char *errormsg, *tmp_str, *tmp_keys, *tmp_keys2, *tmp_vals, *tmp_vals2;
+static int realtime_store_handler(const char *database, const char *table, va_list ap)
+{
+       char *errormsg, *tmp_str, *tmp_keys = NULL, *tmp_keys2 = NULL, *tmp_vals = NULL, *tmp_vals2 = NULL;
        const char **params, **vals;
        size_t params_count;
        int error, rows_id;
@@ -1232,8 +1371,6 @@ static int realtime_store_handler(const char *database, const char *table, va_li
 #define QUERY "INSERT into '%q' (%s) VALUES (%s);"
 /* \endcond */
 
-       tmp_keys2 = NULL;
-       tmp_vals2 = NULL;
        for (i = 0; i < params_count; i++) {
                if ( tmp_keys2 ) {
                        tmp_keys = sqlite_mprintf("%s, %q", tmp_keys2, params[i]);
@@ -1243,6 +1380,7 @@ static int realtime_store_handler(const char *database, const char *table, va_li
                }
                if (!tmp_keys) {
                        ast_log(LOG_WARNING, "Unable to reallocate SQL query\n");
+                       sqlite_freemem(tmp_vals);
                        ast_free(params);
                        ast_free(vals);
                        return -1;
@@ -1256,6 +1394,7 @@ static int realtime_store_handler(const char *database, const char *table, va_li
                }
                if (!tmp_vals) {
                        ast_log(LOG_WARNING, "Unable to reallocate SQL query\n");
+                       sqlite_freemem(tmp_keys);
                        ast_free(params);
                        ast_free(vals);
                        return -1;
@@ -1271,6 +1410,8 @@ static int realtime_store_handler(const char *database, const char *table, va_li
 
        if (!(tmp_str = sqlite_mprintf(QUERY, table, tmp_keys, tmp_vals))) {
                ast_log(LOG_WARNING, "Unable to reallocate SQL query\n");
+               sqlite_freemem(tmp_keys);
+               sqlite_freemem(tmp_vals);
                return -1;
        }
 
@@ -1281,9 +1422,9 @@ static int realtime_store_handler(const char *database, const char *table, va_li
 
        ast_mutex_lock(&mutex);
 
-       RES_SQLITE_BEGIN
+       RES_CONFIG_SQLITE_BEGIN
                error = sqlite_exec(db, tmp_str, NULL, NULL, &errormsg);
-       RES_SQLITE_END(error)
+       RES_CONFIG_SQLITE_END(error)
 
        if (!error) {
                rows_id = sqlite_last_insert_rowid(db);
@@ -1297,15 +1438,14 @@ static int realtime_store_handler(const char *database, const char *table, va_li
 
        if (error) {
                ast_log(LOG_WARNING, "%s\n", errormsg);
-               ast_free(errormsg);
+               sqlite_freemem(errormsg);
        }
 
        return rows_id;
 }
 
 static int realtime_destroy_handler(const char *database, const char *table,
-       const char *keyfield, const char *entity,
-       va_list ap)
+       const char *keyfield, const char *entity, va_list ap)
 {
        char *query, *errormsg, *tmp_str;
        const char **params, **vals;
@@ -1351,18 +1491,18 @@ static int realtime_destroy_handler(const char *database, const char *table,
        ast_free(vals);
        if (!(tmp_str = sqlite_mprintf("%s %q = '%q';", query, keyfield, entity))) {
                ast_log(LOG_WARNING, "Unable to reallocate SQL query\n");
+               sqlite_freemem(query);
                return -1;
        }
        sqlite_freemem(query);
        query = tmp_str;
-
        ast_debug(1, "SQL query: %s\n", query);
 
        ast_mutex_lock(&mutex);
 
-       RES_SQLITE_BEGIN
+       RES_CONFIG_SQLITE_BEGIN
                error = sqlite_exec(db, query, NULL, NULL, &errormsg);
-       RES_SQLITE_END(error)
+       RES_CONFIG_SQLITE_END(error)
 
        if (!error)
                rows_num = sqlite_changes(db);
@@ -1375,40 +1515,142 @@ static int realtime_destroy_handler(const char *database, const char *table,
 
        if (error) {
                ast_log(LOG_WARNING, "%s\n", errormsg);
-               ast_free(errormsg);
+               sqlite_freemem(errormsg);
        }
 
        return rows_num;
 }
 
+static int realtime_require_handler(const char *unused, const char *tablename, va_list ap)
+{
+       struct sqlite_cache_tables *tbl = find_table(tablename);
+       struct sqlite_cache_columns *col;
+       char *elm;
+       int type, size, res = 0;
 
-static int cli_status(int fd, int argc, char *argv[])
+       if (!tbl) {
+               return -1;
+       }
+
+       while ((elm = va_arg(ap, char *))) {
+               type = va_arg(ap, require_type);
+               size = va_arg(ap, int);
+               /* Check if the field matches the criteria */
+               AST_RWLIST_TRAVERSE(&tbl->columns, col, list) {
+                       if (strcmp(col->name, elm) == 0) {
+                               /* SQLite only has two types - the 32-bit integer field that
+                                * is the key column, and everything else (everything else
+                                * being a string).
+                                */
+                               if (col->isint && !ast_rq_is_int(type)) {
+                                       ast_log(LOG_WARNING, "Realtime table %s: column '%s' is an integer field, but Asterisk requires that it not be!\n", tablename, col->name);
+                                       res = -1;
+                               }
+                               break;
+                       }
+               }
+               if (!col) {
+                       ast_log(LOG_WARNING, "Realtime table %s requires column '%s', but that column does not exist!\n", tablename, elm);
+               }
+       }
+       AST_RWLIST_UNLOCK(&(tbl->columns));
+       return res;
+}
+
+static int realtime_unload_handler(const char *unused, const char *tablename)
+{
+       struct sqlite_cache_tables *tbl;
+       AST_RWLIST_WRLOCK(&sqlite_tables);
+       AST_RWLIST_TRAVERSE_SAFE_BEGIN(&sqlite_tables, tbl, list) {
+               if (!strcasecmp(tbl->name, tablename)) {
+                       AST_RWLIST_REMOVE_CURRENT(list);
+                       free_table(tbl);
+               }
+       }
+       AST_RWLIST_TRAVERSE_SAFE_END
+       AST_RWLIST_UNLOCK(&sqlite_tables);
+       return 0;
+}
+
+static char *handle_cli_show_sqlite_status(struct ast_cli_entry *e, int cmd, struct ast_cli_args *a)
 {
-       ast_cli(fd, "SQLite database path: %s\n", dbfile);
-       ast_cli(fd, "config_table: ");
+       switch (cmd) {
+       case CLI_INIT:
+               e->command = "show sqlite status";
+               e->usage =
+                       "Usage: show sqlite status\n"
+                       "       Show status information about the SQLite 2 driver\n";
+               return NULL;
+       case CLI_GENERATE:
+               return NULL;
+       }
+
+       if (a->argc != 3)
+               return CLI_SHOWUSAGE;
+
+       ast_cli(a->fd, "SQLite database path: %s\n", dbfile);
+       ast_cli(a->fd, "config_table: ");
 
        if (!config_table)
-               ast_cli(fd, "unspecified, must be present in extconfig.conf\n");
+               ast_cli(a->fd, "unspecified, must be present in extconfig.conf\n");
        else
-               ast_cli(fd, "%s\n", config_table);
+               ast_cli(a->fd, "%s\n", config_table);
 
-       ast_cli(fd, "cdr_table: ");
+       ast_cli(a->fd, "cdr_table: ");
 
        if (!cdr_table)
-               ast_cli(fd, "unspecified, CDR support disabled\n");
+               ast_cli(a->fd, "unspecified, CDR support disabled\n");
        else
-               ast_cli(fd, "%s\n", cdr_table);
+               ast_cli(a->fd, "%s\n", cdr_table);
+
+       return CLI_SUCCESS;
+}
+
+static char *handle_cli_sqlite_show_tables(struct ast_cli_entry *e, int cmd, struct ast_cli_args *a)
+{
+       struct sqlite_cache_tables *tbl;
+       struct sqlite_cache_columns *col;
+       int found = 0;
+
+       switch (cmd) {
+       case CLI_INIT:
+               e->command = "sqlite show tables";
+               e->usage =
+                       "Usage: sqlite show tables\n"
+                       "       Show table information about the SQLite 2 driver\n";
+               return NULL;
+       case CLI_GENERATE:
+               return NULL;
+       }
+
+       if (a->argc != 3)
+               return CLI_SHOWUSAGE;
 
-       return RESULT_SUCCESS;
+       AST_RWLIST_RDLOCK(&sqlite_tables);
+       AST_RWLIST_TRAVERSE(&sqlite_tables, tbl, list) {
+               found++;
+               ast_cli(a->fd, "Table %s:\n", tbl->name);
+               AST_RWLIST_TRAVERSE(&(tbl->columns), col, list) {
+                       fprintf(stderr, "%s\n", col->name);
+                       ast_cli(a->fd, "  %20.20s  %-30.30s\n", col->name, col->type);
+               }
+       }
+       AST_RWLIST_UNLOCK(&sqlite_tables);
+
+       if (!found) {
+               ast_cli(a->fd, "No tables currently in cache\n");
+       }
+
+       return CLI_SUCCESS;
 }
 
 static int unload_module(void)
 {
        if (cli_status_registered)
-               ast_cli_unregister(&cli_status_cmd);
+               ast_cli_unregister_multiple(cli_status, sizeof(cli_status) / sizeof(struct ast_cli_entry));
 
        if (cdr_registered)
-               ast_cdr_unregister(RES_SQLITE_NAME);
+               ast_cdr_unregister(RES_CONFIG_SQLITE_NAME);
 
        ast_config_engine_deregister(&sqlite_engine);
 
@@ -1431,7 +1673,6 @@ static int load_module(void)
        dbfile = NULL;
        config_table = NULL;
        cdr_table = NULL;
-       vm_count = 0;
        error = load_config();
 
        if (error)
@@ -1439,7 +1680,7 @@ static int load_module(void)
 
        if (!(db = sqlite_open(dbfile, 0660, &errormsg))) {
                ast_log(LOG_ERROR, "%s\n", errormsg);
-               ast_free(errormsg);
+               sqlite_freemem(errormsg);
                unload_module();
                return 1;
        }
@@ -1447,10 +1688,28 @@ static int load_module(void)
        ast_config_engine_register(&sqlite_engine);
 
        if (use_cdr) {
-               RES_SQLITE_BEGIN
-                       error = sqlite_exec_printf(db, "SELECT COUNT(id) FROM %Q;", NULL, NULL,
-                                                                                                                                &errormsg, cdr_table);
-               RES_SQLITE_END(error)
+               char *query;
+
+/* \cond DOXYGEN_CAN_PARSE_THIS */
+#undef QUERY
+#define QUERY "SELECT COUNT(id) FROM %Q;"
+/* \endcond */
+
+               query = sqlite_mprintf(QUERY, cdr_table);
+
+               if (!query) {
+                       ast_log(LOG_ERROR, "Unable to allocate SQL query\n");
+                       unload_module();
+                       return 1;
+               }
+
+               ast_debug(1, "SQL query: %s\n", query);
+
+               RES_CONFIG_SQLITE_BEGIN
+                       error = sqlite_exec(db, query, NULL, NULL, &errormsg);
+               RES_CONFIG_SQLITE_END(error)
+
+               sqlite_freemem(query);
 
                if (error) {
                        /*
@@ -1458,26 +1717,37 @@ static int load_module(void)
                         */
                        if (error != SQLITE_ERROR) {
                                ast_log(LOG_ERROR, "%s\n", errormsg);
-                               ast_free(errormsg);
+                               sqlite_freemem(errormsg);
                                unload_module();
                                return 1;
                        }
 
-                       RES_SQLITE_BEGIN
-                               error = sqlite_exec_printf(db, sql_create_cdr_table, NULL, NULL,
-                                                               &errormsg, cdr_table);
-                       RES_SQLITE_END(error)
+                       sqlite_freemem(errormsg);
+                       query = sqlite_mprintf(sql_create_cdr_table, cdr_table);
+
+                       if (!query) {
+                               ast_log(LOG_ERROR, "Unable to allocate SQL query\n");
+                               unload_module();
+                               return 1;
+                       }
+
+                       ast_debug(1, "SQL query: %s\n", query);
+
+                       RES_CONFIG_SQLITE_BEGIN
+                               error = sqlite_exec(db, query, NULL, NULL, &errormsg);
+                       RES_CONFIG_SQLITE_END(error)
+
+                       sqlite_freemem(query);
 
                        if (error) {
                                ast_log(LOG_ERROR, "%s\n", errormsg);
-                               ast_free(errormsg);
+                               sqlite_freemem(errormsg);
                                unload_module();
                                return 1;
                        }
                }
 
-               error = ast_cdr_register(RES_SQLITE_NAME, RES_SQLITE_DESCRIPTION,
-                                                                                                                cdr_handler);
+               error = ast_cdr_register(RES_CONFIG_SQLITE_NAME, RES_CONFIG_SQLITE_DESCRIPTION, cdr_handler);
 
                if (error) {
                        unload_module();
@@ -1487,7 +1757,7 @@ static int load_module(void)
                cdr_registered = 1;
        }
 
-       error = ast_cli_register(&cli_status_cmd);
+       error = ast_cli_register_multiple(cli_status, sizeof(cli_status) / sizeof(struct ast_cli_entry));
 
        if (error) {
                unload_module();