Unit Test Framework API
[asterisk/asterisk.git] / include / asterisk / test.h
1 /*
2  * Asterisk -- An open source telephony toolkit.
3  *
4  * Copyright (C) 2009, Digium, Inc.
5  *
6  * David Vossel <dvossel@digium.com>
7  *
8  * See http://www.asterisk.org for more information about
9  * the Asterisk project. Please do not directly contact
10  * any of the maintainers of this project for assistance;
11  * the project provides a web site, mailing lists and IRC
12  * channels for your use.
13  *
14  * This program is free software, distributed under the terms of
15  * the GNU General Public License Version 2. See the LICENSE file
16  * at the top of the source tree.
17  */
18
19 /*!
20  * \file
21  * \brief Test Framework API
22  *
23  * For an overview on how to use the test API, see \ref AstUnitTestAPI
24  *
25  * \author David Vossel <dvossel@digium.com>
26  */
27
28 #ifndef _AST_TEST_H_
29 #define _AST_TEST_H_
30
31 #ifdef TEST_FRAMEWORK
32 #include "asterisk/cli.h"
33 #include "asterisk/strings.h"
34 #endif
35
36 /*! 
37
38 \page AstUnitTestAPI Asterisk Unit Test API
39
40 \section UnitTestAPIUsage How to Use the Unit Test API
41
42 \subsection DefineTest Define a Test
43
44    Create a callback function for the test using the AST_TEST_DEFINE macro.
45
46    Each defined test has three arguments avaliable to it's test code.
47        \param struct ast_test_info *info
48        \param enum ast_test_command cmd
49        \param struct ast_test_args *args
50
51    While these arguments are not visible they are passed to every test function
52    defined using the AST_TEST_DEFINE macro.
53
54    Below is an example of how to define and write a test function.
55
56 \code
57    AST_TEST_DEFINE(sample_test_cb) \\The name of the callback function
58    {                               \\The the function's body 
59       switch (cmd) {
60       case TEST_INIT:
61           info->name = "sample_test";
62           info->category = "main/test/";
63           info->summary = "sample test for example purpose";
64           info->description = "This demonstrates how to initialize a test function";
65
66           return AST_TEST_NOT_RUN;
67       case TEST_EXECUTE:
68           break;
69       }
70       \test code
71       .
72       .
73       .
74       if (fail) {                 \\ the following is just some example logic
75           ast_str_set(&args->ast_test_error_str, 0 , "an error occured because...");
76           res = AST_RESULT_FAIL;
77       } else {
78           res = AST_RESULT_PASS
79       }
80       return res;                 \\ result must be of type enum ast_test_result_state
81    }
82 \endcode
83
84    Every callback function is passed an ast_test_args object which contains
85    an ast_str allowing the function to provide an optional short description of
86    what went wrong if the test failed. This is done by writing to
87    args->ast_test_error_str.
88
89 \subsection RegisterTest Register a Test 
90
91    Register the test using the AST_TEST_REGISTER macro.
92
93    AST_TEST_REGISTER uses the callback function to retrieve all the information
94    pertaining to a test, so the callback function is the only argument required
95    for registering a test.
96
97    AST_TEST_REGISTER(sample_test_cb);    \\ Test callback function defined by AST_TEST_DEFINE
98
99    Tests are unregestered by using the AST_TEST_UNREGISTER macro.
100
101    AST_TEST_UNREGISTER(sample_test_cb);  \\ Remove a registered test by callback function
102
103 \subsection ExecuteTest Execute a Test
104
105    Execute and generate test results via CLI commands
106
107    CLI Examples:
108 \code
109    'test show registered all'  will show every registered test.
110    'test execute all'          will execute every registered test.
111    'test show results all'     will show detailed results for ever executed test
112    'test generate results xml' will generate a test report in xml format
113    'test generate results txt' will generate a test report in txt format
114 \endcode
115 */
116
117 /*! Macros used for defining and registering a test */
118 #ifdef TEST_FRAMEWORK
119
120 #define AST_TEST_DEFINE(hdr) static enum ast_test_result_state hdr(struct ast_test_info *info, enum ast_test_command cmd, struct ast_test_args *args)
121 #define AST_TEST_REGISTER(cb) ast_test_register(cb)
122 #define AST_TEST_UNREGISTER(cb) ast_test_unregister(cb)
123
124 #else
125
126 #define AST_TEST_DEFINE(hdr) static enum ast_test_result_state attribute_unused hdr(struct ast_test_info *info, enum ast_test_command cmd, struct ast_test_args *args)
127 #define AST_TEST_REGISTER(cb)
128 #define AST_TEST_UNREGISTER(cb)
129
130 #endif
131
132 enum ast_test_result_state {
133         AST_TEST_NOT_RUN,
134         AST_TEST_PASS,
135         AST_TEST_FAIL,
136 };
137
138 enum ast_test_command {
139         TEST_INIT,
140         TEST_EXECUTE,
141 };
142
143 /*!
144  *  This struct is passed to ast_test_status_update() providing a place to push
145  *  the update to. In the future this structure may expand beyond simply being
146  *  a wrapper for cli args to including other status update options as well.
147  */
148 struct ast_test_status_args {
149         /*! pointer to cli arg used for updating status */
150         struct ast_cli_args *cli;
151 };
152
153 /*!
154  * tools made available to the callback function during test execution
155  */
156 struct ast_test_args {
157         struct ast_str *ast_test_error_str;  /*! optional error str to describe error result */
158         struct ast_test_status_args status_update;
159 };
160
161 /*!
162  * Contains all the initilization information required to store a new test definition
163  */
164 struct ast_test_info {
165         /*! name of test, unique to category */
166         const char *name;
167         /*! test category */
168         const char *category;
169         /*! optional short summary of test */
170         const char *summary;
171         /*! optional brief detailed description of test */
172         const char *description;
173 };
174
175 #ifdef TEST_FRAMEWORK
176 /*!
177  * \brief Generic test callback function
178  *
179  * \param error buffer string for failure results
180  *
181  * \retval AST_TEST_PASS for pass
182  * \retval AST_TEST_FAIL for failure
183  */
184 typedef enum ast_test_result_state (ast_test_cb_t)(struct ast_test_info *info, enum ast_test_command cmd, struct ast_test_args *args);
185
186 /*!
187  * \brief unregisters a test with the test framework
188  *
189  * \param test callback function (required)
190  *
191  * \retval 0 success
192  * \retval -1 failure
193  */
194 int ast_test_unregister(ast_test_cb_t *cb);
195
196 /*!
197  * \brief registers a test with the test framework
198  *
199  * \param test callback function (required)
200  *
201  * \retval 0 success
202  * \retval -1 failure
203  */
204 int ast_test_register(ast_test_cb_t *cb);
205
206 /*!
207  * \brief update test's status during testing.
208  *
209  * \param ast_test_status_args defines everywhere the update should go.
210  *
211  * \retval 0 success
212  * \retval -1 failure
213  */
214 int ast_test_status_update(struct ast_test_status_args *args, const char *fmt, ...)
215 __attribute__((format(printf, 2, 3)));
216
217 #endif /* TEST_FRAMEWORK */
218 #endif /* _AST_TEST_H */