Several components: fixing Typos in comments and code, "avaliable" instead of "available"
[asterisk/asterisk.git] / include / asterisk / test.h
1 /*
2  * Asterisk -- An open source telephony toolkit.
3  *
4  * Copyright (C) 2009-2013, Digium, Inc.
5  *
6  * David Vossel <dvossel@digium.com>
7  * Russell Bryant <russell@digium.com>
8  *
9  * See http://www.asterisk.org for more information about
10  * the Asterisk project. Please do not directly contact
11  * any of the maintainers of this project for assistance;
12  * the project provides a web site, mailing lists and IRC
13  * channels for your use.
14  *
15  * This program is free software, distributed under the terms of
16  * the GNU General Public License Version 2. See the LICENSE file
17  * at the top of the source tree.
18  */
19
20 /*!
21  * \file
22  * \brief Test Framework API
23  *
24  * For an overview on how to use the test API, see \ref AstUnitTestAPI
25  *
26  * \author David Vossel <dvossel@digium.com>
27  * \author Russell Bryant <russell@digium.com>
28  */
29
30 #ifndef _AST_TEST_H_
31 #define _AST_TEST_H_
32
33 #ifdef TEST_FRAMEWORK
34 #include "asterisk/cli.h"
35 #include "asterisk/strings.h"
36 #endif
37
38 /*!
39
40 \page AstUnitTestAPI Asterisk Unit Test API
41
42 \section UnitTestAPIUsage How to Use the Unit Test API
43
44 \subsection DefineTest Define a Test
45
46    Create a callback function for the test using the AST_TEST_DEFINE macro.
47
48    Each defined test has three arguments available to it's test code.
49        \param struct ast_test_info *info
50        \param enum ast_test_command cmd
51        \param struct ast_test *test
52
53    While these arguments are not visible they are passed to every test function
54    defined using the AST_TEST_DEFINE macro.
55
56    Below is an example of how to define and write a test function.
57
58 \code
59    AST_TEST_DEFINE(sample_test_cb) \\The name of the callback function
60    {                               \\The the function's body
61       switch (cmd) {
62       case TEST_INIT:
63           info->name = "sample_test";
64           info->category = "main/test/";
65           info->summary = "sample test for example purpose";
66           info->description = "This demonstrates how to initialize a test function";
67
68           return AST_TEST_NOT_RUN;
69       case TEST_EXECUTE:
70           break;
71       }
72       \test code
73       .
74       .
75       .
76       if (fail) {                 \\ the following is just some example logic
77           ast_test_status_update(test, "an error occured because...");
78           res = AST_RESULT_FAIL;
79       } else {
80           res = AST_RESULT_PASS
81       }
82       return res;                 \\ result must be of type enum ast_test_result_state
83    }
84 \endcode
85
86       Details of the test execution, especially failure details, should be provided
87       by using the ast_test_status_update() function.
88
89 \subsection RegisterTest Register a Test
90
91    Register the test using the AST_TEST_REGISTER macro.
92
93    AST_TEST_REGISTER uses the callback function to retrieve all the information
94    pertaining to a test, so the callback function is the only argument required
95    for registering a test.
96
97    AST_TEST_REGISTER(sample_test_cb);    \\ Test callback function defined by AST_TEST_DEFINE
98
99    Tests are unregestered by using the AST_TEST_UNREGISTER macro.
100
101    AST_TEST_UNREGISTER(sample_test_cb);  \\ Remove a registered test by callback function
102
103 \subsection ExecuteTest Execute a Test
104
105    Execute and generate test results via CLI commands
106
107    CLI Examples:
108 \code
109    'test show registered all'  will show every registered test.
110    'test execute all'          will execute every registered test.
111    'test show results all'     will show detailed results for ever executed test
112    'test generate results xml' will generate a test report in xml format
113    'test generate results txt' will generate a test report in txt format
114 \endcode
115 */
116
117 /*! Macros used for defining and registering a test */
118 #ifdef TEST_FRAMEWORK
119
120 #define AST_TEST_DEFINE(hdr) static enum ast_test_result_state hdr(struct ast_test_info *info, enum ast_test_command cmd, struct ast_test *test)
121 #define AST_TEST_REGISTER(cb) ast_test_register(cb)
122 #define AST_TEST_UNREGISTER(cb) ast_test_unregister(cb)
123
124 #else
125
126 #define AST_TEST_DEFINE(hdr) static enum ast_test_result_state attribute_unused hdr(struct ast_test_info *info, enum ast_test_command cmd, struct ast_test *test)
127 #define AST_TEST_REGISTER(cb)
128 #define AST_TEST_UNREGISTER(cb)
129 #define ast_test_status_update(a,b,c...)
130 #define ast_test_debug(test, fmt, ...)  ast_cli         /* Dummy function that should not be called. */
131
132 #endif
133
134 /*! Macros used for the Asterisk Test Suite AMI events */
135 #ifdef TEST_FRAMEWORK
136
137 struct stasis_topic;
138 struct stasis_message_type;
139
140 /*!
141  * \since 12
142  * \brief Obtain the \ref stasis_topic for \ref ast_test_suite_event_notify
143  * messages
144  *
145  * \retval A stasis topic
146  */
147 struct stasis_topic *ast_test_suite_topic(void);
148
149 /*!
150  * \since 12
151  * \brief Obtain the \ref stasis_message_type for \ref ast_test_suite_event_notify
152  * messages
153  *
154  * \retval A stasis message type
155  */
156 struct stasis_message_type *ast_test_suite_message_type(void);
157
158 /*!
159  * \since 12
160  * \brief The message payload in a \ref ast_test_suite_message_type
161  */
162 struct ast_test_suite_message_payload;
163
164 /*!
165  * \since 12
166  * \brief Get the JSON for a \ref ast_test_suite_message_payload
167  *
168  * \retval An \ref ast_json object
169  */
170 struct ast_json *ast_test_suite_get_blob(struct ast_test_suite_message_payload *payload);
171
172 /*!
173  * \brief Notifies the test suite of a change in application state
174  *
175  * \details
176  * Raises a TestEvent manager event with a subtype of StateChange.  Additional parameters
177  * The fmt parameter allows additional parameters to be added to the manager event using
178  * printf style statement formatting.
179  *
180  * \param state         The state the application has changed to
181  * \param fmt           The message with format parameters to add to the manager event
182  *
183  * \return Nothing
184  */
185 void __ast_test_suite_event_notify(const char *file, const char *func, int line, const char *state, const char *fmt, ...)
186         __attribute__((format(printf, 5, 6)));
187
188 /*!
189  * \ref __ast_test_suite_event_notify()
190  */
191 #define ast_test_suite_event_notify(s, f, ...) \
192         __ast_test_suite_event_notify(__FILE__, __PRETTY_FUNCTION__, __LINE__, (s), (f), ## __VA_ARGS__)
193
194 #else
195
196 #define ast_test_suite_event_notify(s, f, ...)
197
198 #endif
199
200 enum ast_test_result_state {
201         AST_TEST_NOT_RUN,
202         AST_TEST_PASS,
203         AST_TEST_FAIL,
204 };
205
206 enum ast_test_command {
207         TEST_INIT,
208         TEST_EXECUTE,
209 };
210
211 /*!
212  * \brief An Asterisk unit test.
213  *
214  * This is an opaque type.
215  */
216 struct ast_test;
217
218 /*!
219  * \brief Contains all the initialization information required to store a new test definition
220  */
221 struct ast_test_info {
222         /*! \brief name of test, unique to category */
223         const char *name;
224         /*!
225          * \brief test category
226          *
227          * Tests are categorized in a directory tree style hierarchy.  It is expected that
228          * this string have both a leading and trailing forward slash ('/').
229          */
230         const char *category;
231         /*! \brief optional short summary of test */
232         const char *summary;
233         /*! \brief optional brief detailed description of test */
234         const char *description;
235 };
236
237 #ifdef TEST_FRAMEWORK
238 /*!
239  * \brief Generic test callback function
240  *
241  * \param info The test info object
242  * \param cmd What to perform in the test
243  * \param test The actual test object being manipulated
244  *
245  * \retval AST_TEST_PASS for pass
246  * \retval AST_TEST_FAIL for failure
247  */
248 typedef enum ast_test_result_state (ast_test_cb_t)(struct ast_test_info *info,
249         enum ast_test_command cmd, struct ast_test *test);
250
251 /*!
252  * \since 12
253  * \brief A test initialization callback function
254  *
255  * \param info The test info object
256  * \param test The actual test object that will be manipulated
257  *
258  * \retval 0 success
259  * \retval other failure. This will fail the test.
260  */
261 typedef int (ast_test_init_cb_t)(struct ast_test_info *info, struct ast_test *test);
262
263 /*!
264  * \since 12
265  * \brief A test cleanup callback function
266  *
267  * \param info The test info object
268  * \param test The actual test object that was executed
269  *
270  * \retval 0 success
271  * \retval other failure. This will fail the test.
272  */
273 typedef int (ast_test_cleanup_cb_t)(struct ast_test_info *info, struct ast_test *test);
274
275 /*!
276  * \brief unregisters a test with the test framework
277  *
278  * \param test callback function (required)
279  *
280  * \retval 0 success
281  * \retval -1 failure
282  */
283 int ast_test_unregister(ast_test_cb_t *cb);
284
285 /*!
286  * \brief registers a test with the test framework
287  *
288  * \param test callback function (required)
289  *
290  * \retval 0 success
291  * \retval -1 failure
292  */
293 int ast_test_register(ast_test_cb_t *cb);
294
295 /*!
296  * \since 12
297  * \brief Register an initialization function to be run before each test
298  * executes
299  *
300  * This function lets a registered test have an initialization function that
301  * will be run prior to test execution. Each category may have a single init
302  * function.
303  *
304  * If the initialization function returns a non-zero value, the test will not
305  * be executed and the result will be set to \ref AST_TEST_FAIL.
306  *
307  * \retval 0 success
308  * \retval other failure
309  */
310 int ast_test_register_init(const char *category, ast_test_init_cb_t *cb);
311
312 /*!
313  * \since 12
314  * \brief Register a cleanup function to be run after each test executes
315  *
316  * This function lets a registered test have a cleanup function that will be
317  * run immediately after test execution. Each category may have a single
318  * cleanup function.
319  *
320  * If the cleanup function returns a non-zero value, the test result will be
321  * set to \ref AST_TEST_FAIL.
322  *
323  * \retval 0 success
324  * \retval other failure
325  */
326 int ast_test_register_cleanup(const char *category, ast_test_cleanup_cb_t *cb);
327
328
329 /*!
330  * \brief Unit test debug output.
331  * \since 12.0.0
332  *
333  * \param test Unit test control structure.
334  * \param fmt printf type format string.
335  *
336  * \return Nothing
337  */
338 void ast_test_debug(struct ast_test *test, const char *fmt, ...) __attribute__((format(printf, 2, 3)));
339
340 /*!
341  * \brief Set the result of a test.
342  *
343  * If the caller of this function sets the result to AST_TEST_FAIL, returning
344  * AST_TEST_PASS from the test will not pass the test. This lets a test writer
345  * end and fail a test and continue on with logic, catching multiple failure
346  * conditions within a single test.
347  */
348 void ast_test_set_result(struct ast_test *test, enum ast_test_result_state state);
349
350
351 /*!
352  * \brief update test's status during testing.
353  *
354  * \param test currently executing test
355  *
356  * \retval 0 success
357  * \retval -1 failure
358  */
359 int __ast_test_status_update(const char *file, const char *func, int line, struct ast_test *test, const char *fmt, ...)
360         __attribute__((format(printf, 5, 6)));
361
362 /*!
363  * \ref __ast_test_status_update()
364  */
365 #define ast_test_status_update(t, f, ...) __ast_test_status_update(__FILE__, __PRETTY_FUNCTION__, __LINE__, (t), (f), ## __VA_ARGS__)
366
367 /*!
368  * \brief Check a test condition, failing the test if it's not true.
369  *
370  * \since 12.0.0
371  *
372  * This macro evaluates \a condition. If the condition evaluates to true (non-zero),
373  * nothing happens. If it evaluates to false (zero), then the failure is printed
374  * using \ref ast_test_status_update, and the current test is ended with AST_TEST_FAIL.
375  *
376  * Sadly, the name 'ast_test_assert' was already taken.
377  *
378  * Note that since this macro returns from the current test, there must not be any
379  * cleanup work to be done before returning. Use \ref RAII_VAR for test cleanup.
380  *
381  * \param test Currently executing test
382  * \param condition Boolean condition to check.
383  */
384 #define ast_test_validate(test, condition)                              \
385         do {                                                            \
386                 if (!(condition)) {                                     \
387                         __ast_test_status_update(__FILE__, __PRETTY_FUNCTION__, __LINE__, (test), "Condition failed: %s\n", #condition); \
388                         return AST_TEST_FAIL;                           \
389                 }                                                       \
390         } while(0)
391
392
393 #endif /* TEST_FRAMEWORK */
394 #endif /* _AST_TEST_H */