From 9125a301b3af48c293858be89a1c30817da583d8 Mon Sep 17 00:00:00 2001 From: Peter Mathis Date: Thu, 28 Nov 2024 11:26:14 -0300 Subject: [PATCH 1/4] Fix removed `unittest.makeSuite` in python 3.13 --- .../PortalTransforms/tests/output/demo1.html | 2 +- .../tests/output/demo1.html.nofilename | 2 +- .../tests/test_intelligenttext.py | 11 +++++------ .../PortalTransforms/tests/test_transforms.py | 7 +++---- docs/dev_manual.rst | 16 ++++++++-------- 5 files changed, 18 insertions(+), 20 deletions(-) diff --git a/Products/PortalTransforms/tests/output/demo1.html b/Products/PortalTransforms/tests/output/demo1.html index 2f60f41..5457311 100644 --- a/Products/PortalTransforms/tests/output/demo1.html +++ b/Products/PortalTransforms/tests/output/demo1.html @@ -1 +1 @@ -Chapter 44
Writing Basic Unit Tests
Difficulty
Newcomer
Skills
• All you need to know is some Python.
Problem/Task
As you know by now, Zope 3 gains its incredible stability from testing any code in great detail. The
currently most common method is to write unit tests. This chapter introduces unit tests – which
are Zope 3 independent – and introduces some of the subtleties.
Solution
44.1
Implementing the Sample Class
Before we can write tests, we have to write some code that we can test. Here, we will implement
a simple class called Sample with a public attribute title and description that is accessed
via getDescription() and mutated using setDescription(). Further, the description must be
either a regular or unicode string.
Since this code will not depend on Zope, open a file named test sample.py anywhere and add
the following class:
1 Sample(object):
2
"""A trivial Sample object."""
3
4
title = None
5
6
def __init__(self):
7
"""Initialize object."""
8
self._description = ’’
9
1
2
CHAPTER 44. WRITING BASIC UNIT TESTS
10
def setDescription(self, value):
11
"""Change the value of the description."""
12
assert isinstance(value, (str, unicode))
13
self._description = value
14
15
def getDescription(self):
16
"""Change the value of the description."""
17
return self._description
Line 4: The title is just publicly declared and a value of None is given. Therefore this is just
a regular attribute.
Line 8: The actual description string will be stored in description.
Line 12: Make sure that the description is only a regular or unicode string, like it was stated in
the requirements.
If you wish you can now manually test the class with the interactive Python shell. Just start
Python by entering python in your shell prompt. Note that you should be in the directory in
which test sample.py is located when starting Python (an alternative is of course to specify the
directory in your PYTHONPATH.)
1 >>> from test_sample import Sample
2 >>> sample = Sample()
3 >>> print sample.title
4 None
5 >>> sample.title = ’Title’
6 >>> print sample.title
7 Title
8 >>> print sample.getDescription()
9
10 >>> sample.setDescription(’Hello World’)
11 >>> print sample.getDescription()
12 Hello World
13 >>> sample.setDescription(None)
14 Traceback (most recent call last):
15
File "<stdin>", line 1, in ?
16
File "test_sample.py", line 31, in setDescription
17
assert isinstance(value, (str, unicode))
18 AssertionError
As you can see in the last test, non-string object types are not allowed as descriptions and an
AssertionError is raised.
44.2
Writing the Unit Tests
The goal of writing the unit tests is to convert this informal, manual, and interactive testing session
into a formal test class. Python provides already a module called unittest for this purpose, which
is a port of the Java-based unit testing product, JUnit, by Kent Beck and Erich Gamma. There are
three levels to the testing framework (this list deviates a bit from the original definitions as found
in the Python library documentation. 1).
1 http://www.python.org/doc/current/lib/module-unittest.html
44.2. WRITING THE UNIT TESTS
3
The smallest unit is obviously the “test”, which is a single method in a TestCase class that
tests the behavior of a small piece of code or a particular aspect of an implementation. The “test
case” is then a collection tests that share the same setup/inputs. On top of all of this sits the “test
suite” which is a collection of test cases and/or other test suites. Test suites combine tests that
should be executed together. With the correct setup (as shown in the example below), you can
then execute test suites. For large projects like Zope 3, it is useful to know that there is also the
concept of a test runner, which manages the test run of all or a set of tests. The runner provides
useful feedback to the application, so that various user interfaces can be developed on top of it.
But enough about the theory. In the following example, which you can simply put into the same
file as your code above, you will see a test in common Zope 3 style.
1 import unittest
2
3 class SampleTest(unittest.TestCase):
4
"""Test the Sample class"""
5
6
def test_title(self):
7
sample = Sample()
8
self.assertEqual(sample.title, None)
9
sample.title = ’Sample Title’
10
self.assertEqual(sample.title, ’Sample Title’)
11
12
def test_getDescription(self):
13
sample = Sample()
14
self.assertEqual(sample.getDescription(), ’’)
15
sample._description = "Description"
16
self.assertEqual(sample.getDescription(), ’Description’)
17
18
def test_setDescription(self):
19
sample = Sample()
20
self.assertEqual(sample._description, ’’)
21
sample.setDescription(’Description’)
22
self.assertEqual(sample._description, ’Description’)
23
sample.setDescription(u’Description2’)
24
self.assertEqual(sample._description, u’Description2’)
25
self.assertRaises(AssertionError, sample.setDescription, None)
26
27
28 def test_suite():
29
return unittest.TestSuite((
30
unittest.makeSuite(SampleTest),
31
))
32
33 if __name__ == ’__main__’:
34
unittest.main(defaultTest=’test_suite’)
Line 3–4: We usually develop test classes which must inherit from TestCase. While often not
done, it is a good idea to give the class a meaningful docstring that describes the purpose of the
tests it includes.
Line 6, 12 & 18: When a test case is run, a method called runTests() is executed. While it
is possible to override this method to run tests differently, the default option will look for any
method whose name starts with test and execute it as a single test. This way we can create
a “test method” for each aspect, method, function or property of the code to be tested. This
default is very sensible and is used everywhere in Zope 3.
4
CHAPTER 44. WRITING BASIC UNIT TESTS
Note that there is no docstring for test methods. This is intentional. If a docstring is specified,
it is used instead of the method name to identify the test. When specifying a docstring, we have
noticed that it is very difficult to identify the test later; therefore the method name is a much
better choice.
Line 8, 10, 14, . . . : The TestCase class implements a handful of methods that aid you with the
testing. Here are some of the most frequently used ones. For a complete list see the standard
Python documentation referenced above.
• assertEqual(first,second[,msg])
Checks whether the first and second value are equal. If the test fails, the msg or None
is returned.
• assertNotEqual(first,second[,msg])
This is simply the opposite to assertEqual() by checking for non-equality.
• assertRaises(exception,callable,...)
You expect the callable to raise exception when executed. After the callable you can
specify any amount of positional and keyword arguments for the callable. If you expect
a group of exceptions from the execution, you can make exception a tuple of possible
exceptions.
• assert (expr[,msg])
Assert checks whether the specified expression executes correctly. If not, the test fails and
msg or None is returned.
• assertEqual()
This testing method is equivalent to assertEqual().
• assertTrue(expr[,msg])
This method is equivalent to assert (expr[,msg]).
• assertFalse()
This is the opposite to assertTrue().
• fail([msg])
Fails the running test without any evaluation. This is commonly used when testing various
possible execution paths at once and you would like to signify a failure if an improper path
was taken.
Line 6–10: This method tests the title attribute of the Sample class. The first test should
be of course that the attribute exists and has the expected initial value (line 8). Then the title
attribute is changed and we check whether the value was really stored. This might seem like
overkill, but later you might change the title in a way that it uses properties instead. Then it
becomes very important to check whether this test still passes.
Line 12–16: First we simply check that getDescription() returns the correct default value.
Since we do not want to use other API calls like setDescription() we set a new value of the
description via the implementation-internal description attribute (line 15). This is okay! Unit
tests can make use of implementation-specific attributes and methods. Finally we just check that
the correct value is returned.
44.3. RUNNING THE TESTS
5
Line 18–25: On line 21–24 it is checked that both regular and unicode strings are set correctly.
In the last line of the test we make sure that no other type of objects can be set as a description
and that an error is raised.
28–31: This method returns a test suite that includes all test cases created in this module. It is
used by the Zope 3 test runner when it picks up all available tests. You would basically add the
line unittest.makeSuite(TestCaseClass) for each additional test case.
33–34: In order to make the test module runnable by itself, you can execute unittest.main()
when the module is run.
44.3
Running the Tests
You can run the test by simply calling pythontest sample.py from the directory you saved the
file in. Here is the result you should see:
.
--------------------------------------------------------------------
n 3 tests in 0.001s
The three dots represent the three tests that were run. If a test had failed, it would have been
reported pointing out the failing test and providing a small traceback.
When using the default Zope 3 test runner, tests will be picked up as long as they follow some
conventions.
• The tests must either be in a package or be a module called tests.
• If tests is a package, then all test modules inside must also have a name starting with test,
as it is the case with our name test sample.py.
• The test module must be somewhere in the Zope 3 source tree, since the test runner looks
only for files there.
In our case, you could simply create a tests package in ZOPE3/src (do not forget the
init .
py file). Then place the test sample.py file into this directory.
You you can use the test runner to run only the sample tests as follows from the Zope 3 root
directory:
python test.py -vp tests.test_sample
The -v option stands for verbose mode, so that detailed information about a test failure is
provided. The -p option enables a progress bar that tells you how many tests out of all have been
completed. There are many more options that can be specified. You can get a full list of them with
the option -h: pythontest.py-h.
The output of the call above is as follows:
nfiguration file found.
nning UNIT tests at level 1
nning UNIT tests from /opt/zope/Zope3
3/3 (100.0%): test_title (tests.test_sample.SampleTest)
--------------------------------------------------------------------
n 3 tests in 0.002s
6
CHAPTER 44. WRITING BASIC UNIT TESTS
nning FUNCTIONAL tests at level 1
nning FUNCTIONAL tests from /opt/zope/Zope3
--------------------------------------------------------------------
n 0 tests in 0.000s
Line 1: The test runner uses a configuration file for some setup. This allows developers to use
the test runner for other projects as well. This message simply tells us that the configuration file
was found.
Line 2–8: The unit tests are run. On line 4 you can see the progress bar.
Line 9–15: The functional tests are run, since the default test runner runs both types of tests.
Since we do not have any functional tests in the specified module, there are no tests to run. To
just run the unit tests, use option -u and -f for just running the functional tests. See “Writing
Functional Tests” for more details on functional tests.
44.3. RUNNING THE TESTS
7
Exercises
1. It is not very common to do the setup – in our case sample=Sample() – in every test
method. Instead there exists a method called setUp() and its counterpart tearDown that
are run before and after each test, respectively. Change the test code above, so that it uses
the setUp() method. In later chapters and the rest of the book we will frequently use this
method of setting up tests.
2. Currently the test setDescription() test only verifies that None is not allowed as input
value.
(a) Improve the test, so that all other builtin types are tested as well.
(b) Also, make sure that any objects inheriting from str or unicode pass as valid values.
+Chapter 44
Writing Basic Unit Tests
Difficulty
Newcomer
Skills
• All you need to know is some Python.
Problem/Task
As you know by now, Zope 3 gains its incredible stability from testing any code in great detail. The
currently most common method is to write unit tests. This chapter introduces unit tests – which
are Zope 3 independent – and introduces some of the subtleties.
Solution
44.1
Implementing the Sample Class
Before we can write tests, we have to write some code that we can test. Here, we will implement
a simple class called Sample with a public attribute title and description that is accessed
via getDescription() and mutated using setDescription(). Further, the description must be
either a regular or unicode string.
Since this code will not depend on Zope, open a file named test sample.py anywhere and add
the following class:
1 Sample(object):
2
"""A trivial Sample object."""
3
4
title = None
5
6
def __init__(self):
7
"""Initialize object."""
8
self._description = ’’
9
1
2
CHAPTER 44. WRITING BASIC UNIT TESTS
10
def setDescription(self, value):
11
"""Change the value of the description."""
12
assert isinstance(value, (str, unicode))
13
self._description = value
14
15
def getDescription(self):
16
"""Change the value of the description."""
17
return self._description
Line 4: The title is just publicly declared and a value of None is given. Therefore this is just
a regular attribute.
Line 8: The actual description string will be stored in description.
Line 12: Make sure that the description is only a regular or unicode string, like it was stated in
the requirements.
If you wish you can now manually test the class with the interactive Python shell. Just start
Python by entering python in your shell prompt. Note that you should be in the directory in
which test sample.py is located when starting Python (an alternative is of course to specify the
directory in your PYTHONPATH.)
1 >>> from test_sample import Sample
2 >>> sample = Sample()
3 >>> print sample.title
4 None
5 >>> sample.title = ’Title’
6 >>> print sample.title
7 Title
8 >>> print sample.getDescription()
9
10 >>> sample.setDescription(’Hello World’)
11 >>> print sample.getDescription()
12 Hello World
13 >>> sample.setDescription(None)
14 Traceback (most recent call last):
15
File "<stdin>", line 1, in ?
16
File "test_sample.py", line 31, in setDescription
17
assert isinstance(value, (str, unicode))
18 AssertionError
As you can see in the last test, non-string object types are not allowed as descriptions and an
AssertionError is raised.
44.2
Writing the Unit Tests
The goal of writing the unit tests is to convert this informal, manual, and interactive testing session
into a formal test class. Python provides already a module called unittest for this purpose, which
is a port of the Java-based unit testing product, JUnit, by Kent Beck and Erich Gamma. There are
three levels to the testing framework (this list deviates a bit from the original definitions as found
in the Python library documentation. 1).
1 http://www.python.org/doc/current/lib/module-unittest.html
44.2. WRITING THE UNIT TESTS
3
The smallest unit is obviously the “test”, which is a single method in a TestCase class that
tests the behavior of a small piece of code or a particular aspect of an implementation. The “test
case” is then a collection tests that share the same setup/inputs. On top of all of this sits the “test
suite” which is a collection of test cases and/or other test suites. Test suites combine tests that
should be executed together. With the correct setup (as shown in the example below), you can
then execute test suites. For large projects like Zope 3, it is useful to know that there is also the
concept of a test runner, which manages the test run of all or a set of tests. The runner provides
useful feedback to the application, so that various user interfaces can be developed on top of it.
But enough about the theory. In the following example, which you can simply put into the same
file as your code above, you will see a test in common Zope 3 style.
1 import unittest
2
3 class SampleTest(unittest.TestCase):
4
"""Test the Sample class"""
5
6
def test_title(self):
7
sample = Sample()
8
self.assertEqual(sample.title, None)
9
sample.title = ’Sample Title’
10
self.assertEqual(sample.title, ’Sample Title’)
11
12
def test_getDescription(self):
13
sample = Sample()
14
self.assertEqual(sample.getDescription(), ’’)
15
sample._description = "Description"
16
self.assertEqual(sample.getDescription(), ’Description’)
17
18
def test_setDescription(self):
19
sample = Sample()
20
self.assertEqual(sample._description, ’’)
21
sample.setDescription(’Description’)
22
self.assertEqual(sample._description, ’Description’)
23
sample.setDescription(u’Description2’)
24
self.assertEqual(sample._description, u’Description2’)
25
self.assertRaises(AssertionError, sample.setDescription, None)
26
27
28 def test_suite():
29
return unittest.TestSuite((
30
unittest.defaultTestLoader.loadTestsFromTestCase(SampleTest),
31
))
32
33 if __name__ == ’__main__’:
34
unittest.main(defaultTest=’test_suite’)
Line 3–4: We usually develop test classes which must inherit from TestCase. While often not
done, it is a good idea to give the class a meaningful docstring that describes the purpose of the
tests it includes.
Line 6, 12 & 18: When a test case is run, a method called runTests() is executed. While it
is possible to override this method to run tests differently, the default option will look for any
method whose name starts with test and execute it as a single test. This way we can create
a “test method” for each aspect, method, function or property of the code to be tested. This
default is very sensible and is used everywhere in Zope 3.
4
CHAPTER 44. WRITING BASIC UNIT TESTS
Note that there is no docstring for test methods. This is intentional. If a docstring is specified,
it is used instead of the method name to identify the test. When specifying a docstring, we have
noticed that it is very difficult to identify the test later; therefore the method name is a much
better choice.
Line 8, 10, 14, . . . : The TestCase class implements a handful of methods that aid you with the
testing. Here are some of the most frequently used ones. For a complete list see the standard
Python documentation referenced above.
• assertEqual(first,second[,msg])
Checks whether the first and second value are equal. If the test fails, the msg or None
is returned.
• assertNotEqual(first,second[,msg])
This is simply the opposite to assertEqual() by checking for non-equality.
• assertRaises(exception,callable,...)
You expect the callable to raise exception when executed. After the callable you can
specify any amount of positional and keyword arguments for the callable. If you expect
a group of exceptions from the execution, you can make exception a tuple of possible
exceptions.
• assert (expr[,msg])
Assert checks whether the specified expression executes correctly. If not, the test fails and
msg or None is returned.
• assertEqual()
This testing method is equivalent to assertEqual().
• assertTrue(expr[,msg])
This method is equivalent to assert (expr[,msg]).
• assertFalse()
This is the opposite to assertTrue().
• fail([msg])
Fails the running test without any evaluation. This is commonly used when testing various
possible execution paths at once and you would like to signify a failure if an improper path
was taken.
Line 6–10: This method tests the title attribute of the Sample class. The first test should
be of course that the attribute exists and has the expected initial value (line 8). Then the title
attribute is changed and we check whether the value was really stored. This might seem like
overkill, but later you might change the title in a way that it uses properties instead. Then it
becomes very important to check whether this test still passes.
Line 12–16: First we simply check that getDescription() returns the correct default value.
Since we do not want to use other API calls like setDescription() we set a new value of the
description via the implementation-internal description attribute (line 15). This is okay! Unit
tests can make use of implementation-specific attributes and methods. Finally we just check that
the correct value is returned.
44.3. RUNNING THE TESTS
5
Line 18–25: On line 21–24 it is checked that both regular and unicode strings are set correctly.
In the last line of the test we make sure that no other type of objects can be set as a description
and that an error is raised.
28–31: This method returns a test suite that includes all test cases created in this module. It is
used by the Zope 3 test runner when it picks up all available tests. You would basically add the
line unittest.defaultTestLoader.loadTestsFromTestCase(TestCaseClass) for each additional test case.
33–34: In order to make the test module runnable by itself, you can execute unittest.main()
when the module is run.
44.3
Running the Tests
You can run the test by simply calling pythontest sample.py from the directory you saved the
file in. Here is the result you should see:
.
--------------------------------------------------------------------
n 3 tests in 0.001s
The three dots represent the three tests that were run. If a test had failed, it would have been
reported pointing out the failing test and providing a small traceback.
When using the default Zope 3 test runner, tests will be picked up as long as they follow some
conventions.
• The tests must either be in a package or be a module called tests.
• If tests is a package, then all test modules inside must also have a name starting with test,
as it is the case with our name test sample.py.
• The test module must be somewhere in the Zope 3 source tree, since the test runner looks
only for files there.
In our case, you could simply create a tests package in ZOPE3/src (do not forget the
init .
py file). Then place the test sample.py file into this directory.
You you can use the test runner to run only the sample tests as follows from the Zope 3 root
directory:
python test.py -vp tests.test_sample
The -v option stands for verbose mode, so that detailed information about a test failure is
provided. The -p option enables a progress bar that tells you how many tests out of all have been
completed. There are many more options that can be specified. You can get a full list of them with
the option -h: pythontest.py-h.
The output of the call above is as follows:
nfiguration file found.
nning UNIT tests at level 1
nning UNIT tests from /opt/zope/Zope3
3/3 (100.0%): test_title (tests.test_sample.SampleTest)
--------------------------------------------------------------------
n 3 tests in 0.002s
6
CHAPTER 44. WRITING BASIC UNIT TESTS
nning FUNCTIONAL tests at level 1
nning FUNCTIONAL tests from /opt/zope/Zope3
--------------------------------------------------------------------
n 0 tests in 0.000s
Line 1: The test runner uses a configuration file for some setup. This allows developers to use
the test runner for other projects as well. This message simply tells us that the configuration file
was found.
Line 2–8: The unit tests are run. On line 4 you can see the progress bar.
Line 9–15: The functional tests are run, since the default test runner runs both types of tests.
Since we do not have any functional tests in the specified module, there are no tests to run. To
just run the unit tests, use option -u and -f for just running the functional tests. See “Writing
Functional Tests” for more details on functional tests.
44.3. RUNNING THE TESTS
7
Exercises
1. It is not very common to do the setup – in our case sample=Sample() – in every test
method. Instead there exists a method called setUp() and its counterpart tearDown that
are run before and after each test, respectively. Change the test code above, so that it uses
the setUp() method. In later chapters and the rest of the book we will frequently use this
method of setting up tests.
2. Currently the test setDescription() test only verifies that None is not allowed as input
value.
(a) Improve the test, so that all other builtin types are tested as well.
(b) Also, make sure that any objects inheriting from str or unicode pass as valid values.
diff --git a/Products/PortalTransforms/tests/output/demo1.html.nofilename b/Products/PortalTransforms/tests/output/demo1.html.nofilename index 2f60f41..5457311 100644 --- a/Products/PortalTransforms/tests/output/demo1.html.nofilename +++ b/Products/PortalTransforms/tests/output/demo1.html.nofilename @@ -1 +1 @@ -Chapter 44
Writing Basic Unit Tests
Difficulty
Newcomer
Skills
• All you need to know is some Python.
Problem/Task
As you know by now, Zope 3 gains its incredible stability from testing any code in great detail. The
currently most common method is to write unit tests. This chapter introduces unit tests – which
are Zope 3 independent – and introduces some of the subtleties.
Solution
44.1
Implementing the Sample Class
Before we can write tests, we have to write some code that we can test. Here, we will implement
a simple class called Sample with a public attribute title and description that is accessed
via getDescription() and mutated using setDescription(). Further, the description must be
either a regular or unicode string.
Since this code will not depend on Zope, open a file named test sample.py anywhere and add
the following class:
1 Sample(object):
2
"""A trivial Sample object."""
3
4
title = None
5
6
def __init__(self):
7
"""Initialize object."""
8
self._description = ’’
9
1
2
CHAPTER 44. WRITING BASIC UNIT TESTS
10
def setDescription(self, value):
11
"""Change the value of the description."""
12
assert isinstance(value, (str, unicode))
13
self._description = value
14
15
def getDescription(self):
16
"""Change the value of the description."""
17
return self._description
Line 4: The title is just publicly declared and a value of None is given. Therefore this is just
a regular attribute.
Line 8: The actual description string will be stored in description.
Line 12: Make sure that the description is only a regular or unicode string, like it was stated in
the requirements.
If you wish you can now manually test the class with the interactive Python shell. Just start
Python by entering python in your shell prompt. Note that you should be in the directory in
which test sample.py is located when starting Python (an alternative is of course to specify the
directory in your PYTHONPATH.)
1 >>> from test_sample import Sample
2 >>> sample = Sample()
3 >>> print sample.title
4 None
5 >>> sample.title = ’Title’
6 >>> print sample.title
7 Title
8 >>> print sample.getDescription()
9
10 >>> sample.setDescription(’Hello World’)
11 >>> print sample.getDescription()
12 Hello World
13 >>> sample.setDescription(None)
14 Traceback (most recent call last):
15
File "<stdin>", line 1, in ?
16
File "test_sample.py", line 31, in setDescription
17
assert isinstance(value, (str, unicode))
18 AssertionError
As you can see in the last test, non-string object types are not allowed as descriptions and an
AssertionError is raised.
44.2
Writing the Unit Tests
The goal of writing the unit tests is to convert this informal, manual, and interactive testing session
into a formal test class. Python provides already a module called unittest for this purpose, which
is a port of the Java-based unit testing product, JUnit, by Kent Beck and Erich Gamma. There are
three levels to the testing framework (this list deviates a bit from the original definitions as found
in the Python library documentation. 1).
1 http://www.python.org/doc/current/lib/module-unittest.html
44.2. WRITING THE UNIT TESTS
3
The smallest unit is obviously the “test”, which is a single method in a TestCase class that
tests the behavior of a small piece of code or a particular aspect of an implementation. The “test
case” is then a collection tests that share the same setup/inputs. On top of all of this sits the “test
suite” which is a collection of test cases and/or other test suites. Test suites combine tests that
should be executed together. With the correct setup (as shown in the example below), you can
then execute test suites. For large projects like Zope 3, it is useful to know that there is also the
concept of a test runner, which manages the test run of all or a set of tests. The runner provides
useful feedback to the application, so that various user interfaces can be developed on top of it.
But enough about the theory. In the following example, which you can simply put into the same
file as your code above, you will see a test in common Zope 3 style.
1 import unittest
2
3 class SampleTest(unittest.TestCase):
4
"""Test the Sample class"""
5
6
def test_title(self):
7
sample = Sample()
8
self.assertEqual(sample.title, None)
9
sample.title = ’Sample Title’
10
self.assertEqual(sample.title, ’Sample Title’)
11
12
def test_getDescription(self):
13
sample = Sample()
14
self.assertEqual(sample.getDescription(), ’’)
15
sample._description = "Description"
16
self.assertEqual(sample.getDescription(), ’Description’)
17
18
def test_setDescription(self):
19
sample = Sample()
20
self.assertEqual(sample._description, ’’)
21
sample.setDescription(’Description’)
22
self.assertEqual(sample._description, ’Description’)
23
sample.setDescription(u’Description2’)
24
self.assertEqual(sample._description, u’Description2’)
25
self.assertRaises(AssertionError, sample.setDescription, None)
26
27
28 def test_suite():
29
return unittest.TestSuite((
30
unittest.makeSuite(SampleTest),
31
))
32
33 if __name__ == ’__main__’:
34
unittest.main(defaultTest=’test_suite’)
Line 3–4: We usually develop test classes which must inherit from TestCase. While often not
done, it is a good idea to give the class a meaningful docstring that describes the purpose of the
tests it includes.
Line 6, 12 & 18: When a test case is run, a method called runTests() is executed. While it
is possible to override this method to run tests differently, the default option will look for any
method whose name starts with test and execute it as a single test. This way we can create
a “test method” for each aspect, method, function or property of the code to be tested. This
default is very sensible and is used everywhere in Zope 3.
4
CHAPTER 44. WRITING BASIC UNIT TESTS
Note that there is no docstring for test methods. This is intentional. If a docstring is specified,
it is used instead of the method name to identify the test. When specifying a docstring, we have
noticed that it is very difficult to identify the test later; therefore the method name is a much
better choice.
Line 8, 10, 14, . . . : The TestCase class implements a handful of methods that aid you with the
testing. Here are some of the most frequently used ones. For a complete list see the standard
Python documentation referenced above.
• assertEqual(first,second[,msg])
Checks whether the first and second value are equal. If the test fails, the msg or None
is returned.
• assertNotEqual(first,second[,msg])
This is simply the opposite to assertEqual() by checking for non-equality.
• assertRaises(exception,callable,...)
You expect the callable to raise exception when executed. After the callable you can
specify any amount of positional and keyword arguments for the callable. If you expect
a group of exceptions from the execution, you can make exception a tuple of possible
exceptions.
• assert (expr[,msg])
Assert checks whether the specified expression executes correctly. If not, the test fails and
msg or None is returned.
• assertEqual()
This testing method is equivalent to assertEqual().
• assertTrue(expr[,msg])
This method is equivalent to assert (expr[,msg]).
• assertFalse()
This is the opposite to assertTrue().
• fail([msg])
Fails the running test without any evaluation. This is commonly used when testing various
possible execution paths at once and you would like to signify a failure if an improper path
was taken.
Line 6–10: This method tests the title attribute of the Sample class. The first test should
be of course that the attribute exists and has the expected initial value (line 8). Then the title
attribute is changed and we check whether the value was really stored. This might seem like
overkill, but later you might change the title in a way that it uses properties instead. Then it
becomes very important to check whether this test still passes.
Line 12–16: First we simply check that getDescription() returns the correct default value.
Since we do not want to use other API calls like setDescription() we set a new value of the
description via the implementation-internal description attribute (line 15). This is okay! Unit
tests can make use of implementation-specific attributes and methods. Finally we just check that
the correct value is returned.
44.3. RUNNING THE TESTS
5
Line 18–25: On line 21–24 it is checked that both regular and unicode strings are set correctly.
In the last line of the test we make sure that no other type of objects can be set as a description
and that an error is raised.
28–31: This method returns a test suite that includes all test cases created in this module. It is
used by the Zope 3 test runner when it picks up all available tests. You would basically add the
line unittest.makeSuite(TestCaseClass) for each additional test case.
33–34: In order to make the test module runnable by itself, you can execute unittest.main()
when the module is run.
44.3
Running the Tests
You can run the test by simply calling pythontest sample.py from the directory you saved the
file in. Here is the result you should see:
.
--------------------------------------------------------------------
n 3 tests in 0.001s
The three dots represent the three tests that were run. If a test had failed, it would have been
reported pointing out the failing test and providing a small traceback.
When using the default Zope 3 test runner, tests will be picked up as long as they follow some
conventions.
• The tests must either be in a package or be a module called tests.
• If tests is a package, then all test modules inside must also have a name starting with test,
as it is the case with our name test sample.py.
• The test module must be somewhere in the Zope 3 source tree, since the test runner looks
only for files there.
In our case, you could simply create a tests package in ZOPE3/src (do not forget the
init .
py file). Then place the test sample.py file into this directory.
You you can use the test runner to run only the sample tests as follows from the Zope 3 root
directory:
python test.py -vp tests.test_sample
The -v option stands for verbose mode, so that detailed information about a test failure is
provided. The -p option enables a progress bar that tells you how many tests out of all have been
completed. There are many more options that can be specified. You can get a full list of them with
the option -h: pythontest.py-h.
The output of the call above is as follows:
nfiguration file found.
nning UNIT tests at level 1
nning UNIT tests from /opt/zope/Zope3
3/3 (100.0%): test_title (tests.test_sample.SampleTest)
--------------------------------------------------------------------
n 3 tests in 0.002s
6
CHAPTER 44. WRITING BASIC UNIT TESTS
nning FUNCTIONAL tests at level 1
nning FUNCTIONAL tests from /opt/zope/Zope3
--------------------------------------------------------------------
n 0 tests in 0.000s
Line 1: The test runner uses a configuration file for some setup. This allows developers to use
the test runner for other projects as well. This message simply tells us that the configuration file
was found.
Line 2–8: The unit tests are run. On line 4 you can see the progress bar.
Line 9–15: The functional tests are run, since the default test runner runs both types of tests.
Since we do not have any functional tests in the specified module, there are no tests to run. To
just run the unit tests, use option -u and -f for just running the functional tests. See “Writing
Functional Tests” for more details on functional tests.
44.3. RUNNING THE TESTS
7
Exercises
1. It is not very common to do the setup – in our case sample=Sample() – in every test
method. Instead there exists a method called setUp() and its counterpart tearDown that
are run before and after each test, respectively. Change the test code above, so that it uses
the setUp() method. In later chapters and the rest of the book we will frequently use this
method of setting up tests.
2. Currently the test setDescription() test only verifies that None is not allowed as input
value.
(a) Improve the test, so that all other builtin types are tested as well.
(b) Also, make sure that any objects inheriting from str or unicode pass as valid values.
+Chapter 44
Writing Basic Unit Tests
Difficulty
Newcomer
Skills
• All you need to know is some Python.
Problem/Task
As you know by now, Zope 3 gains its incredible stability from testing any code in great detail. The
currently most common method is to write unit tests. This chapter introduces unit tests – which
are Zope 3 independent – and introduces some of the subtleties.
Solution
44.1
Implementing the Sample Class
Before we can write tests, we have to write some code that we can test. Here, we will implement
a simple class called Sample with a public attribute title and description that is accessed
via getDescription() and mutated using setDescription(). Further, the description must be
either a regular or unicode string.
Since this code will not depend on Zope, open a file named test sample.py anywhere and add
the following class:
1 Sample(object):
2
"""A trivial Sample object."""
3
4
title = None
5
6
def __init__(self):
7
"""Initialize object."""
8
self._description = ’’
9
1
2
CHAPTER 44. WRITING BASIC UNIT TESTS
10
def setDescription(self, value):
11
"""Change the value of the description."""
12
assert isinstance(value, (str, unicode))
13
self._description = value
14
15
def getDescription(self):
16
"""Change the value of the description."""
17
return self._description
Line 4: The title is just publicly declared and a value of None is given. Therefore this is just
a regular attribute.
Line 8: The actual description string will be stored in description.
Line 12: Make sure that the description is only a regular or unicode string, like it was stated in
the requirements.
If you wish you can now manually test the class with the interactive Python shell. Just start
Python by entering python in your shell prompt. Note that you should be in the directory in
which test sample.py is located when starting Python (an alternative is of course to specify the
directory in your PYTHONPATH.)
1 >>> from test_sample import Sample
2 >>> sample = Sample()
3 >>> print sample.title
4 None
5 >>> sample.title = ’Title’
6 >>> print sample.title
7 Title
8 >>> print sample.getDescription()
9
10 >>> sample.setDescription(’Hello World’)
11 >>> print sample.getDescription()
12 Hello World
13 >>> sample.setDescription(None)
14 Traceback (most recent call last):
15
File "<stdin>", line 1, in ?
16
File "test_sample.py", line 31, in setDescription
17
assert isinstance(value, (str, unicode))
18 AssertionError
As you can see in the last test, non-string object types are not allowed as descriptions and an
AssertionError is raised.
44.2
Writing the Unit Tests
The goal of writing the unit tests is to convert this informal, manual, and interactive testing session
into a formal test class. Python provides already a module called unittest for this purpose, which
is a port of the Java-based unit testing product, JUnit, by Kent Beck and Erich Gamma. There are
three levels to the testing framework (this list deviates a bit from the original definitions as found
in the Python library documentation. 1).
1 http://www.python.org/doc/current/lib/module-unittest.html
44.2. WRITING THE UNIT TESTS
3
The smallest unit is obviously the “test”, which is a single method in a TestCase class that
tests the behavior of a small piece of code or a particular aspect of an implementation. The “test
case” is then a collection tests that share the same setup/inputs. On top of all of this sits the “test
suite” which is a collection of test cases and/or other test suites. Test suites combine tests that
should be executed together. With the correct setup (as shown in the example below), you can
then execute test suites. For large projects like Zope 3, it is useful to know that there is also the
concept of a test runner, which manages the test run of all or a set of tests. The runner provides
useful feedback to the application, so that various user interfaces can be developed on top of it.
But enough about the theory. In the following example, which you can simply put into the same
file as your code above, you will see a test in common Zope 3 style.
1 import unittest
2
3 class SampleTest(unittest.TestCase):
4
"""Test the Sample class"""
5
6
def test_title(self):
7
sample = Sample()
8
self.assertEqual(sample.title, None)
9
sample.title = ’Sample Title’
10
self.assertEqual(sample.title, ’Sample Title’)
11
12
def test_getDescription(self):
13
sample = Sample()
14
self.assertEqual(sample.getDescription(), ’’)
15
sample._description = "Description"
16
self.assertEqual(sample.getDescription(), ’Description’)
17
18
def test_setDescription(self):
19
sample = Sample()
20
self.assertEqual(sample._description, ’’)
21
sample.setDescription(’Description’)
22
self.assertEqual(sample._description, ’Description’)
23
sample.setDescription(u’Description2’)
24
self.assertEqual(sample._description, u’Description2’)
25
self.assertRaises(AssertionError, sample.setDescription, None)
26
27
28 def test_suite():
29
return unittest.TestSuite((
30
unittest.defaultTestLoader.loadTestsFromTestCase(SampleTest),
31
))
32
33 if __name__ == ’__main__’:
34
unittest.main(defaultTest=’test_suite’)
Line 3–4: We usually develop test classes which must inherit from TestCase. While often not
done, it is a good idea to give the class a meaningful docstring that describes the purpose of the
tests it includes.
Line 6, 12 & 18: When a test case is run, a method called runTests() is executed. While it
is possible to override this method to run tests differently, the default option will look for any
method whose name starts with test and execute it as a single test. This way we can create
a “test method” for each aspect, method, function or property of the code to be tested. This
default is very sensible and is used everywhere in Zope 3.
4
CHAPTER 44. WRITING BASIC UNIT TESTS
Note that there is no docstring for test methods. This is intentional. If a docstring is specified,
it is used instead of the method name to identify the test. When specifying a docstring, we have
noticed that it is very difficult to identify the test later; therefore the method name is a much
better choice.
Line 8, 10, 14, . . . : The TestCase class implements a handful of methods that aid you with the
testing. Here are some of the most frequently used ones. For a complete list see the standard
Python documentation referenced above.
• assertEqual(first,second[,msg])
Checks whether the first and second value are equal. If the test fails, the msg or None
is returned.
• assertNotEqual(first,second[,msg])
This is simply the opposite to assertEqual() by checking for non-equality.
• assertRaises(exception,callable,...)
You expect the callable to raise exception when executed. After the callable you can
specify any amount of positional and keyword arguments for the callable. If you expect
a group of exceptions from the execution, you can make exception a tuple of possible
exceptions.
• assert (expr[,msg])
Assert checks whether the specified expression executes correctly. If not, the test fails and
msg or None is returned.
• assertEqual()
This testing method is equivalent to assertEqual().
• assertTrue(expr[,msg])
This method is equivalent to assert (expr[,msg]).
• assertFalse()
This is the opposite to assertTrue().
• fail([msg])
Fails the running test without any evaluation. This is commonly used when testing various
possible execution paths at once and you would like to signify a failure if an improper path
was taken.
Line 6–10: This method tests the title attribute of the Sample class. The first test should
be of course that the attribute exists and has the expected initial value (line 8). Then the title
attribute is changed and we check whether the value was really stored. This might seem like
overkill, but later you might change the title in a way that it uses properties instead. Then it
becomes very important to check whether this test still passes.
Line 12–16: First we simply check that getDescription() returns the correct default value.
Since we do not want to use other API calls like setDescription() we set a new value of the
description via the implementation-internal description attribute (line 15). This is okay! Unit
tests can make use of implementation-specific attributes and methods. Finally we just check that
the correct value is returned.
44.3. RUNNING THE TESTS
5
Line 18–25: On line 21–24 it is checked that both regular and unicode strings are set correctly.
In the last line of the test we make sure that no other type of objects can be set as a description
and that an error is raised.
28–31: This method returns a test suite that includes all test cases created in this module. It is
used by the Zope 3 test runner when it picks up all available tests. You would basically add the
line unittest.defaultTestLoader.loadTestsFromTestCase(TestCaseClass) for each additional test case.
33–34: In order to make the test module runnable by itself, you can execute unittest.main()
when the module is run.
44.3
Running the Tests
You can run the test by simply calling pythontest sample.py from the directory you saved the
file in. Here is the result you should see:
.
--------------------------------------------------------------------
n 3 tests in 0.001s
The three dots represent the three tests that were run. If a test had failed, it would have been
reported pointing out the failing test and providing a small traceback.
When using the default Zope 3 test runner, tests will be picked up as long as they follow some
conventions.
• The tests must either be in a package or be a module called tests.
• If tests is a package, then all test modules inside must also have a name starting with test,
as it is the case with our name test sample.py.
• The test module must be somewhere in the Zope 3 source tree, since the test runner looks
only for files there.
In our case, you could simply create a tests package in ZOPE3/src (do not forget the
init .
py file). Then place the test sample.py file into this directory.
You you can use the test runner to run only the sample tests as follows from the Zope 3 root
directory:
python test.py -vp tests.test_sample
The -v option stands for verbose mode, so that detailed information about a test failure is
provided. The -p option enables a progress bar that tells you how many tests out of all have been
completed. There are many more options that can be specified. You can get a full list of them with
the option -h: pythontest.py-h.
The output of the call above is as follows:
nfiguration file found.
nning UNIT tests at level 1
nning UNIT tests from /opt/zope/Zope3
3/3 (100.0%): test_title (tests.test_sample.SampleTest)
--------------------------------------------------------------------
n 3 tests in 0.002s
6
CHAPTER 44. WRITING BASIC UNIT TESTS
nning FUNCTIONAL tests at level 1
nning FUNCTIONAL tests from /opt/zope/Zope3
--------------------------------------------------------------------
n 0 tests in 0.000s
Line 1: The test runner uses a configuration file for some setup. This allows developers to use
the test runner for other projects as well. This message simply tells us that the configuration file
was found.
Line 2–8: The unit tests are run. On line 4 you can see the progress bar.
Line 9–15: The functional tests are run, since the default test runner runs both types of tests.
Since we do not have any functional tests in the specified module, there are no tests to run. To
just run the unit tests, use option -u and -f for just running the functional tests. See “Writing
Functional Tests” for more details on functional tests.
44.3. RUNNING THE TESTS
7
Exercises
1. It is not very common to do the setup – in our case sample=Sample() – in every test
method. Instead there exists a method called setUp() and its counterpart tearDown that
are run before and after each test, respectively. Change the test code above, so that it uses
the setUp() method. In later chapters and the rest of the book we will frequently use this
method of setting up tests.
2. Currently the test setDescription() test only verifies that None is not allowed as input
value.
(a) Improve the test, so that all other builtin types are tested as well.
(b) Also, make sure that any objects inheriting from str or unicode pass as valid values.
diff --git a/Products/PortalTransforms/tests/test_intelligenttext.py b/Products/PortalTransforms/tests/test_intelligenttext.py index 77ddb53..f25f9f5 100644 --- a/Products/PortalTransforms/tests/test_intelligenttext.py +++ b/Products/PortalTransforms/tests/test_intelligenttext.py @@ -155,10 +155,9 @@ def testWhitespace(self): def test_suite(): - from unittest import makeSuite - from unittest import TestSuite + import unittest - suite = TestSuite() - suite.addTest(makeSuite(TestIntelligentTextToHtml)) - suite.addTest(makeSuite(TestHtmlToIntelligentText)) - return suite + return unittest.TestSuite(( + unittest.defaultTestLoader.loadTestsFromTestCase(TestIntelligentTextToHtml), + unittest.defaultTestLoader.loadTestsFromTestCase(TestHtmlToIntelligentText), + )) diff --git a/Products/PortalTransforms/tests/test_transforms.py b/Products/PortalTransforms/tests/test_transforms.py index e8c24e5..08d135a 100644 --- a/Products/PortalTransforms/tests/test_transforms.py +++ b/Products/PortalTransforms/tests/test_transforms.py @@ -714,10 +714,9 @@ class TransformTestSubclass(TransformTest): def test_suite(): - from unittest import makeSuite - from unittest import TestSuite + import unittest - suite = TestSuite() + suite = unittest.TestSuite() for test in make_tests(): - suite.addTest(makeSuite(test)) + suite.addTest(unittest.defaultTestLoader.loadTestsFromTestCase(test)) return suite diff --git a/docs/dev_manual.rst b/docs/dev_manual.rst index be8e716..11d0c05 100644 --- a/docs/dev_manual.rst +++ b/docs/dev_manual.rst @@ -92,7 +92,7 @@ Writing a new transformation ============================ Writing a new transform should be an easy task. You only have to follow a simple interface to do it, but knowing some advanced features and provided -utilities may help to do it quicker... +utilities may help to do it quicker... Related interfaces @@ -182,16 +182,16 @@ Transform utilities may be found in the libtransforms subpackage. You'll find there the following modules : *commandtransform* - provides a base class for external command based transforms. + provides a base class for external command based transforms. *retransform* - provides a base class for regular expression based transforms. + provides a base class for regular expression based transforms. *html4zope* provides a docutils HTML writer for Zope. *utils* - provides some utilities functions. + provides some utilities functions. Write a test your transform! @@ -202,11 +202,11 @@ cola into beer (I let you find MIME type for these content types ;). Basically, your test file should be:: from test_transforms import make_tests - + tests =('Products.MyTransforms.colabeer', "drink.cola", "drink.beer", None, 0) def test_suite(): - return TestSuite([makeSuite(test) for test in make_tests()]) + return TestSuite([unittest.defaultTestLoader.loadTestsFromTestCase(test) for test in make_tests()]) if __name__=='__main__': main(defaultTest='test_suite') @@ -216,10 +216,10 @@ your test file should be:: In this example: - "Products.MyTransforms.colabeer" is the module defining your transform (you - can also give directly the transform instance). + can also give directly the transform instance). - "drink.cola" is the name of the file containing data to give to your transform - as input. + as input. - "drink.beer" is the file containing expected transform result (what the getData method of idatastream will return). From 425f7ea4cc30a880f65a2591722295579479c173 Mon Sep 17 00:00:00 2001 From: Peter Mathis Date: Thu, 28 Nov 2024 11:29:26 -0300 Subject: [PATCH 2/4] changenote --- news/70.bugfix | 2 ++ 1 file changed, 2 insertions(+) create mode 100644 news/70.bugfix diff --git a/news/70.bugfix b/news/70.bugfix new file mode 100644 index 0000000..da7158a --- /dev/null +++ b/news/70.bugfix @@ -0,0 +1,2 @@ +Fix removed `unittest.makeSuite` in python 3.13 +[petschki] From a6c5cd868673af5ce07c9912e25579c4adb725d6 Mon Sep 17 00:00:00 2001 From: Peter Mathis Date: Thu, 28 Nov 2024 11:31:07 -0300 Subject: [PATCH 3/4] black --- .../PortalTransforms/tests/test_intelligenttext.py | 10 ++++++---- 1 file changed, 6 insertions(+), 4 deletions(-) diff --git a/Products/PortalTransforms/tests/test_intelligenttext.py b/Products/PortalTransforms/tests/test_intelligenttext.py index f25f9f5..63dc934 100644 --- a/Products/PortalTransforms/tests/test_intelligenttext.py +++ b/Products/PortalTransforms/tests/test_intelligenttext.py @@ -157,7 +157,9 @@ def testWhitespace(self): def test_suite(): import unittest - return unittest.TestSuite(( - unittest.defaultTestLoader.loadTestsFromTestCase(TestIntelligentTextToHtml), - unittest.defaultTestLoader.loadTestsFromTestCase(TestHtmlToIntelligentText), - )) + return unittest.TestSuite( + ( + unittest.defaultTestLoader.loadTestsFromTestCase(TestIntelligentTextToHtml), + unittest.defaultTestLoader.loadTestsFromTestCase(TestHtmlToIntelligentText), + ) + ) From 0d822211a65bf3abdb367d88ad70e1bfea616f88 Mon Sep 17 00:00:00 2001 From: Peter Mathis Date: Fri, 29 Nov 2024 00:04:22 -0300 Subject: [PATCH 4/4] revert changes in demo output files --- Products/PortalTransforms/tests/output/demo1.html | 2 +- Products/PortalTransforms/tests/output/demo1.html.nofilename | 2 +- 2 files changed, 2 insertions(+), 2 deletions(-) diff --git a/Products/PortalTransforms/tests/output/demo1.html b/Products/PortalTransforms/tests/output/demo1.html index 5457311..2f60f41 100644 --- a/Products/PortalTransforms/tests/output/demo1.html +++ b/Products/PortalTransforms/tests/output/demo1.html @@ -1 +1 @@ -Chapter 44
Writing Basic Unit Tests
Difficulty
Newcomer
Skills
• All you need to know is some Python.
Problem/Task
As you know by now, Zope 3 gains its incredible stability from testing any code in great detail. The
currently most common method is to write unit tests. This chapter introduces unit tests – which
are Zope 3 independent – and introduces some of the subtleties.
Solution
44.1
Implementing the Sample Class
Before we can write tests, we have to write some code that we can test. Here, we will implement
a simple class called Sample with a public attribute title and description that is accessed
via getDescription() and mutated using setDescription(). Further, the description must be
either a regular or unicode string.
Since this code will not depend on Zope, open a file named test sample.py anywhere and add
the following class:
1 Sample(object):
2
"""A trivial Sample object."""
3
4
title = None
5
6
def __init__(self):
7
"""Initialize object."""
8
self._description = ’’
9
1
2
CHAPTER 44. WRITING BASIC UNIT TESTS
10
def setDescription(self, value):
11
"""Change the value of the description."""
12
assert isinstance(value, (str, unicode))
13
self._description = value
14
15
def getDescription(self):
16
"""Change the value of the description."""
17
return self._description
Line 4: The title is just publicly declared and a value of None is given. Therefore this is just
a regular attribute.
Line 8: The actual description string will be stored in description.
Line 12: Make sure that the description is only a regular or unicode string, like it was stated in
the requirements.
If you wish you can now manually test the class with the interactive Python shell. Just start
Python by entering python in your shell prompt. Note that you should be in the directory in
which test sample.py is located when starting Python (an alternative is of course to specify the
directory in your PYTHONPATH.)
1 >>> from test_sample import Sample
2 >>> sample = Sample()
3 >>> print sample.title
4 None
5 >>> sample.title = ’Title’
6 >>> print sample.title
7 Title
8 >>> print sample.getDescription()
9
10 >>> sample.setDescription(’Hello World’)
11 >>> print sample.getDescription()
12 Hello World
13 >>> sample.setDescription(None)
14 Traceback (most recent call last):
15
File "<stdin>", line 1, in ?
16
File "test_sample.py", line 31, in setDescription
17
assert isinstance(value, (str, unicode))
18 AssertionError
As you can see in the last test, non-string object types are not allowed as descriptions and an
AssertionError is raised.
44.2
Writing the Unit Tests
The goal of writing the unit tests is to convert this informal, manual, and interactive testing session
into a formal test class. Python provides already a module called unittest for this purpose, which
is a port of the Java-based unit testing product, JUnit, by Kent Beck and Erich Gamma. There are
three levels to the testing framework (this list deviates a bit from the original definitions as found
in the Python library documentation. 1).
1 http://www.python.org/doc/current/lib/module-unittest.html
44.2. WRITING THE UNIT TESTS
3
The smallest unit is obviously the “test”, which is a single method in a TestCase class that
tests the behavior of a small piece of code or a particular aspect of an implementation. The “test
case” is then a collection tests that share the same setup/inputs. On top of all of this sits the “test
suite” which is a collection of test cases and/or other test suites. Test suites combine tests that
should be executed together. With the correct setup (as shown in the example below), you can
then execute test suites. For large projects like Zope 3, it is useful to know that there is also the
concept of a test runner, which manages the test run of all or a set of tests. The runner provides
useful feedback to the application, so that various user interfaces can be developed on top of it.
But enough about the theory. In the following example, which you can simply put into the same
file as your code above, you will see a test in common Zope 3 style.
1 import unittest
2
3 class SampleTest(unittest.TestCase):
4
"""Test the Sample class"""
5
6
def test_title(self):
7
sample = Sample()
8
self.assertEqual(sample.title, None)
9
sample.title = ’Sample Title’
10
self.assertEqual(sample.title, ’Sample Title’)
11
12
def test_getDescription(self):
13
sample = Sample()
14
self.assertEqual(sample.getDescription(), ’’)
15
sample._description = "Description"
16
self.assertEqual(sample.getDescription(), ’Description’)
17
18
def test_setDescription(self):
19
sample = Sample()
20
self.assertEqual(sample._description, ’’)
21
sample.setDescription(’Description’)
22
self.assertEqual(sample._description, ’Description’)
23
sample.setDescription(u’Description2’)
24
self.assertEqual(sample._description, u’Description2’)
25
self.assertRaises(AssertionError, sample.setDescription, None)
26
27
28 def test_suite():
29
return unittest.TestSuite((
30
unittest.defaultTestLoader.loadTestsFromTestCase(SampleTest),
31
))
32
33 if __name__ == ’__main__’:
34
unittest.main(defaultTest=’test_suite’)
Line 3–4: We usually develop test classes which must inherit from TestCase. While often not
done, it is a good idea to give the class a meaningful docstring that describes the purpose of the
tests it includes.
Line 6, 12 & 18: When a test case is run, a method called runTests() is executed. While it
is possible to override this method to run tests differently, the default option will look for any
method whose name starts with test and execute it as a single test. This way we can create
a “test method” for each aspect, method, function or property of the code to be tested. This
default is very sensible and is used everywhere in Zope 3.
4
CHAPTER 44. WRITING BASIC UNIT TESTS
Note that there is no docstring for test methods. This is intentional. If a docstring is specified,
it is used instead of the method name to identify the test. When specifying a docstring, we have
noticed that it is very difficult to identify the test later; therefore the method name is a much
better choice.
Line 8, 10, 14, . . . : The TestCase class implements a handful of methods that aid you with the
testing. Here are some of the most frequently used ones. For a complete list see the standard
Python documentation referenced above.
• assertEqual(first,second[,msg])
Checks whether the first and second value are equal. If the test fails, the msg or None
is returned.
• assertNotEqual(first,second[,msg])
This is simply the opposite to assertEqual() by checking for non-equality.
• assertRaises(exception,callable,...)
You expect the callable to raise exception when executed. After the callable you can
specify any amount of positional and keyword arguments for the callable. If you expect
a group of exceptions from the execution, you can make exception a tuple of possible
exceptions.
• assert (expr[,msg])
Assert checks whether the specified expression executes correctly. If not, the test fails and
msg or None is returned.
• assertEqual()
This testing method is equivalent to assertEqual().
• assertTrue(expr[,msg])
This method is equivalent to assert (expr[,msg]).
• assertFalse()
This is the opposite to assertTrue().
• fail([msg])
Fails the running test without any evaluation. This is commonly used when testing various
possible execution paths at once and you would like to signify a failure if an improper path
was taken.
Line 6–10: This method tests the title attribute of the Sample class. The first test should
be of course that the attribute exists and has the expected initial value (line 8). Then the title
attribute is changed and we check whether the value was really stored. This might seem like
overkill, but later you might change the title in a way that it uses properties instead. Then it
becomes very important to check whether this test still passes.
Line 12–16: First we simply check that getDescription() returns the correct default value.
Since we do not want to use other API calls like setDescription() we set a new value of the
description via the implementation-internal description attribute (line 15). This is okay! Unit
tests can make use of implementation-specific attributes and methods. Finally we just check that
the correct value is returned.
44.3. RUNNING THE TESTS
5
Line 18–25: On line 21–24 it is checked that both regular and unicode strings are set correctly.
In the last line of the test we make sure that no other type of objects can be set as a description
and that an error is raised.
28–31: This method returns a test suite that includes all test cases created in this module. It is
used by the Zope 3 test runner when it picks up all available tests. You would basically add the
line unittest.defaultTestLoader.loadTestsFromTestCase(TestCaseClass) for each additional test case.
33–34: In order to make the test module runnable by itself, you can execute unittest.main()
when the module is run.
44.3
Running the Tests
You can run the test by simply calling pythontest sample.py from the directory you saved the
file in. Here is the result you should see:
.
--------------------------------------------------------------------
n 3 tests in 0.001s
The three dots represent the three tests that were run. If a test had failed, it would have been
reported pointing out the failing test and providing a small traceback.
When using the default Zope 3 test runner, tests will be picked up as long as they follow some
conventions.
• The tests must either be in a package or be a module called tests.
• If tests is a package, then all test modules inside must also have a name starting with test,
as it is the case with our name test sample.py.
• The test module must be somewhere in the Zope 3 source tree, since the test runner looks
only for files there.
In our case, you could simply create a tests package in ZOPE3/src (do not forget the
init .
py file). Then place the test sample.py file into this directory.
You you can use the test runner to run only the sample tests as follows from the Zope 3 root
directory:
python test.py -vp tests.test_sample
The -v option stands for verbose mode, so that detailed information about a test failure is
provided. The -p option enables a progress bar that tells you how many tests out of all have been
completed. There are many more options that can be specified. You can get a full list of them with
the option -h: pythontest.py-h.
The output of the call above is as follows:
nfiguration file found.
nning UNIT tests at level 1
nning UNIT tests from /opt/zope/Zope3
3/3 (100.0%): test_title (tests.test_sample.SampleTest)
--------------------------------------------------------------------
n 3 tests in 0.002s
6
CHAPTER 44. WRITING BASIC UNIT TESTS
nning FUNCTIONAL tests at level 1
nning FUNCTIONAL tests from /opt/zope/Zope3
--------------------------------------------------------------------
n 0 tests in 0.000s
Line 1: The test runner uses a configuration file for some setup. This allows developers to use
the test runner for other projects as well. This message simply tells us that the configuration file
was found.
Line 2–8: The unit tests are run. On line 4 you can see the progress bar.
Line 9–15: The functional tests are run, since the default test runner runs both types of tests.
Since we do not have any functional tests in the specified module, there are no tests to run. To
just run the unit tests, use option -u and -f for just running the functional tests. See “Writing
Functional Tests” for more details on functional tests.
44.3. RUNNING THE TESTS
7
Exercises
1. It is not very common to do the setup – in our case sample=Sample() – in every test
method. Instead there exists a method called setUp() and its counterpart tearDown that
are run before and after each test, respectively. Change the test code above, so that it uses
the setUp() method. In later chapters and the rest of the book we will frequently use this
method of setting up tests.
2. Currently the test setDescription() test only verifies that None is not allowed as input
value.
(a) Improve the test, so that all other builtin types are tested as well.
(b) Also, make sure that any objects inheriting from str or unicode pass as valid values.
+Chapter 44
Writing Basic Unit Tests
Difficulty
Newcomer
Skills
• All you need to know is some Python.
Problem/Task
As you know by now, Zope 3 gains its incredible stability from testing any code in great detail. The
currently most common method is to write unit tests. This chapter introduces unit tests – which
are Zope 3 independent – and introduces some of the subtleties.
Solution
44.1
Implementing the Sample Class
Before we can write tests, we have to write some code that we can test. Here, we will implement
a simple class called Sample with a public attribute title and description that is accessed
via getDescription() and mutated using setDescription(). Further, the description must be
either a regular or unicode string.
Since this code will not depend on Zope, open a file named test sample.py anywhere and add
the following class:
1 Sample(object):
2
"""A trivial Sample object."""
3
4
title = None
5
6
def __init__(self):
7
"""Initialize object."""
8
self._description = ’’
9
1
2
CHAPTER 44. WRITING BASIC UNIT TESTS
10
def setDescription(self, value):
11
"""Change the value of the description."""
12
assert isinstance(value, (str, unicode))
13
self._description = value
14
15
def getDescription(self):
16
"""Change the value of the description."""
17
return self._description
Line 4: The title is just publicly declared and a value of None is given. Therefore this is just
a regular attribute.
Line 8: The actual description string will be stored in description.
Line 12: Make sure that the description is only a regular or unicode string, like it was stated in
the requirements.
If you wish you can now manually test the class with the interactive Python shell. Just start
Python by entering python in your shell prompt. Note that you should be in the directory in
which test sample.py is located when starting Python (an alternative is of course to specify the
directory in your PYTHONPATH.)
1 >>> from test_sample import Sample
2 >>> sample = Sample()
3 >>> print sample.title
4 None
5 >>> sample.title = ’Title’
6 >>> print sample.title
7 Title
8 >>> print sample.getDescription()
9
10 >>> sample.setDescription(’Hello World’)
11 >>> print sample.getDescription()
12 Hello World
13 >>> sample.setDescription(None)
14 Traceback (most recent call last):
15
File "<stdin>", line 1, in ?
16
File "test_sample.py", line 31, in setDescription
17
assert isinstance(value, (str, unicode))
18 AssertionError
As you can see in the last test, non-string object types are not allowed as descriptions and an
AssertionError is raised.
44.2
Writing the Unit Tests
The goal of writing the unit tests is to convert this informal, manual, and interactive testing session
into a formal test class. Python provides already a module called unittest for this purpose, which
is a port of the Java-based unit testing product, JUnit, by Kent Beck and Erich Gamma. There are
three levels to the testing framework (this list deviates a bit from the original definitions as found
in the Python library documentation. 1).
1 http://www.python.org/doc/current/lib/module-unittest.html
44.2. WRITING THE UNIT TESTS
3
The smallest unit is obviously the “test”, which is a single method in a TestCase class that
tests the behavior of a small piece of code or a particular aspect of an implementation. The “test
case” is then a collection tests that share the same setup/inputs. On top of all of this sits the “test
suite” which is a collection of test cases and/or other test suites. Test suites combine tests that
should be executed together. With the correct setup (as shown in the example below), you can
then execute test suites. For large projects like Zope 3, it is useful to know that there is also the
concept of a test runner, which manages the test run of all or a set of tests. The runner provides
useful feedback to the application, so that various user interfaces can be developed on top of it.
But enough about the theory. In the following example, which you can simply put into the same
file as your code above, you will see a test in common Zope 3 style.
1 import unittest
2
3 class SampleTest(unittest.TestCase):
4
"""Test the Sample class"""
5
6
def test_title(self):
7
sample = Sample()
8
self.assertEqual(sample.title, None)
9
sample.title = ’Sample Title’
10
self.assertEqual(sample.title, ’Sample Title’)
11
12
def test_getDescription(self):
13
sample = Sample()
14
self.assertEqual(sample.getDescription(), ’’)
15
sample._description = "Description"
16
self.assertEqual(sample.getDescription(), ’Description’)
17
18
def test_setDescription(self):
19
sample = Sample()
20
self.assertEqual(sample._description, ’’)
21
sample.setDescription(’Description’)
22
self.assertEqual(sample._description, ’Description’)
23
sample.setDescription(u’Description2’)
24
self.assertEqual(sample._description, u’Description2’)
25
self.assertRaises(AssertionError, sample.setDescription, None)
26
27
28 def test_suite():
29
return unittest.TestSuite((
30
unittest.makeSuite(SampleTest),
31
))
32
33 if __name__ == ’__main__’:
34
unittest.main(defaultTest=’test_suite’)
Line 3–4: We usually develop test classes which must inherit from TestCase. While often not
done, it is a good idea to give the class a meaningful docstring that describes the purpose of the
tests it includes.
Line 6, 12 & 18: When a test case is run, a method called runTests() is executed. While it
is possible to override this method to run tests differently, the default option will look for any
method whose name starts with test and execute it as a single test. This way we can create
a “test method” for each aspect, method, function or property of the code to be tested. This
default is very sensible and is used everywhere in Zope 3.
4
CHAPTER 44. WRITING BASIC UNIT TESTS
Note that there is no docstring for test methods. This is intentional. If a docstring is specified,
it is used instead of the method name to identify the test. When specifying a docstring, we have
noticed that it is very difficult to identify the test later; therefore the method name is a much
better choice.
Line 8, 10, 14, . . . : The TestCase class implements a handful of methods that aid you with the
testing. Here are some of the most frequently used ones. For a complete list see the standard
Python documentation referenced above.
• assertEqual(first,second[,msg])
Checks whether the first and second value are equal. If the test fails, the msg or None
is returned.
• assertNotEqual(first,second[,msg])
This is simply the opposite to assertEqual() by checking for non-equality.
• assertRaises(exception,callable,...)
You expect the callable to raise exception when executed. After the callable you can
specify any amount of positional and keyword arguments for the callable. If you expect
a group of exceptions from the execution, you can make exception a tuple of possible
exceptions.
• assert (expr[,msg])
Assert checks whether the specified expression executes correctly. If not, the test fails and
msg or None is returned.
• assertEqual()
This testing method is equivalent to assertEqual().
• assertTrue(expr[,msg])
This method is equivalent to assert (expr[,msg]).
• assertFalse()
This is the opposite to assertTrue().
• fail([msg])
Fails the running test without any evaluation. This is commonly used when testing various
possible execution paths at once and you would like to signify a failure if an improper path
was taken.
Line 6–10: This method tests the title attribute of the Sample class. The first test should
be of course that the attribute exists and has the expected initial value (line 8). Then the title
attribute is changed and we check whether the value was really stored. This might seem like
overkill, but later you might change the title in a way that it uses properties instead. Then it
becomes very important to check whether this test still passes.
Line 12–16: First we simply check that getDescription() returns the correct default value.
Since we do not want to use other API calls like setDescription() we set a new value of the
description via the implementation-internal description attribute (line 15). This is okay! Unit
tests can make use of implementation-specific attributes and methods. Finally we just check that
the correct value is returned.
44.3. RUNNING THE TESTS
5
Line 18–25: On line 21–24 it is checked that both regular and unicode strings are set correctly.
In the last line of the test we make sure that no other type of objects can be set as a description
and that an error is raised.
28–31: This method returns a test suite that includes all test cases created in this module. It is
used by the Zope 3 test runner when it picks up all available tests. You would basically add the
line unittest.makeSuite(TestCaseClass) for each additional test case.
33–34: In order to make the test module runnable by itself, you can execute unittest.main()
when the module is run.
44.3
Running the Tests
You can run the test by simply calling pythontest sample.py from the directory you saved the
file in. Here is the result you should see:
.
--------------------------------------------------------------------
n 3 tests in 0.001s
The three dots represent the three tests that were run. If a test had failed, it would have been
reported pointing out the failing test and providing a small traceback.
When using the default Zope 3 test runner, tests will be picked up as long as they follow some
conventions.
• The tests must either be in a package or be a module called tests.
• If tests is a package, then all test modules inside must also have a name starting with test,
as it is the case with our name test sample.py.
• The test module must be somewhere in the Zope 3 source tree, since the test runner looks
only for files there.
In our case, you could simply create a tests package in ZOPE3/src (do not forget the
init .
py file). Then place the test sample.py file into this directory.
You you can use the test runner to run only the sample tests as follows from the Zope 3 root
directory:
python test.py -vp tests.test_sample
The -v option stands for verbose mode, so that detailed information about a test failure is
provided. The -p option enables a progress bar that tells you how many tests out of all have been
completed. There are many more options that can be specified. You can get a full list of them with
the option -h: pythontest.py-h.
The output of the call above is as follows:
nfiguration file found.
nning UNIT tests at level 1
nning UNIT tests from /opt/zope/Zope3
3/3 (100.0%): test_title (tests.test_sample.SampleTest)
--------------------------------------------------------------------
n 3 tests in 0.002s
6
CHAPTER 44. WRITING BASIC UNIT TESTS
nning FUNCTIONAL tests at level 1
nning FUNCTIONAL tests from /opt/zope/Zope3
--------------------------------------------------------------------
n 0 tests in 0.000s
Line 1: The test runner uses a configuration file for some setup. This allows developers to use
the test runner for other projects as well. This message simply tells us that the configuration file
was found.
Line 2–8: The unit tests are run. On line 4 you can see the progress bar.
Line 9–15: The functional tests are run, since the default test runner runs both types of tests.
Since we do not have any functional tests in the specified module, there are no tests to run. To
just run the unit tests, use option -u and -f for just running the functional tests. See “Writing
Functional Tests” for more details on functional tests.
44.3. RUNNING THE TESTS
7
Exercises
1. It is not very common to do the setup – in our case sample=Sample() – in every test
method. Instead there exists a method called setUp() and its counterpart tearDown that
are run before and after each test, respectively. Change the test code above, so that it uses
the setUp() method. In later chapters and the rest of the book we will frequently use this
method of setting up tests.
2. Currently the test setDescription() test only verifies that None is not allowed as input
value.
(a) Improve the test, so that all other builtin types are tested as well.
(b) Also, make sure that any objects inheriting from str or unicode pass as valid values.
diff --git a/Products/PortalTransforms/tests/output/demo1.html.nofilename b/Products/PortalTransforms/tests/output/demo1.html.nofilename index 5457311..2f60f41 100644 --- a/Products/PortalTransforms/tests/output/demo1.html.nofilename +++ b/Products/PortalTransforms/tests/output/demo1.html.nofilename @@ -1 +1 @@ -Chapter 44
Writing Basic Unit Tests
Difficulty
Newcomer
Skills
• All you need to know is some Python.
Problem/Task
As you know by now, Zope 3 gains its incredible stability from testing any code in great detail. The
currently most common method is to write unit tests. This chapter introduces unit tests – which
are Zope 3 independent – and introduces some of the subtleties.
Solution
44.1
Implementing the Sample Class
Before we can write tests, we have to write some code that we can test. Here, we will implement
a simple class called Sample with a public attribute title and description that is accessed
via getDescription() and mutated using setDescription(). Further, the description must be
either a regular or unicode string.
Since this code will not depend on Zope, open a file named test sample.py anywhere and add
the following class:
1 Sample(object):
2
"""A trivial Sample object."""
3
4
title = None
5
6
def __init__(self):
7
"""Initialize object."""
8
self._description = ’’
9
1
2
CHAPTER 44. WRITING BASIC UNIT TESTS
10
def setDescription(self, value):
11
"""Change the value of the description."""
12
assert isinstance(value, (str, unicode))
13
self._description = value
14
15
def getDescription(self):
16
"""Change the value of the description."""
17
return self._description
Line 4: The title is just publicly declared and a value of None is given. Therefore this is just
a regular attribute.
Line 8: The actual description string will be stored in description.
Line 12: Make sure that the description is only a regular or unicode string, like it was stated in
the requirements.
If you wish you can now manually test the class with the interactive Python shell. Just start
Python by entering python in your shell prompt. Note that you should be in the directory in
which test sample.py is located when starting Python (an alternative is of course to specify the
directory in your PYTHONPATH.)
1 >>> from test_sample import Sample
2 >>> sample = Sample()
3 >>> print sample.title
4 None
5 >>> sample.title = ’Title’
6 >>> print sample.title
7 Title
8 >>> print sample.getDescription()
9
10 >>> sample.setDescription(’Hello World’)
11 >>> print sample.getDescription()
12 Hello World
13 >>> sample.setDescription(None)
14 Traceback (most recent call last):
15
File "<stdin>", line 1, in ?
16
File "test_sample.py", line 31, in setDescription
17
assert isinstance(value, (str, unicode))
18 AssertionError
As you can see in the last test, non-string object types are not allowed as descriptions and an
AssertionError is raised.
44.2
Writing the Unit Tests
The goal of writing the unit tests is to convert this informal, manual, and interactive testing session
into a formal test class. Python provides already a module called unittest for this purpose, which
is a port of the Java-based unit testing product, JUnit, by Kent Beck and Erich Gamma. There are
three levels to the testing framework (this list deviates a bit from the original definitions as found
in the Python library documentation. 1).
1 http://www.python.org/doc/current/lib/module-unittest.html
44.2. WRITING THE UNIT TESTS
3
The smallest unit is obviously the “test”, which is a single method in a TestCase class that
tests the behavior of a small piece of code or a particular aspect of an implementation. The “test
case” is then a collection tests that share the same setup/inputs. On top of all of this sits the “test
suite” which is a collection of test cases and/or other test suites. Test suites combine tests that
should be executed together. With the correct setup (as shown in the example below), you can
then execute test suites. For large projects like Zope 3, it is useful to know that there is also the
concept of a test runner, which manages the test run of all or a set of tests. The runner provides
useful feedback to the application, so that various user interfaces can be developed on top of it.
But enough about the theory. In the following example, which you can simply put into the same
file as your code above, you will see a test in common Zope 3 style.
1 import unittest
2
3 class SampleTest(unittest.TestCase):
4
"""Test the Sample class"""
5
6
def test_title(self):
7
sample = Sample()
8
self.assertEqual(sample.title, None)
9
sample.title = ’Sample Title’
10
self.assertEqual(sample.title, ’Sample Title’)
11
12
def test_getDescription(self):
13
sample = Sample()
14
self.assertEqual(sample.getDescription(), ’’)
15
sample._description = "Description"
16
self.assertEqual(sample.getDescription(), ’Description’)
17
18
def test_setDescription(self):
19
sample = Sample()
20
self.assertEqual(sample._description, ’’)
21
sample.setDescription(’Description’)
22
self.assertEqual(sample._description, ’Description’)
23
sample.setDescription(u’Description2’)
24
self.assertEqual(sample._description, u’Description2’)
25
self.assertRaises(AssertionError, sample.setDescription, None)
26
27
28 def test_suite():
29
return unittest.TestSuite((
30
unittest.defaultTestLoader.loadTestsFromTestCase(SampleTest),
31
))
32
33 if __name__ == ’__main__’:
34
unittest.main(defaultTest=’test_suite’)
Line 3–4: We usually develop test classes which must inherit from TestCase. While often not
done, it is a good idea to give the class a meaningful docstring that describes the purpose of the
tests it includes.
Line 6, 12 & 18: When a test case is run, a method called runTests() is executed. While it
is possible to override this method to run tests differently, the default option will look for any
method whose name starts with test and execute it as a single test. This way we can create
a “test method” for each aspect, method, function or property of the code to be tested. This
default is very sensible and is used everywhere in Zope 3.
4
CHAPTER 44. WRITING BASIC UNIT TESTS
Note that there is no docstring for test methods. This is intentional. If a docstring is specified,
it is used instead of the method name to identify the test. When specifying a docstring, we have
noticed that it is very difficult to identify the test later; therefore the method name is a much
better choice.
Line 8, 10, 14, . . . : The TestCase class implements a handful of methods that aid you with the
testing. Here are some of the most frequently used ones. For a complete list see the standard
Python documentation referenced above.
• assertEqual(first,second[,msg])
Checks whether the first and second value are equal. If the test fails, the msg or None
is returned.
• assertNotEqual(first,second[,msg])
This is simply the opposite to assertEqual() by checking for non-equality.
• assertRaises(exception,callable,...)
You expect the callable to raise exception when executed. After the callable you can
specify any amount of positional and keyword arguments for the callable. If you expect
a group of exceptions from the execution, you can make exception a tuple of possible
exceptions.
• assert (expr[,msg])
Assert checks whether the specified expression executes correctly. If not, the test fails and
msg or None is returned.
• assertEqual()
This testing method is equivalent to assertEqual().
• assertTrue(expr[,msg])
This method is equivalent to assert (expr[,msg]).
• assertFalse()
This is the opposite to assertTrue().
• fail([msg])
Fails the running test without any evaluation. This is commonly used when testing various
possible execution paths at once and you would like to signify a failure if an improper path
was taken.
Line 6–10: This method tests the title attribute of the Sample class. The first test should
be of course that the attribute exists and has the expected initial value (line 8). Then the title
attribute is changed and we check whether the value was really stored. This might seem like
overkill, but later you might change the title in a way that it uses properties instead. Then it
becomes very important to check whether this test still passes.
Line 12–16: First we simply check that getDescription() returns the correct default value.
Since we do not want to use other API calls like setDescription() we set a new value of the
description via the implementation-internal description attribute (line 15). This is okay! Unit
tests can make use of implementation-specific attributes and methods. Finally we just check that
the correct value is returned.
44.3. RUNNING THE TESTS
5
Line 18–25: On line 21–24 it is checked that both regular and unicode strings are set correctly.
In the last line of the test we make sure that no other type of objects can be set as a description
and that an error is raised.
28–31: This method returns a test suite that includes all test cases created in this module. It is
used by the Zope 3 test runner when it picks up all available tests. You would basically add the
line unittest.defaultTestLoader.loadTestsFromTestCase(TestCaseClass) for each additional test case.
33–34: In order to make the test module runnable by itself, you can execute unittest.main()
when the module is run.
44.3
Running the Tests
You can run the test by simply calling pythontest sample.py from the directory you saved the
file in. Here is the result you should see:
.
--------------------------------------------------------------------
n 3 tests in 0.001s
The three dots represent the three tests that were run. If a test had failed, it would have been
reported pointing out the failing test and providing a small traceback.
When using the default Zope 3 test runner, tests will be picked up as long as they follow some
conventions.
• The tests must either be in a package or be a module called tests.
• If tests is a package, then all test modules inside must also have a name starting with test,
as it is the case with our name test sample.py.
• The test module must be somewhere in the Zope 3 source tree, since the test runner looks
only for files there.
In our case, you could simply create a tests package in ZOPE3/src (do not forget the
init .
py file). Then place the test sample.py file into this directory.
You you can use the test runner to run only the sample tests as follows from the Zope 3 root
directory:
python test.py -vp tests.test_sample
The -v option stands for verbose mode, so that detailed information about a test failure is
provided. The -p option enables a progress bar that tells you how many tests out of all have been
completed. There are many more options that can be specified. You can get a full list of them with
the option -h: pythontest.py-h.
The output of the call above is as follows:
nfiguration file found.
nning UNIT tests at level 1
nning UNIT tests from /opt/zope/Zope3
3/3 (100.0%): test_title (tests.test_sample.SampleTest)
--------------------------------------------------------------------
n 3 tests in 0.002s
6
CHAPTER 44. WRITING BASIC UNIT TESTS
nning FUNCTIONAL tests at level 1
nning FUNCTIONAL tests from /opt/zope/Zope3
--------------------------------------------------------------------
n 0 tests in 0.000s
Line 1: The test runner uses a configuration file for some setup. This allows developers to use
the test runner for other projects as well. This message simply tells us that the configuration file
was found.
Line 2–8: The unit tests are run. On line 4 you can see the progress bar.
Line 9–15: The functional tests are run, since the default test runner runs both types of tests.
Since we do not have any functional tests in the specified module, there are no tests to run. To
just run the unit tests, use option -u and -f for just running the functional tests. See “Writing
Functional Tests” for more details on functional tests.
44.3. RUNNING THE TESTS
7
Exercises
1. It is not very common to do the setup – in our case sample=Sample() – in every test
method. Instead there exists a method called setUp() and its counterpart tearDown that
are run before and after each test, respectively. Change the test code above, so that it uses
the setUp() method. In later chapters and the rest of the book we will frequently use this
method of setting up tests.
2. Currently the test setDescription() test only verifies that None is not allowed as input
value.
(a) Improve the test, so that all other builtin types are tested as well.
(b) Also, make sure that any objects inheriting from str or unicode pass as valid values.
+Chapter 44
Writing Basic Unit Tests
Difficulty
Newcomer
Skills
• All you need to know is some Python.
Problem/Task
As you know by now, Zope 3 gains its incredible stability from testing any code in great detail. The
currently most common method is to write unit tests. This chapter introduces unit tests – which
are Zope 3 independent – and introduces some of the subtleties.
Solution
44.1
Implementing the Sample Class
Before we can write tests, we have to write some code that we can test. Here, we will implement
a simple class called Sample with a public attribute title and description that is accessed
via getDescription() and mutated using setDescription(). Further, the description must be
either a regular or unicode string.
Since this code will not depend on Zope, open a file named test sample.py anywhere and add
the following class:
1 Sample(object):
2
"""A trivial Sample object."""
3
4
title = None
5
6
def __init__(self):
7
"""Initialize object."""
8
self._description = ’’
9
1
2
CHAPTER 44. WRITING BASIC UNIT TESTS
10
def setDescription(self, value):
11
"""Change the value of the description."""
12
assert isinstance(value, (str, unicode))
13
self._description = value
14
15
def getDescription(self):
16
"""Change the value of the description."""
17
return self._description
Line 4: The title is just publicly declared and a value of None is given. Therefore this is just
a regular attribute.
Line 8: The actual description string will be stored in description.
Line 12: Make sure that the description is only a regular or unicode string, like it was stated in
the requirements.
If you wish you can now manually test the class with the interactive Python shell. Just start
Python by entering python in your shell prompt. Note that you should be in the directory in
which test sample.py is located when starting Python (an alternative is of course to specify the
directory in your PYTHONPATH.)
1 >>> from test_sample import Sample
2 >>> sample = Sample()
3 >>> print sample.title
4 None
5 >>> sample.title = ’Title’
6 >>> print sample.title
7 Title
8 >>> print sample.getDescription()
9
10 >>> sample.setDescription(’Hello World’)
11 >>> print sample.getDescription()
12 Hello World
13 >>> sample.setDescription(None)
14 Traceback (most recent call last):
15
File "<stdin>", line 1, in ?
16
File "test_sample.py", line 31, in setDescription
17
assert isinstance(value, (str, unicode))
18 AssertionError
As you can see in the last test, non-string object types are not allowed as descriptions and an
AssertionError is raised.
44.2
Writing the Unit Tests
The goal of writing the unit tests is to convert this informal, manual, and interactive testing session
into a formal test class. Python provides already a module called unittest for this purpose, which
is a port of the Java-based unit testing product, JUnit, by Kent Beck and Erich Gamma. There are
three levels to the testing framework (this list deviates a bit from the original definitions as found
in the Python library documentation. 1).
1 http://www.python.org/doc/current/lib/module-unittest.html
44.2. WRITING THE UNIT TESTS
3
The smallest unit is obviously the “test”, which is a single method in a TestCase class that
tests the behavior of a small piece of code or a particular aspect of an implementation. The “test
case” is then a collection tests that share the same setup/inputs. On top of all of this sits the “test
suite” which is a collection of test cases and/or other test suites. Test suites combine tests that
should be executed together. With the correct setup (as shown in the example below), you can
then execute test suites. For large projects like Zope 3, it is useful to know that there is also the
concept of a test runner, which manages the test run of all or a set of tests. The runner provides
useful feedback to the application, so that various user interfaces can be developed on top of it.
But enough about the theory. In the following example, which you can simply put into the same
file as your code above, you will see a test in common Zope 3 style.
1 import unittest
2
3 class SampleTest(unittest.TestCase):
4
"""Test the Sample class"""
5
6
def test_title(self):
7
sample = Sample()
8
self.assertEqual(sample.title, None)
9
sample.title = ’Sample Title’
10
self.assertEqual(sample.title, ’Sample Title’)
11
12
def test_getDescription(self):
13
sample = Sample()
14
self.assertEqual(sample.getDescription(), ’’)
15
sample._description = "Description"
16
self.assertEqual(sample.getDescription(), ’Description’)
17
18
def test_setDescription(self):
19
sample = Sample()
20
self.assertEqual(sample._description, ’’)
21
sample.setDescription(’Description’)
22
self.assertEqual(sample._description, ’Description’)
23
sample.setDescription(u’Description2’)
24
self.assertEqual(sample._description, u’Description2’)
25
self.assertRaises(AssertionError, sample.setDescription, None)
26
27
28 def test_suite():
29
return unittest.TestSuite((
30
unittest.makeSuite(SampleTest),
31
))
32
33 if __name__ == ’__main__’:
34
unittest.main(defaultTest=’test_suite’)
Line 3–4: We usually develop test classes which must inherit from TestCase. While often not
done, it is a good idea to give the class a meaningful docstring that describes the purpose of the
tests it includes.
Line 6, 12 & 18: When a test case is run, a method called runTests() is executed. While it
is possible to override this method to run tests differently, the default option will look for any
method whose name starts with test and execute it as a single test. This way we can create
a “test method” for each aspect, method, function or property of the code to be tested. This
default is very sensible and is used everywhere in Zope 3.
4
CHAPTER 44. WRITING BASIC UNIT TESTS
Note that there is no docstring for test methods. This is intentional. If a docstring is specified,
it is used instead of the method name to identify the test. When specifying a docstring, we have
noticed that it is very difficult to identify the test later; therefore the method name is a much
better choice.
Line 8, 10, 14, . . . : The TestCase class implements a handful of methods that aid you with the
testing. Here are some of the most frequently used ones. For a complete list see the standard
Python documentation referenced above.
• assertEqual(first,second[,msg])
Checks whether the first and second value are equal. If the test fails, the msg or None
is returned.
• assertNotEqual(first,second[,msg])
This is simply the opposite to assertEqual() by checking for non-equality.
• assertRaises(exception,callable,...)
You expect the callable to raise exception when executed. After the callable you can
specify any amount of positional and keyword arguments for the callable. If you expect
a group of exceptions from the execution, you can make exception a tuple of possible
exceptions.
• assert (expr[,msg])
Assert checks whether the specified expression executes correctly. If not, the test fails and
msg or None is returned.
• assertEqual()
This testing method is equivalent to assertEqual().
• assertTrue(expr[,msg])
This method is equivalent to assert (expr[,msg]).
• assertFalse()
This is the opposite to assertTrue().
• fail([msg])
Fails the running test without any evaluation. This is commonly used when testing various
possible execution paths at once and you would like to signify a failure if an improper path
was taken.
Line 6–10: This method tests the title attribute of the Sample class. The first test should
be of course that the attribute exists and has the expected initial value (line 8). Then the title
attribute is changed and we check whether the value was really stored. This might seem like
overkill, but later you might change the title in a way that it uses properties instead. Then it
becomes very important to check whether this test still passes.
Line 12–16: First we simply check that getDescription() returns the correct default value.
Since we do not want to use other API calls like setDescription() we set a new value of the
description via the implementation-internal description attribute (line 15). This is okay! Unit
tests can make use of implementation-specific attributes and methods. Finally we just check that
the correct value is returned.
44.3. RUNNING THE TESTS
5
Line 18–25: On line 21–24 it is checked that both regular and unicode strings are set correctly.
In the last line of the test we make sure that no other type of objects can be set as a description
and that an error is raised.
28–31: This method returns a test suite that includes all test cases created in this module. It is
used by the Zope 3 test runner when it picks up all available tests. You would basically add the
line unittest.makeSuite(TestCaseClass) for each additional test case.
33–34: In order to make the test module runnable by itself, you can execute unittest.main()
when the module is run.
44.3
Running the Tests
You can run the test by simply calling pythontest sample.py from the directory you saved the
file in. Here is the result you should see:
.
--------------------------------------------------------------------
n 3 tests in 0.001s
The three dots represent the three tests that were run. If a test had failed, it would have been
reported pointing out the failing test and providing a small traceback.
When using the default Zope 3 test runner, tests will be picked up as long as they follow some
conventions.
• The tests must either be in a package or be a module called tests.
• If tests is a package, then all test modules inside must also have a name starting with test,
as it is the case with our name test sample.py.
• The test module must be somewhere in the Zope 3 source tree, since the test runner looks
only for files there.
In our case, you could simply create a tests package in ZOPE3/src (do not forget the
init .
py file). Then place the test sample.py file into this directory.
You you can use the test runner to run only the sample tests as follows from the Zope 3 root
directory:
python test.py -vp tests.test_sample
The -v option stands for verbose mode, so that detailed information about a test failure is
provided. The -p option enables a progress bar that tells you how many tests out of all have been
completed. There are many more options that can be specified. You can get a full list of them with
the option -h: pythontest.py-h.
The output of the call above is as follows:
nfiguration file found.
nning UNIT tests at level 1
nning UNIT tests from /opt/zope/Zope3
3/3 (100.0%): test_title (tests.test_sample.SampleTest)
--------------------------------------------------------------------
n 3 tests in 0.002s
6
CHAPTER 44. WRITING BASIC UNIT TESTS
nning FUNCTIONAL tests at level 1
nning FUNCTIONAL tests from /opt/zope/Zope3
--------------------------------------------------------------------
n 0 tests in 0.000s
Line 1: The test runner uses a configuration file for some setup. This allows developers to use
the test runner for other projects as well. This message simply tells us that the configuration file
was found.
Line 2–8: The unit tests are run. On line 4 you can see the progress bar.
Line 9–15: The functional tests are run, since the default test runner runs both types of tests.
Since we do not have any functional tests in the specified module, there are no tests to run. To
just run the unit tests, use option -u and -f for just running the functional tests. See “Writing
Functional Tests” for more details on functional tests.
44.3. RUNNING THE TESTS
7
Exercises
1. It is not very common to do the setup – in our case sample=Sample() – in every test
method. Instead there exists a method called setUp() and its counterpart tearDown that
are run before and after each test, respectively. Change the test code above, so that it uses
the setUp() method. In later chapters and the rest of the book we will frequently use this
method of setting up tests.
2. Currently the test setDescription() test only verifies that None is not allowed as input
value.
(a) Improve the test, so that all other builtin types are tested as well.
(b) Also, make sure that any objects inheriting from str or unicode pass as valid values.